Per registrare i javascript non usare Response.Write ma sfrutta i metodi forniti dal framework, come il metodo RegisterStartupScript: http://msdn.microsoft.com/it-it/library/bb359558.aspx
Esempio:
Per quanto riguarda la showModalDialog considera che non è compatibile con tutti i browser, all'inizio era stata introdotta con internet explorer, non so se è stata implementata con Firefox 3, è da verificare.
Invece che usare ajaxToolkit puoi provare a cercare qualche javascript che faccia una cosa analoga (http://luke.breuer.com/tutorial/javascript-modal-dialog.aspx), o qualche controllo che abbia già gestito le varie casistiche (http://www.eggheadcafe.com/articles/javascript_modal_dialog.asp)
-----------------------------------------
Rossi Marco
http://blogs.dotnethell.it/rossimarko