ho capito il problema.
In pratica quando premi il pulsante nella modal.aspx per chiudere la finestra, fai in verità un postBack alla stessa pagina, che quindi si carica al posto della default.
per ovviare a questo correggi così:
function CloseModal(returnParameter)
{
window.returnValue = returnParameter; // the value which is return to the parent page
window.close();
return false;
}
Button1.Attributes.Add("onclick", "javascript:return CloseModal(10);");
oppure più semplicemente invece di mettere un asp:button, che non è altro che un submit, metti un semplice bottone html
<button>, che di per se non fa il postBack.
ciao