Ciao
Puoi eseguire un ciclo For Each sulla proprietà MdiChildren del tuo form, che è l'array di tutti i figli del tuo Form, e per ognuno richiamare il metodo Close:
For Each childForm As Form In Me.MdiChildren
childForm.Close()
Next
Naturalmente il nuovo Form figlio lo devi inserire dopo questo codice, altrimenti finiresti per chiudere anche quello
Luca