A parte che non capisco per quale motivo non mi fa il replace di < e > (stranamente me li ritrovo lo stesso anche nella stringa di uscita), questo metodo non può funzionare se nel nome (quello racchiuso tra virgolette) c'è uno spazio... Io per ora ho risolto con una cosa del genere:
Dim s As String = " ""Nome Cognome"" <nome.cognome@mia.email>" ' email di esempio
Dim a As Integer = InStr(s, "<")
Dim b As Integer = InStr(s, ">")
dim EmailRipulita as string = s.Substring(a, b - a - 1)
però dato che uso le espressioni regolari col php, mi chiedevo se c'è una cosa simile anche in vb per estrarre un pezzo di stringa