ciao,
i controlli che crei a runtime fanno parte della collection "Controls" del controllo contenitore, tipicamente Form, ma potrebbe essere anche Panel, Groupbox etc...
Ti basta andare in quella collection e rimuovere quello, con un codice di questo tipo:
Label miaLabel = new Label();
miaLabel.Name = "nomeLabel";
miaLabel.Text = "ciao ciao";
this.Controls.Add(miaLabel);
this.Controls.RemoveByKey("nomeLabel");
come vedi, lo puoi rimuovere dal nome, ovvero la proprietà "name" che quindi ti conviene impostare tu, così magari sei più comodo.
(* ps: il codice è in c#, però è facilmente adattabile in vb.net, il "this" è la form, se è in un pannello metterai "mioPannello.Controls..." etc...)
ciao.
Matteo Raumer
[MCAD .net]
http://blogs.dotnethell.it/freeteo