Allora, ti posto qui il codice completo per fare ciò che vuoi (ovviamente tenendo conto di tutte le complicazioni che ci sono gestendo una cosa fatta in questa maniera).
Suppongo che tu nella tua textbox voglia immettere soltanto numeri e basta (quindi niente punti virgole o altro). Ovviamente oltre ai numeri si deve fare in modo che l'utente possa premere il tasto BackSpace per cancellare.
Tieni conto che dovrai mettere uno "zero" in partenza nella textbox, poi arrivati a questo punto ti consiglio di mettere la proprietà textalign della textbox su "right"
Nell'evento Keypress rilevo il tasto premuto e consento soltanto di premere numeri e backspace, in caso contrario non sarà scritto nulla nella texbox, inoltre se nella textbox è presente soltanto zero, questo deve essere cancellato:
Infine gestisco l'evento TextChanged sia per fare in modo che venga messo il separatore migliaia come desideri tu, sia per fare in modo che quando non c'è scritto nulla nella textbox, venga visualizzato lo zero:
ricordati di mettere lo zero nella textbox in partenza!
Se ti servono altre modifiche per permettere altri caratteri nella textbox, qui c'è un articolo che ti può essere utile:
http://www.settorezero.com/wordpress/vbnet-accettare-in-una-textbox-soltanto-numeri-o-caratteri-predefiniti/