Gestione numeri decimali in una datagridview

 Private Sub Button1_Click() Handles Button1.Click
        'scrive 5,00
        Dim numero As Integer = 5.13
        Console.WriteLine(String.Format(numero.ToString("N2")))

        'scrive 513,00
        Dim numero2 As Integer = "5.13"
        Console.WriteLine(String.Format(numero2.ToString("N2")))

        'scrive 513,00
        Dim numero3 As Decimal = "5.13"
        Console.WriteLine(String.Format(numero3.ToString("N2")))

        'codice corretto
        Dim numero4 As Decimal = 5.13
        'scrive 5,13
        Console.WriteLine(String.Format(numero4.ToString("N2")))
        'scrive 5.13
        Console.WriteLine(String.Format(numero4.ToString("N2", CultureInfo.InvariantCulture)))

    End Sub

Facciamo le cose con ordine:
1) Sostituisci il punto con la virgola:

if (NumberSeparator == ",")
valore = valore.Replace('.', ',');
else
valore = valore.Replace(',', '.');

2) arrotondi il n° dei decimali

double ValArrotondato =Math.Round(double.Parse(valore), 2);
dove 2 indica il n° di decimali dopo la virgola

Dim numero1 As String
numero = Replace(MyGrid.Item(10, e.RowIndex).Value.ToString(), ".", ",")
Dim number As Decimal = Decimal.Parse(numero)