Automatizzare / Schedulare l' import e la trasformazione di dati in SQ...

mercoledì 17 ottobre 2007 - 09.04

Elenco Threads

Stanze Forum

Aggiungi ai Preferiti

Cerca nel forum

roddik1980 Profilo | Junior Member

92 messaggi | Data Invio: mer 17 ott 2007 - 09:04

Buongiorno a tutti,

devo scegliere la soluzione / tecnica migliore per automatizzare l' import di dati in SQL Server 2005 da svariate origini (File Flat, Excel, AS400, Access....).
Logicamente devo anche trasformali / manipolarli; per esempio devo poter svolgere le seguenti attività i fase d caricamento:
1) Conversione formato dato.
2) Scartare alcune colonne/campi.
3) Utilizzare dei cicli condizionali per valutare i dati ed importarli in tabelle diverse a seconda del risultato della condizione.
4) Penso che mi sarebbe molto utile capire con esempi pratici la logica dei componenti come "Suddivisione condizionale", "Componente script", "Multicast" ecc... Sprattutto "Componente script" perchè mi sembra di intuire che abbia notevoli potenzialità.....

Non conosco i DTS. Avendo SQL Sever 2005 sto cecando di capire e studiare SSIS (Sql Server Integration Services) e mi sembra di aver capito che forse i SSIS possono risolvere gran parte dei miei problemi.

Vi anticipo che potrei risolvere la soluzione scrivendo codice VB.net (ne sono capace) ma mi rimarrebbe il problema di schedulare le attività di import sul server e dovrei lanciarle manualmente, cosa che vorrei evitare; inolre non so se è performante ed affidabile !

Vi chiedo:
1) SSIS è la soluzione migliore (prestazioni, manutenzione, potenzialità affidabilità) oppure ve ne sono altre ?
2) Ho difficoltà a trovare materiale in italiano su internet "gratis" per studiare i SSIS. Tanto per iniziare conoscete risorse gratis sia per studiare la teoria che per svolgere esercitazioni pratiche ?
3) Se negativo il punto "2" vi chiedo quali testi / manuali acquistare per studiare SSIS.

Ringrazio tutti in anticipo, spero di esser stato chiaro e mi scuso se sono stato un pò prolisso !

Ciao

Mark

alx_81 Profilo | Guru

8.814 messaggi | Data Invio: mer 17 ott 2007 - 09:14

>Buongiorno a tutti,
Ciao!
>
>devo scegliere la soluzione / tecnica migliore per automatizzare
>l' import di dati in SQL Server 2005 da svariate origini (File
>Flat, Excel, AS400, Access....).
>Logicamente devo anche trasformali / manipolarli; per esempio
>devo poter svolgere le seguenti attività i fase d caricamento:
>1) Conversione formato dato.
>2) Scartare alcune colonne/campi.
>3) Utilizzare dei cicli condizionali per valutare i dati ed importarli
>in tabelle diverse a seconda del risultato della condizione.
>4) Penso che mi sarebbe molto utile capire con esempi pratici
>la logica dei componenti come "Suddivisione condizionale", "Componente
>script", "Multicast" ecc... Sprattutto "Componente script" perchè
>mi sembra di intuire che abbia notevoli potenzialità.....
>Non conosco i DTS. Avendo SQL Sever 2005 sto cecando di capire
>e studiare SSIS (Sql Server Integration Services) e mi sembra
>di aver capito che forse i SSIS possono risolvere gran parte
>dei miei problemi.
A mio avviso è la via migliore, anche come velocità di implementazione di un import sostanzioso

>
>Vi anticipo che potrei risolvere la soluzione scrivendo codice
>VB.net (ne sono capace) ma mi rimarrebbe il problema di schedulare
>le attività di import sul server e dovrei lanciarle manualmente,
>cosa che vorrei evitare; inolre non so se è performante ed affidabile!
Un servizio VB.net è comunque affidabile, però ne devi scrivere di cose, preparati..
>
>Vi chiedo:
>1) SSIS è la soluzione migliore (prestazioni, manutenzione, potenzialità
>affidabilità) oppure ve ne sono altre ?
Credo che in questo caso sia proprio la migliore

>2) Ho difficoltà a trovare materiale in italiano su internet
>"gratis" per studiare i SSIS. Tanto per iniziare conoscete risorse
>gratis sia per studiare la teoria che per svolgere esercitazioni
>pratiche ?
eheh, mi faccio pubblicità. Ho un blog praticamente solo su SSIS e sulla formazione a riguardo

le basi:
http://blogs.dotnethell.it/suxstellino/Category_799.aspx

i tips:
http://blogs.dotnethell.it/suxstellino/Category_791.aspx

>3) Se negativo il punto "2" vi chiedo quali testi / manuali acquistare
>per studiare SSIS.
Ho usato quelli della Wrox.. ma non mi sono piaciuti tanto.. meglio l'esperienza sul campo e i BOL

>
>Ringrazio tutti in anticipo, spero di esser stato chiaro e mi
>scuso se sono stato un pò prolisso !
non preoccuparti, siamo in due

>
>Ciao
Ciao!
Alx81 =)

http://blogs.dotnethell.it/suxstellino

0v3rCl0ck Profilo | Guru

1.120 messaggi | Data Invio: mer 17 ott 2007 - 09:18

Ciao,

Ti consiglio di guardare il blog di Alessandro Alpi (Sux.Stellino), che tratta esattamente l'argomento SSIS e ne approfondisce svariati aspetti: http://blogs.dotnethell.it/suxstellino/

Enjoy It

http://blogs.dotnethell.it/Regulator/

roddik1980 Profilo | Junior Member

92 messaggi | Data Invio: mer 17 ott 2007 - 10:51

Grazie a tutti per l' aiuto.

Ci sentiamo fra un pò perchè avrò sicuramente ancora bisogno !

L' appetito vien mangiando !!!!

MARK

0v3rCl0ck Profilo | Guru

1.120 messaggi | Data Invio: mer 17 ott 2007 - 11:53

Prego, di niente

http://blogs.dotnethell.it/Regulator/

roddik1980 Profilo | Junior Member

92 messaggi | Data Invio: mer 17 ott 2007 - 18:42

Ho letto i seguenti blog:
le basi:
http://blogs.dotnethell.it/suxstellino/Category_799.aspx

i tips:
http://blogs.dotnethell.it/suxstellino/Category_791.aspx

Molto chiari ed utili per iniziare.
Ora però chiedo ad Alex_81 o eventualmente a chi mi vuole aiutare se mi sai indicare dove posso trovare su internet del codice d' esempio per sviluppare un pacchetto ssis esegue i seguenti passaggi:

- Tramite codice vb.net da inserire dentro ad un "componente script" vorrei leggere i record presenti in un file flat uno ad uno, valutarli dentro un ciclo con degli if ed importare dentro una tabella sql server 2005 solo i record che soddisfano le condizioni if.

Ci sono degli esempi pratici e chiari online ?

Grazie di tutto in anticipo.

Mark

alx_81 Profilo | Guru

8.814 messaggi | Data Invio: mer 17 ott 2007 - 20:33

446_ImportazioneFlat.zip

Io provo ad allegarti un esempio commentato.
Comunque sui BOL ci sono pochi tutorial ma c'è tantissima documentazione e nella rete ne trovi davvero pochi.
Per questo ho messo in piedi il blog

Prova a guardare l'allegato ho cercato di darti un esempio come richiedevi tu.
Spero possa aiutarti.
Ciao!
Alx81 =)

http://blogs.dotnethell.it/suxstellino

roddik1980 Profilo | Junior Member

92 messaggi | Data Invio: ven 19 ott 2007 - 10:57

Ciao Alex_81,
ti ringrazio per l' esempio, molto chiaro !

Ora ti chiedo, per favore:

1) Ho creato un pacchetto prendendo spunto dal tuo; ho inserito al suo interno un "component script" di trasformazione; dentro gli ho messo il seguente codice vb.net realizzato in fretta per fare una prova:

Dim wCodArticolo As String = Row.CodArticolo.ToString

If Left(wCodArticolo, 3).ToString = "600" Then
Row.Scartato = "SI"
ElseIf Left(wCodArticolo, 3).ToString = "620" Then
Row.Scartato = "SI"
ElseIf Left(wCodArticolo, 3).ToString = "800" Then
Row.Scartato = "SI"
ElseIf Left(wCodArticolo, 3).ToString = "900" Then
Row.Scartato = "SI"
ElseIf Left(wCodArticolo, 3).ToString = "950" Then
Row.Scartato = "SI"
ElseIf Left(wCodArticolo, 3).ToString = "960" Then
Row.Scartato = "SI"
ElseIf Left(wCodArticolo, 3).ToString = "980" Then
Row.Scartato = "SI"
ElseIf Left(wCodArticolo, 3).ToString = "990" Then
Row.Scartato = "SI"
Else
Row.Scartato = "NO"
End If

Voglio verificare se il campo "codice articolo" che inserisco nella variabile "wCodArticolo" ha nei primi 3 caratteri le stringhe "600", "620" ecc... Uso la funzione "Left", valorizzo la colonna di output da me creata "Scartato" con SI o NO e successivamente tramite un componente "Suddivisione condizionale" vado ad esportare le colonne con SI e quelle con NO in 2 tabelle diverse.
Problema: viene esportato tutto come NO.....
Che errore posso aver fatto ? Forse nel contronto delle stringhe (primi 3 caratteri) c' è qualcosa che non va ?

2)
Riesci a farmi 2 esempi molto banali come hai fatto ieri per i casi di component script "origine" e "destinazione" ? Te ne sarei molto grato ! Quello che mi hai fatto ieri è stato per me più utile di un manuale !

Grazie e buona giornata.

Mark

alx_81 Profilo | Guru

8.814 messaggi | Data Invio: sab 20 ott 2007 - 14:35

449_ImportazioneFlat.zip

In allegato l'esempio funzionante. Ho aggiunto una colonna booleana e fatto il test con la substring. Non utilizzare la left che è deprecata.

>
>
>2)
>Riesci a farmi 2 esempi molto banali come hai fatto ieri per
>i casi di component script "origine" e "destinazione" ? Te ne
>sarei molto grato ! Quello che mi hai fatto ieri è stato per
>me più utile di un manuale !
Per la sorgente, dai una letta a
http://blogs.dotnethell.it/suxstellino/Split-File-Flat-personalizzato__9551.aspx

Per la destinazione mi è stato utilissimo questo link.
http://msdn2.microsoft.com/en-us/library/ms135939.aspx

Comunque è sufficiente creare uno script component con quello che ti serve (basta selezionare i metadati che arrivano dai task precedenti, le colonne quindi) e poi nello script basta creare gli oggetti ado per inserire i dati. Utilizza il namespace System.Data.
>
>Grazie e buona giornata.
a te!

Alx81 =)

http://blogs.dotnethell.it/suxstellino

Torna su

Stanze Forum

Elenco Threads

Partecipa anche tu! Registrati!

Hai bisogno di aiuto ?
Perchè non ti registri subito?

Dopo esserti registrato potrai chiedere
aiuto sul nostro Forum oppure aiutare gli altri

Consulta le Stanze disponibili.

Registrati ora !