SSIS – ogranicz długość tekstu w XML Source

Żeby wiedzieć jakiego typu dane są w źródle XML kontrolka XML Source w SSIS wymaga podania arkusza schematu XSD. Wewnętrznego (Use inline schema) lub zewnętrznego (XSD Location). Dla ułatwienia ma też przyjazną opcję generowania automatycznie schematu na podstawie wskazanego dokumentu XML – coś jak Suggest types dla połączenia do plików płaskich.

W przypadku elementów tekstowych kontrolka domyślnie zaproponuje DT_WSTR o długości 255 znaków kiedy tylko przełączymy się na zakładkę Columns.

dlugoscikolumntekstowych

Żeby to obejść musimy zmienić plik XSD ze schematem.

Czytaj dalej

Własna kontrolka SSIS, część 7 – komunikacja z serwerem SFTP

Jeśli chcesz przez ponad godzinę szukać błędu w kodzie, który po wprowadzeniu ostatnich kosmetycznych zmian niemal się nie różni od poprzedniej wersji, to chyba nie ma nic lepszego od podmiany biblioteki używanej w referencjach. Dzień wcześniej. I zapomnienia o tym.

Przez to poprawnie działający pakiet SSIS nagle krzyczy błędami, a wycofanie zmian nic nie daje. Dopiero olśnienie po odejściu od komputera – skoro ustawiam referencję do nowej biblioteki, to pewnie rejestrowałem ją w GAC! I rzeczywiście – usunięcie poprzedniej wersji oraz dodanie nowej pomogło. Dzięki temu straciłem tylko niewielką część zmian, kiedy robiłem kolejne „Undo” z poziomu gita w poszukiwaniu „tej jednej przeoczonej zmiany”.

Kontrolka WinSCP może już się podłączać do serwera SFTP, to pora żeby zaczęła robić coś więcej. W obecnym rozwiązaniu korzystam z kawałka kodu odczytującego rekurencyjnie pliki w katalogach. Ale przy oglądaniu nowości w dokumentacji WinSCP okazało się, że będzie można użyć do tego tylko jednej instrukcji – Session.EnumerateRemoteFiles – w takim razie wykorzystamy ją do pobrania listy plików.

Klasy pomocnicze

Klasa WinSCPTask będzie zawierać tylko metody wymagane przez silnik SSIS. Pozostałe polecenia będą obsługiwane przez inne klasy z tego samego projektu. I już na początku mam zagwozdkę – jak nazwać klasę, która będzie odpowiadać za komunikację między SSIS a serwerem SFTP.

W ramach tej klasy powstaną metody, które z pomocą przesłanych parametrów (m.in. connection manager, transaction object) nawiążą komunikację z serwerem, po czym odpytają go odpowiednio a na koniec pracy grzecznie się rozłączą. Wszystko polega na wywołaniu metod biblioteki WinSCP, a pojęcia które mi przychodzą w związku z tym na myśl to proxywrapper. Nazwy mogą niechcący sugerować związek z wzorcami projektowymi, ale używałem ich dotąd tak mało i na tyle na czuja, że niekoniecznie musi to być to. W każdym razie na początek przyjmuję nazwę WinSCPWrapper dla klasy wywołującej metody WinSCP.

API – przynajmniej na początku – nie będzie przesadnie rozbudowane:

  • Połącz się z serwerem – wywołanie AcquireConnection z naszego managera połączenia do serwera SFTP
  • Pobierz listę plików – wywołanie metody EnumerateRemoteFiles biblioteki WinSCPNet
  • Pobierz pliki – wywołanie metody GetFiles biblioteki WinSCPNet
  • Odłącz się od serwera – wywołanie metody ReleaseConnection z naszego managera połączenia do serwera SFTP

Prawdopodobnie odrębne wywołanie ReleaseConnection będzie nadmiarowe, ale to wyjdzie przy testowaniu i debugowaniu.

Przy omawianiu pobierania listy plików zapisałem, żeby spróbować pominąć rekurencję przy szukaniu plików – czyli żeby nie sprawdzać podkatalogów. Super sprawa, że da się to zrobić przez ustawianie opcji EnumerationOptions metody EnumerateRemoteFiles – jeśli chcemy rekurencję ustawiamy wartość EnumerationOptions.AllDirectories, a jeśli nie, to EnumerationOptions.None. Szybkie i proste. Ustawiane to będzie przez kolejną opcję kontrolki.

Na razie więcej tu szkicu rozwiązania niż samego mięsa. Trochę specjalnie – przy budowaniu komunikacji z serwerem SFTP będzie trzeba sprawdzić, czy to działa dobrze. Na razie obserwując na żywo logi serwera widać, że łączy się i rozłącza prawidłowo, ale to nie do końca to. Do tej pory nie znalazłem jak podejść do tematu testów jednostkowych dla kontrolki SSIS, ale może pojawi się światełko w tunelu – w następnym odcinku sprawdzimy jak wykorzystać debugger, żeby sprawdzać poprawność kodu biblioteki.

Własna kontrolka SSIS, część 6 – podłączamy się do serwera SFTP

Mamy szkielet kontrolki. Umiemy napisać coś, co się poprawnie kompiluje i nawet pojawia się w przyborniku SSIS (SSIS Toolbox). Sukces! To teraz pora sprawić, żeby kontrolka mogła się połączyć z serwerami SFTP i SQL. Do roboty.

Na pierwszy ogień połączymy się z SFTP (dla FTPS będzie podobnie). Jeśli nie mamy jakiegoś serwera pod ręką proponuję ściągnąć darmowy Rebel Tiny SFTP Server, który bardzo dobrze się sprawdza do testowania własnego kodu. Po uruchomieniu automatycznie generują się potrzebne klucze i serwer jest gotowy do działania.
Czytaj dalej

Własna kontrolka SSIS – część 5 – A jak sprawdzimy, czy działa?

Zanim zagłębimy się w sprawianie, żeby kontrolka robiła to, czego od niej oczekujemy warto zadać sobie pytanie – a jak sprawdzić, że to faktycznie działa? To znaczy – nie w ramach testów jednostkowych, czy poprawności kompilowania – jak się przekonać, że kontrolkę mogę podpiąć do swojego projektu SSIS i mogę z niej korzystać? Najlepiej od razu stworzyć pakiet i spróbować dodać do niego kontrolkę.

Do istniejącego Solution (jakoś ciężko mi się przyzwyczaić do tłumaczenia ‚rozwiązanie’) dodaję nowy projekt: prawy przycisk myszy w oknie Solution Explorer na nazwie, potem Add > New Project… i  Business Intelligence > Integration Services > Integration Services Project. Jeśli nie widzisz u siebie takiej opcji, to albo nie masz zainstalowanych SQL Server Data Tools, albo nie są zainstalowane poprawnie. Do nowego projektu automatycznie dodany zostaje pusty pakiet o nazwie Package1.dtsx – ale zmieniamy mu nazwę na CustomTaskTest.dtsx – bo czemu nie?

Mamy projekt, mamy pakiet. A co dalej? Spróbujmy sprawić, żeby kontrolka była widoczna w SSIS Toolbox, z którego będziemy mogli ją przeciągać do Control Flow.
Czytaj dalej

Własna kontrolka SSIS, część 4 – Początki projektu (wreszcie)

Jednym z dużych plusów konkursu Daj Się Poznać jest możliwość czytania tekstów osób, które też uczą się nowych rzeczy. Git-a znam, jednak dość słabo bo na co dzień nie muszę korzystać (prędzej SVN czy TFS) – dlatego fajnie czytało się tekst Justyny o podstawach Git-a. Tyle darmowej i zasłużonej reklamy i do rzeczy.

Kontrolka SSIS powstanie w Visual Studio 2015 Community. W wersji Express też się da, ale skoro jest możliwość użycia bardziej zaawansowanej darmowej wersji, to czemu nie? Żeby korzystać z Git-a w VS potrzebna jest wtyczka. W menu wybieramy Tools > Extensions and Updates... i wybieramy/szukamy wtyczki GitHub Extension for Visual Studio. Potem w ramach Team Explorer łączymy się przez Connect ze swoim kontem na GitHub-ie, wybieramy Clone żeby pobrać repozytorium i gotowe. O ile oczywiście repozytorium już mamy utworzone. Jeśli nie mamy, to jak najbardziej możemy utworzyć z poziomu wtyczki.
Czytaj dalej