Senior StreamSets Engineer/ Data Engineer IRC170963 w GlobalLogic

Opis:

Poszukujemy Starszego Inżyniera StreamSets/ Inżyniera Danych do naszego ambitnego projektu dedykowanego jednemu z Klientów z naszego portfolio Fin-tech. Będziesz pracować jako część rozproszonego, wielofunkcyjnego zespołu Scrum z siedzibą w Polsce.

Będziesz pracować w zespole raportowania, a także w ekspertach dziedzinowych, programistach, inżynierach automatyków i analitykach danych. Ich głównym obowiązkiem będzie opracowanie niezawodnych i oprzyrządowanych potoków pozyskiwania danych, które przesyłają dane przychodzące z wielu procesów i magazynów danych operacyjnych w całej firmie do lokalnych i opartych na chmurze jezior danych. Te potoki będą wymagały walidacji danych i automatyzacji profilowania danych wraz z kontrolą wersji i CI/CD, aby zapewnić ciągłą odporność i konserwowalność przepływów danych przychodzących, wspierając nasze zaawansowane projekty analityczne.

Jesteśmy entuzjastycznym zespołem, ściśle zintegrowanym z Klientem i upoważnionym do podejmowania decyzji biznesowych i technicznych. Projekt ten jest częścią wieloletniego Planu Programu.

Nie wahaj się – dołącz do nas i twórz swój świat!

Wymagania:

• Co najmniej 3 lata praktycznego doświadczenia w projektowaniu, rozwijaniu, wdrażaniu i rozwiązywaniu problemów z potokami StreamSets w ekosystemach potoku danych
• Silne zrozumienie robocze rozwiązań Big Data ETL
• Zestaw umiejętności przesyłania strumieniowego danych/wzorów jest koniecznością
• Oprogramowanie – kolektor danych StreamSets, StreamSets Transformer, StreamSets Control Hub, Kafka, Mongo DB, CDC
• Doświadczenie w korzystaniu z modułu zbierającego dane StreamSets z naciskiem na projektowanie, testowanie, wdrażanie, obsługę i konserwację potoków przesyłających dane strumieniowe i wsadowe
• Doświadczenie w wykorzystaniu Streamsets API/logs do tworzenia alertów informujących zespół o problemach związanych ze środowiskiem
• Dobre zrozumienie tworzenia aplikacji relacyjnych baz danych
• Dobre zrozumienie rozwoju i wdrażania na platformie chmurowej w Snowflake lub AWS
• Biegłość w pisaniu skryptów – język Python
• Dobra znajomość języka angielskiego (w mowie i piśmie). Umiejętność uczestniczenia w codziennej komunikacji i prowadzenia rozmowy z innymi interesariuszami
• Praktyki zwinne

Miło jest mieć:

• Oracle, skrypty Unix, Java, Cloud, NoSQL
• Nowoczesne praktyki tworzenia kodu (git, CI: CD, QA i Documentation)
• PySpark/Spark i walka o dane
• Doświadczenie w usługach finansowych/środowisku bankowym

Odpowiedzialność zawodowa:

• Zarządzaj krytycznymi potokami danych, które wspomagają analizy dla różnych jednostek biznesowych
• Opracuj różne potoki w zestawach Stream zgodnie z wymaganiami właściciela firmy
• Wdróż potoki Stream na serwer
• Projektuj i buduj rozwiązania do potoków, aby integrować dane z wielu heterogenicznych systemów za pomocą zbieraczy danych z zestawów Stream
• Integruj dane z wielu lat z plików i baz danych, takich jak DB2, SQL Server, Oracle, Teradata, JSON i MySQL
• Zintegruj dane z wielu tematów z bazą danych. Zarządzaj RESTful API i integruj z zestawami Stream, aby przenosić dane
• Zintegruj dane z Cloudera Big data stack, Hadoop, Hive, Hbase i MongoDB. Build Stream ustawia potok, aby dostosować się do zmian
• Odpowiedzialny za wysyłanie wysokiej jakości danych przez bezpieczne kanały do systemów podrzędnych za pomocą kontroli dostępu do bazy ról i zestawów strumieniowych

Co oferujemy

Ekscytujące projekty: Klientom ze wszystkich branż i sektorów oferujemy możliwość pracy nad produktami definiującymi rynek przy użyciu najnowszych technologii.

Środowisko współpracy: możesz poszerzyć swoje umiejętności, współpracując ze zróżnicowanym zespołem wysoce utalentowanych ludzi w otwartym, swobodnym środowisku — a nawet za granicą w jednym z naszych globalnych centrów lub placówek dla klientów!

Równowaga między życiem zawodowym a prywatnym: GlobalLogic stawia na równowagę między życiem zawodowym a prywatnym, dlatego oferujemy elastyczne harmonogramy pracy.

Rozwój zawodowy: Opracowujemy ścieżki dostosowane do Twoich indywidualnych talentów poprzez międzynarodową wymianę wiedzy i możliwości certyfikacji zawodowej.

Doskonałe korzyści: Naszym pracownikom zapewniamy prywatną opiekę medyczną, karty obiektów sportowych, grupowe ubezpieczenie na życie, ubezpieczenie podróżne, pakiet relokacyjny, dopłaty do żywności oraz imprezy kulturalne.

Dodatkowe korzyści: Chcemy, abyś czuł się komfortowo w swojej pracy, dlatego tworzymy dobre środowisko pracy ze strefami relaksu, organizujemy zajęcia towarzyskie i integracyjne oraz zaopatrujemy naszą kuchnię w pyszne herbaty i kawy!

O GlobalLogic

GlobalLogic jest liderem w inżynierii cyfrowej. Pomagamy markom na całym świecie projektować i tworzyć innowacyjne produkty, platformy i doświadczenia cyfrowe dla współczesnego świata. Integrując projektowanie doświadczeń, złożoną inżynierię i wiedzę specjalistyczną w zakresie danych — pomagamy naszym klientom wyobrazić sobie, co jest możliwe, i przyspieszamy ich przekształcenie w cyfrowe firmy jutra GlobalLogic, z siedzibą w Dolinie Krzemowej, prowadzi studia projektowe i centra inżynieryjne na całym świecie, rozszerzając naszą głęboką wiedzę na klientów z branży motoryzacyjnej, komunikacyjnej, usług finansowych, opieki zdrowotnej i nauk przyrodniczych, produkcji, mediów i rozrywki, półprzewodników i technologii.GlobalLogic jest spółką należącą do grupy Hitachi, działającą pod firmą Hitachi, Ltd. (TSE: 6501), która przyczynia się do zrównoważonego społeczeństwa o wyższej jakości życia poprzez stymulowanie innowacji poprzez dane i technologię jako Biznes Innowacji Społecznych.