Starszy inżynier danych w Limango Polska

Starszy Inżynier Danych @ Limango

Zdalny/Wrocław

Umowa B2B – stawka dzienna 900-1250pln

Twoja rola i główne zadania

• Rozwój platformy danych Central Lakehouse w oparciu o ekosystem AWS / Databricks
• Zarządzanie infrastrukturą danych (Terraform AWS / Databricks) i kodem ETL (PySpark, Delta Live Tables, SparkSQL)
• Wdrożenie monitorowania, testów jakości danych, testów jednostkowych kodu i automatycznych alertów w systemie
• Refaktoryzacja starszych rozwiązań AWS (AWS Glue, Redshift) na monitorowane i CI/CD wdrożyło ekosystem Lakehouse z oczekiwaniami dotyczącymi danych/testowaniem jakości danych
• Aktywne wsparcie w budowaniu architektury medalionowej Lakehouse na potrzeby uczenia maszynowego i danych analitycznych oraz wprowadzanie koncepcji siatki danych
• Aktywne wsparcie w zakresie analityki biznesowej i zespoły ML pracujące na platformie danych

Będziesz potrzebować

• dyplomu z systemów informatycznych, informatyki, matematyki/fizyki , Inżynieria lub dziedzina pokrewna
• kilkuletnie doświadczenie w budowaniu rozwiązań inżynierii danych (idealnie w E-commerce)
• bardzo dobra znajomość programowania w języku Python (budowa aplikacji, testy automatyczne, pakowanie i wdrażanie) 
• prawdziwe doświadczenie w przetwarzaniu danych w PySpark i dobre zrozumienie architektury silnika przetwarzania Spark
• Zaawansowane umiejętności przetwarzania SQL
• doświadczenie w architekturze jezior danych i modelowaniu danych paradygmaty
• doświadczenie we wdrażaniu infrastruktury Terraform w postaci kodu i CI/CD
• doświadczenie w budowaniu i wdrażaniu aplikacji ETL do inżynierii danych – potoki CI/CD w środowiskach git
< li> Biegła znajomość języka angielskiego – pracujemy w międzynarodowym środowisku
• Nastawienie na grę zespołową i chęć poznania nowoczesnych technologii/frameworków

Nice- to have

• Znajomość architektury AWS Cloud i platformy Databricks będzie bardzo mile widziana
• Doświadczenie z AWS Glue i Redshift warehousing
• Doświadczenie z szablonami CloudFormation
• Doświadczenie w przetwarzaniu strumieniowym AWS Kinesis i Spark
• Dobra znajomość kodowania w Scala, programowania funkcjonalnego i tworzenia aplikacji
• Doświadczenie ze środowiskami MLOps (np. MLFlow) < /li>

Korzyści:

• Dostęp do prywatnej opieki zdrowotnej, która zapewni dobro Tobie i Twoim bliskim.
• Zajęcia językowe z języka angielskiego i niemieckiego, dostosowane do Twojego poziomu umiejętności.
• Możliwości pracy zdalnej i elastyczne godziny pracy dostosowane do Twojego harmonogramu.
• Dofinansowanie karty Multi-sport
• Biuro zlokalizowane w tętniącym życiem centrum Wrocławia, w pobliżu udogodnień takich jak kina, kluby fitness i bogata oferta lunchowa.
• Po godzinach często organizujemy ciekawe wyjścia lub spotkania w naszym biurze lub w jego pobliżu J