Senior Data Engineer (Profisee MDM) w EPAM Ukraine

OPIS

Nasz klient dostarcza produkty z zakresu ubezpieczeń majątkowych, rolnych, ryzyka cybernetycznego, biznesowych, osobowych i reasekuracyjnych.

Poszukujemy starszego inżyniera danych, który dołączy do naszego zespołu. Jako starszy inżynier danych będziesz odgrywać kluczową rolę w budowaniu i optymalizowaniu potoków i architektur danych oraz integrowaniu danych z różnych źródeł. Będziesz odpowiedzialny za projektowanie, opracowywanie i utrzymywanie rozwiązań do integracji danych przy użyciu Azure Analytics, Azure Data Factory, Azure Databricks, Azure Pipelines i innych platform integracji danych (ETL/ELT).

Nasz idealny kandydat ma duże doświadczenie w inżynierii danych i doświadczenie z narzędziem Profisee Master Data Management.

Obowiązki

• Projektowanie i wdrażanie rozwiązań do integracji danych z wykorzystaniem Azure Analytics, Azure Data Factory, Azure Databricks i Azure Pipelines
• Rozwijanie i utrzymywanie procesów ETL/ELT w celu gromadzenia, przekształcania i ładowania danych z różnych źródeł do hurtowni danych
• Optymalizacja potoków danych i architektur w celu poprawy wydajności i skalowalności
• Współpraca z zespołami interdyscyplinarnymi w celu zrozumienia wymagań dotyczących danych i zapewnienia rozwiązań technicznych
• Rozwiązywanie problemów i rozwiązywanie problemów z integracją danych
• Przeprowadzanie walidacji i kontroli jakości danych w celu zapewnienia ich dokładności i integralności
• Śledzenie na bieżąco trendów branżowych i najlepszych praktyk w zakresie inżynierii danych

Wymagania

• Ponad 3 lata doświadczenia jako inżynier danych ze specjalistyczną wiedzą na temat integracji danych
• Azure Analytics, Azure Data Factory, Azure Databricks, Azure Pipelines, platformy integracji danych (ETL/ELT), PySpark, Azure Synapse Analytics, Python
• Doświadczenie w tworzeniu i zarządzaniu kompleksowymi potokami danych, rozwiązaniami ETL (Extract, Transform, Load) i ELT (Extract, Load, Transform)
• Potrafi projektować i budować kompleksowe rozwiązania do inżynierii danych przy użyciu Azure Synapse Analytics
• Solidne zrozumienie zasad modelowania danych, Lakehouse, hurtowni danych i zarządzania danymi
• Doskonałe umiejętności komunikacji i współpracy umożliwiające efektywną współpracę z wielofunkcyjnymi zespołami Agile
• Poziom średniozaawansowany języka angielskiego w mowie i piśmie (B2+)

Miło jest mieć

• Microsoft SQL Server, usługi integracji Microsoft SQL Server, Python, SQL
• Zrozumienie potoków Azure DevOps
• Zrozumienie zasad projektowania opartego na testach i ram testów jednostkowych, takich jak PyTest

Oferujemy

• Konkurencyjne wynagrodzenie uzależnione od doświadczenia i umiejętności
• Indywidualna ścieżka kariery
• Nieograniczony dostęp do rozwiązań edukacyjnych LinkedIn
• Zwolnienie lekarskie i regularny urlop
• Zajęcia z języka angielskiego z certyfikowanymi lektorami języka angielskiego
• Elastyczne godziny pracy