Senior Data Engineer (Profisee MDM) в EPAM Ukraine

ОПИС

Наш клієнт надає продукти страхування майна, сільського господарства, кіберризиків, бізнесу, страхування від нещасних випадків і перестрахування.

Ми шукаємо Senior Data Engineer приєднатися до нашої команди. Як старший інженер з даних ви відіграватимете вирішальну роль у створенні та оптимізації конвеєрів і архітектур даних, а також інтеграції даних із різних джерел. Ви несете відповідальність за проектування, розробку та підтримку рішень інтеграції даних за допомогою Azure Analytics, Azure Data Factory, Azure Databricks, Azure Pipelines та інших платформ інтеграції даних (ETL/ELT).

Наш ідеальний кандидат має серйозний досвід у розробці даних і досвід роботи з інструментом керування основними даними Profisee.

Обов'язки

• Розробка та впровадження рішень для інтеграції даних за допомогою Azure Analytics, Azure Data Factory, Azure Databricks і Azure Pipelines
• Розробка та підтримка процесів ETL/ELT для збору, перетворення та завантаження даних із різних джерел у сховища даних
• Оптимізація конвеєрів і архітектур даних для підвищення ефективності та масштабованості
• Співпраця з міжфункціональними командами для розуміння вимог до даних і надання технічних рішень
• Усунення несправностей і вирішення проблем інтеграції даних
• Виконання валідації та перевірки якості даних для забезпечення точності та цілісності даних
• Бути в курсі галузевих тенденцій і найкращих практик у розробці даних

Вимоги

• 3+ роки досвіду інженера з обробки даних із досвідом інтеграції даних
• Azure Analytics, Azure Data Factory, Azure Databricks, Azure Pipelines, платформи інтеграції даних (ETL/ELT), PySpark, Azure Synapse Analytics, Python
• Досвід розробки та керування наскрізними конвеєрами даних, рішеннями ETL (Extract, Transform, Load) і ELT (Extract, Load, Transform)
• Здатність проектувати та створювати наскрізні рішення для обробки даних за допомогою Azure Synapse Analytics
• Тверде розуміння моделювання даних, Lakehouse, сховищ даних і принципів управління даними
• Відмінні навички спілкування та співпраці для ефективної роботи з міжфункціональними гнучкими командами
• Рівень англійської мови Upper-Intermediate, розмовної та письмової (B2+)

Добре мати

• Microsoft SQL Server, Microsoft SQL Server Integration Services, Python, SQL
• Розуміння конвеєрів Azure DevOps
• Розуміння принципів дизайну, керованого тестуванням, і фреймворків модульного тестування, таких як PyTest

Ми пропонуємо

• Конкурентна винагорода в залежності від досвіду та навичок
• Індивідуальна кар'єра
• Необмежений доступ до навчальних рішень LinkedIn
• Лікарняний та чергова відпустка
• Заняття з англійської з сертифікованими вчителями англійської мови
• Гнучкий графік роботи