Senior Data Engineer (Profisee MDM) в EPAM Ukraine

ОПИСАНИЕ

Наш клиент предоставляет продукты по страхованию имущества, сельскому хозяйству, киберрискам, бизнесу, страхованию от несчастных случаев и перестрахованию.

В нашу команду мы ищем старшего Data Engineer. Как старший инженер по данным, вы будете играть решающую роль в построении и оптимизации конвейеров и архитектур данных, а также в интеграции данных из различных источников. Вы будете отвечать за проектирование, разработку и поддержку решений по интеграции данных с использованием Azure Analytics, Azure Data Factory, Azure Databricks, Azure Pipelines и других платформ интеграции данных (ETL/ELT).

Наш идеальный кандидат имеет большой опыт работы с данными и опыт работы с инструментом Profisee Master Data Management.

Обязанности

• Проектирование и внедрение решений по интеграции данных с использованием Azure Analytics, Azure Data Factory, Azure Databricks и Azure Pipelines.
• Разработка и поддержка процессов ETL/ELT для сбора, преобразования и загрузки данных из различных источников в хранилища данных.
• Оптимизация конвейеров данных и архитектуры для повышения эффективности и масштабируемости.
• Сотрудничество с межфункциональными командами для понимания требований к данным и предоставления технических решений.
• Устранение неполадок и решение проблем интеграции данных
• Выполнение проверки данных и проверки качества для обеспечения точности и целостности данных.
• Быть в курсе отраслевых тенденций и лучших практик в области обработки данных.

Требования

• Опыт работы от 3 лет в качестве инженера данных с опытом интеграции данных
• Azure Analytics, Фабрика данных Azure, Azure Databricks, Azure Pipelines, платформы интеграции данных (ETL/ELT), PySpark, Azure Synapse Analytics, Python
• Опыт разработки и управления сквозными конвейерами данных, решениями ETL (извлечение, преобразование, загрузка) и ELT (извлечение, загрузка, преобразование).
• Способен проектировать и создавать комплексные решения для обработки данных с использованием Azure Synapse Analytics.
• Глубокое понимание принципов моделирования данных, Lakehouse, хранилищ данных и управления данными.
• Отличные навыки общения и сотрудничества для эффективной работы с межфункциональными Agile-командами.
• Уровень английского языка выше среднего, как разговорный, так и письменный (B2+)

Приятно иметь

• Microsoft SQL Server, службы интеграции Microsoft SQL Server, Python, SQL
• Понимание конвейеров Azure DevOps
• Понимание принципов проектирования через тестирование и фреймворков модульного тестирования, таких как PyTest.

Мы предлагаем

• Конкурентное вознаграждение в зависимости от опыта и навыков
• Индивидуальный карьерный путь
• Неограниченный доступ к обучающим решениям LinkedIn
• Больничный и очередной отпуск
• Занятия английским языком с сертифицированными преподавателями английского языка
• Гибкий график работы