Lead Data Engineer в EPAM Ukraine

ОПИСАНИЕ

Наш клиент — американская компания по производству видеоигр.

Обязанности

• Миграция текущих конвейеров данных и групп DAG из хранимых процедур GCP BigQuery в AWS Redshift.
• Выполнение необходимых обратных заполнений данных и проверка качества и целостности во время и после миграции.
• Проектируйте, разрабатывайте и обслуживайте конвейеры данных с помощью сервисов AWS, таких как Amazon Redshift (или любое другое решение MPP), Amazon S3, dbt и Apache Airflow.
• Используйте решения SQL и ETL/ELT для преобразования и загрузки данных из различных источников в хранилища данных и озера данных.
• Оптимизируйте рабочие процессы и процессы обработки данных, чтобы обеспечить эффективность, масштабируемость и надежность.
• Внедряйте механизмы автоматического обновления для поддержания конвейеров данных и систем в актуальном состоянии с использованием новейших данных.
• Сотрудничайте с межфункциональными командами, чтобы понять требования к данным и предоставлять решения, отвечающие потребностям бизнеса.
• Мониторинг и устранение неполадок в конвейерах данных для своевременного выявления и устранения проблем.
• Выполняйте оценку и анализ данных, чтобы предоставлять ценную информацию и рекомендации для принятия решений на основе данных.

Требования

• Опыт работы дата-инженером от 5 лет
• Расширенный SQL, PLSQL, TSQL для преобразования и оптимизации данных
• Опыт написания кода ETL/ELT, управления и развертывания групп DAG с использованием DBT или Airflow.
• Практический опыт работы с AWS RedShift, если вы не работали с аналогичными системами Cloud EDW.
• Уровень английского языка выше среднего, как разговорный, так и письменный (B2+)

Приятно иметь

• Знание Google Cloud Platform (GCP) и Google Cloud BigQuery для хранения и анализа данных.
• Знание инструментов миграции AWS для переноса данных и рабочих нагрузок с Google Cloud Platform на AWS.
• Опыт работы с методами аналитики и оценки данных для оценки качества, целостности и удобства использования данных.
• Знание методологий и инструментов BI-тестирования для проверки отчетов и информационных панелей бизнес-аналитики.
• Опыт работы в области анализа данных с упором на создание масштабируемых и эффективных решений для обработки данных.

Мы предлагаем

• Конкурентное вознаграждение в зависимости от опыта и навыков
• Индивидуальный карьерный путь
• Неограниченный доступ к обучающим решениям LinkedIn
• Больничный и очередной отпуск
• Занятия английским языком с сертифицированными преподавателями английского языка
• Гибкий график работы