Lead Data Engineer в EPAM Ukraine

ОПИС

Наш клієнт – американська компанія з виробництва відеоігор.

Обов'язки

• Перенесіть поточні конвеєри даних і DAG із збережених процедур GCP BigQuery в AWS Redshift
• Виконайте заповнення необхідних даних і перевірте якість і цілісність під час міграції та після неї
• Проектуйте, розробляйте та обслуговуйте конвеєри даних за допомогою служб AWS, таких як Amazon Redshift (або будь-яке рішення MPP), Amazon S3, dbt і Apache Airflow
• Використовуйте рішення SQL і ETL/ELT для перетворення та завантаження даних із різних джерел у сховища даних і озера даних
• Оптимізуйте робочі процеси та процеси даних, щоб забезпечити ефективність, масштабованість і надійність
• Впроваджуйте механізми автоматичного оновлення, щоб підтримувати конвеєри даних і системи в актуальному стані за допомогою останніх даних
• Співпрацюйте з багатофункціональними командами, щоб зрозуміти вимоги до даних і надати рішення, які відповідають потребам бізнесу
• Відстежуйте та вирішуйте проблеми з конвеєрами даних, щоб своєчасно виявляти та вирішувати проблеми
• Виконуйте оцінку даних і аналітику, щоб надати інформацію та рекомендації для прийняття рішень на основі даних

Вимоги

• 5+ років досвіду роботи Data Engineer
• Advanced SQL, PLSQL, TSQL для перетворення та оптимізації даних
• Досвід написання коду ETL/ELT, керування та розгортання DAG за допомогою DBT або Airflow
• Практичний досвід роботи з AWS RedShift, якщо ви не працювали з подібними системами Cloud EDW
• Рівень англійської мови Upper-Intermediate, розмовної та письмової (B2+)

Добре мати

• Знайомство з Google Cloud Platform (GCP) і Google Cloud BigQuery для зберігання та аналітики даних
• Знання інструментів міграції AWS для перенесення даних і робочих навантажень із Google Cloud Platform на AWS
• Досвід роботи з аналітикою та методами оцінки даних для оцінки якості, цілісності та зручності використання даних
• Володіння методологіями тестування BI та інструментами для перевірки звітів бізнес-аналітики та інформаційних панелей
• Досвід розробки аналітичних даних із зосередженням на створенні масштабованих та ефективних рішень для обробки даних

Ми пропонуємо

• Конкурентна винагорода в залежності від досвіду та навичок
• Індивідуальна кар'єра
• Необмежений доступ до навчальних рішень LinkedIn
• Лікарняний та чергова відпустка
• Заняття з англійської з сертифікованими вчителями англійської мови
• Гнучкий графік роботи