Lead Data Engineer w EPAM Ukraine

OPIS

Naszym klientem jest amerykańska firma produkująca gry wideo.

Obowiązki

• Przeprowadź migrację bieżących potoków danych i DAG z procedur przechowywanych GCP BigQuery do AWS Redshift
• Wykonaj niezbędne uzupełnienia danych oraz zweryfikuj jakość i integralność podczas migracji i po niej
• Projektuj, rozwijaj i utrzymuj potoki danych przy użyciu usług AWS, takich jak Amazon Redshift (lub dowolne rozwiązanie MPP), Amazon S3, dbt i Apache Airflow
• Wykorzystaj rozwiązania SQL i ETL/ELT do przekształcania i ładowania danych z różnych źródeł do hurtowni danych i jezior danych
• Optymalizuj przepływy pracy i procesy danych, aby zapewnić wydajność, skalowalność i niezawodność
• Wdrażaj mechanizmy automatycznej aktualizacji, aby zapewnić aktualność potoków danych i systemów za pomocą najnowszych danych
• Współpracuj z zespołami interdyscyplinarnymi, aby zrozumieć wymagania dotyczące danych i dostarczać rozwiązania spełniające potrzeby biznesowe
• Monitoruj i rozwiązuj problemy z potokami danych, aby identyfikować i rozwiązywać problemy w odpowiednim czasie
• Przeprowadzaj oceny i analizy danych, aby zapewnić spostrzeżenia i zalecenia dotyczące podejmowania decyzji w oparciu o dane

Wymagania

• Ponad 5 lat doświadczenia jako inżynier danych
• Zaawansowany SQL, PLSQL, TSQL do transformacji i optymalizacji danych
• Doświadczenie w pisaniu kodu ETL/ELT, zarządzaniu i wdrażaniu DAG przy użyciu DBT lub Airflow
• Praktyczne doświadczenie w pracy z AWS RedShift, jeśli nie, pracowałeś z podobnymi systemami Cloud EDW
• Poziom średniozaawansowany języka angielskiego w mowie i piśmie (B2+)

Miło jest mieć

• Znajomość Google Cloud Platform (GCP) i Google Cloud BigQuery do przechowywania i analityki danych
• Znajomość narzędzi migracyjnych AWS do przenoszenia danych i obciążeń z Google Cloud Platform do AWS
• Doświadczenie w zakresie technik analitycznych i oceny danych w celu oceny jakości, integralności i użyteczności danych
• Biegłość w zakresie metodologii i narzędzi testowania BI do sprawdzania raportów i dashboardów Business Intelligence
• Doświadczenie w inżynierii analizy danych ze szczególnym naciskiem na budowanie skalowalnych i wydajnych rozwiązań w zakresie danych

Oferujemy

• Konkurencyjne wynagrodzenie uzależnione od doświadczenia i umiejętności
• Indywidualna ścieżka kariery
• Nieograniczony dostęp do rozwiązań edukacyjnych LinkedIn
• Zwolnienie lekarskie i regularny urlop
• Zajęcia z języka angielskiego z certyfikowanymi lektorami języka angielskiego
• Elastyczne godziny pracy