Lead Data Engineer in EPAM Ukraine

BESCHREIBUNG

Unser Kunde ist ein amerikanisches Videospielunternehmen.

Aufgaben

• Migrieren Sie aktuelle Datenpipelines und DAGs von gespeicherten GCP BigQuery-Prozeduren in AWS Redshift
• Führen Sie die erforderlichen Datenrückverfüllungen durch und validieren Sie die Qualität und Integrität während und nach der Migration.
• Entwerfen, entwickeln und warten Sie Datenpipelines mit AWS-Diensten wie Amazon Redshift (oder einer beliebigen MPP-Lösung), Amazon S3, dbt und Apache Airflow.
• Nutzen Sie SQL- und ETL/ELT-Lösungen, um Daten aus verschiedenen Quellen zu transformieren und in Data Warehouses und Data Lakes zu laden.
• Optimieren Sie Daten-Workflows und -Prozesse, um Effizienz, Skalierbarkeit und Zuverlässigkeit sicherzustellen
• Implementieren Sie automatische Aktualisierungsmechanismen, um Datenpipelines und -systeme mit den neuesten Daten auf dem neuesten Stand zu halten
• Arbeiten Sie mit funktionsübergreifenden Teams zusammen, um die Datenanforderungen zu verstehen und Lösungen zu liefern, die den Geschäftsanforderungen entsprechen.
• Überwachen und beheben Sie Fehler in Datenpipelines, um Probleme rechtzeitig zu identifizieren und zu lösen.
• Führen Sie Datenbewertungen und -analysen durch, um Erkenntnisse und Empfehlungen für datengesteuerte Entscheidungsfindung bereitzustellen.

Anforderungen

• 5+ Jahre Erfahrung als Data Engineer
• Erweitertes SQL, PLSQL, TSQL zur Datentransformation und -optimierung
• Erfahrung mit dem Schreiben von ETL/ELT-Code, der Verwaltung und Bereitstellung von DAGs mithilfe von DBT oder Airflow
• Praktische Erfahrung in der Arbeit mit AWS RedShift, wenn nicht, haben Sie mit ähnlichen Cloud-EDW-Systemen gearbeitet
• Obere Mittelstufe in Englisch, sowohl mündlich als auch schriftlich (B2+)

Schön zu haben

• Vertrautheit mit Google Cloud Platform (GCP) und Google Cloud BigQuery für Datenspeicherung und -analyse
• Kenntnisse der AWS-Migrationstools für die Übertragung von Daten und Workloads von der Google Cloud Platform zu AWS
• Erfahrung mit Analyse- und Datenbewertungstechniken zur Beurteilung der Datenqualität, -integrität und -nutzbarkeit
• Kenntnisse in BI-Testmethoden und -Tools zur Validierung von Business Intelligence-Berichten und Dashboards
• Hintergrund im Bereich Data Analytics Engineering mit Schwerpunkt auf dem Aufbau skalierbarer und effizienter Datenlösungen

Wir bieten

• Wettbewerbsfähige Vergütung abhängig von Erfahrung und Fähigkeiten
• Individueller Karriereweg
• Unbegrenzter Zugriff auf LinkedIn-Lernlösungen
• Krankenstand und regulärer Urlaub
• Englischunterricht mit zertifizierten Englischlehrern
• Flexible Arbeitszeiten