Dateningenieur in Proxet

13. September 2024

Dateningenieur

Kiew, Polen (Polen)

Project Tech Stack: AWS, Python, Scala, Apache Spark, Spark Streaming, Kafka, Elastic MapReduce, Redshift, Spectrum, Athena, MySQL.

Über die Rolle:

Wir suchen einen hochqualifizierten Staff Data Engineer zur Verstärkung unseres innovativen Teams. Der ideale Kandidat verfügt über umfangreiche Erfahrung in der Arbeit an großen Produktionssystemen und ist für die Leitung des Designs, der Entwicklung und der Optimierung der Datenplattform und -infrastruktur unseres Kunden verantwortlich.

Über das Projekt:

Unser Kunde ist eine Online-Datenbank und Suchmaschine, die es Nutzern ermöglicht, kurze, sich wiederholende Videos ohne Ton zu suchen und zu teilen, die animiert aussehen GIF-Dateien. Es ist der weltweit beste und umfassendste Ort zum Suchen, Entdecken, Teilen und Erstellen animierter Grafiken. Die Plattform unterstützt mehrere API-Integrationen mit den meisten Messengern wie iMessage, Facebook, Instagram, Snapchat, Twitter, Tinder, Slack, WhatsApp und vielen mehr und ermöglicht so einen leistungsstarken Ausdruck auf globalen Kommunikationsplattformen.

Qualifikationen und Fähigkeiten:

• Mehr als 5 Jahre Berufserfahrung in einer Rolle im Bereich Datentechnik, die eine starke Erfolgsbilanz bei der Bereitstellung hochwertiger Leistungen nachweisen Datenlösungen;
• 3+ Jahre Berufserfahrung mit GitHub und Best Practices für die Versionskontrolle;
• Starke Kenntnisse sowohl in Scala als auch in Python mit einer nachgewiesenen Fähigkeit, skalierbare Datenlösungen mithilfe dieser Sprachen zu entwickeln und zu warten;
• Umfassende Kenntnisse von Apache Spark und Elastic MapReduce (EMR), einschließlich Erfahrung in der Optimierung von Spark-Jobs hinsichtlich Leistung, Zuverlässigkeit und Skalierbarkeit;
• Erfahrung mit Spark Streaming und Kafka;
• Erfahrung mit Datenorchestrierungssystemen, insbesondere Luigi, zur Verwaltung komplexer Datenworkflows;
• Umfangreiche Kenntnisse der Ökosysteme Redshift, Spectrum, Athena, MySQL und AWS;
• Umfangreiche Kenntnisse allgemeiner Best Practices bei der Datenmodellierung, -speicherung und -abfrage (z. B. spaltenbasierter/komprimierter Speicher, Datenaufbewahrung, materialisierte Ansichten usw.);
• Erfahrung mit verteilten Systemen in einem Umfang, der über einfache ETLs hinausgeht;
• Vertrautheit mit der automatisierten Datensynchronisierung (insbesondere AWS DMS) aus mehreren Quellen in ein Data Warehouse;
• Erfahrung mit CI/CD-Tools wie Jenkins oder Spinnaker;
• Erfahrung mit Docker und Kubernetes;
• Vertrautheit mit Databricks, insbesondere deren Verwendung zur Untersuchung von Datendiskrepanzproblemen und zur Identifizierung der Ursache der Probleme.

Schön zu haben:

• Vertrautheit mit Google Analytics/GBQ.
• Vertrautheit mit Tableau.

Verantwortlichkeiten:

• Erstellen, optimieren und warten Sie skalierbare Datenpipelines mithilfe von Technologien wie Spark und Python.
• Verwalten und optimieren Sie Data Warehouses, Data Lakes und cloudbasierte Infrastruktur (AWS).
• Stellen Sie die Integrität, Konsistenz und Qualität der Daten während des gesamten Datenlebenszyklus sicher.
• Entwerfen Sie effiziente Datenmodelle und implementieren Sie Strategien für eine optimale Speicherung und Abfrage.
• Komplexe Daten entwickeln und verwaltenOrkflows mit Orchestrierungstools wie Luigi.
• Identifizieren und lösen Sie Datenprobleme, optimieren Sie die Pipeline-Leistung und tragen Sie zu Best Practices für die Datentechnik bei.