Leitender Dateningenieur in N-iX

Stellenübersicht: Als Dateningenieur spielen Sie eine entscheidende Rolle beim Aufbau und der Optimierung unserer Datenpipeline, die für die Zuverlässigkeit und Leistung unserer Plattform von zentraler Bedeutung ist. Sie sind für die Architektur und Pflege effizienter Datenströme und die Integration der neuesten Technologien verantwortlich, mit besonderem Schwerpunkt auf der Verarbeitung komplexer Ereignisse (CEP), um unsere strategischen Ziele zu unterstützen und ein robustes Data-Engineering-Ökosystem aufzubauen. Daten-Engineering und Stream-Verarbeitung: Architekt, Entwickeln und pflegen Sie skalierbare Datenpipelines mithilfe von AWS-Diensten wie Kinesis, Firehose, Glue, Lambda und Redshift. Implementieren und optimieren Sie Stream-Verarbeitungslösungen mit Frameworks wie Apache Flink und Kafka, um die Datenerfassung, Analyse und Verarbeitung komplexer Ereignisse in Echtzeit zu unterstützen (CEP). Entwerfen und bauen Sie CEP-Systeme, um interessante Muster in Echtzeit-Datenströmen zu erkennen und darauf zu reagieren. Entwickeln, optimieren und warten Sie die Stream-Pipeline, um eine effiziente, zuverlässige und skalierbare Datenverarbeitung sicherzustellen. Stellen Sie die Datenqualität und -zuverlässigkeit sicher Implementierung robuster Datenvalidierungs-, Fehlerbehandlungs- und Überwachungs-Frameworks. Überwachung, Beobachtbarkeit und Optimierung: Nutzen Sie Apache Flink für die Echtzeit-Stream-Verarbeitung und -Überwachung, um komplexe Ereignisverarbeitung und Datentransformationen effektiv zu handhaben. Verwenden Sie Tools wie Prometheus und Grafana für Beobachtbarkeit, um sicherzustellen Zustand und Leistung der Datenpipeline. Kontinuierliche Überwachung, Fehlerbehebung und Optimierung der Leistung der Datenpipeline, um Milliarden von Ereignissen pro Monat zu bewältigen. Zusammenarbeit und Integration: Arbeiten Sie eng mit funktionsübergreifenden Teams zusammen, darunter Front-End-Entwickler und Datenwissenschaftler, um eine zu erstellen Robuste Datenplattform, die aktuelle und zukünftige Geschäftsanforderungen erfüllt. Beteiligen Sie sich am Design und der Architektur skalierbarer Datensysteme, integrieren Sie neue Datenquellen und optimieren Sie bestehende Datenprozesse. Schreiben Sie Code auf Produktionsebene in Kotlin und Python, um Datenverarbeitungsanwendungen und Automatisierungsskripte zu erstellen und CEP-Logik.Qualifikationen:Bachelor-Abschluss in Informatik oder einem verwandten Bereich oder gleichwertige Erfahrung.3+ Jahre Erfahrung in der Datentechnik oder einer ähnlichen Rolle.Ausgeprägte Kenntnisse mit AWS-Diensten wie Kinesis, Glue, Firehose, Lambda und Redshift.Expertise in Stream-Processing-Frameworks wie Apache Flink und Kafka.Erfahrung im Entwurf und der Implementierung von Complex Event Processing (CEP)-Lösungen für Echtzeit-Datenströme.Solide Erfahrung in der Programmierung mit Kotlin; Vertrautheit mit Python oder anderen Programmiersprachen ist von Vorteil.Nachgewiesene Erfahrung in der Entwicklung, Optimierung und Wartung von Streaming-Datenpipelines in großen Umgebungen.Nachgewiesene Fähigkeit, komplexe Datenpipelines zu erstellen, zu optimieren und zu warten, die Milliarden von Ereignissen pro Monat verarbeiten.Stark Analyse- und Problemlösungsfähigkeiten mit der Fähigkeit, mehrere komplexe Projekte und Fristen zu verwalten. Gute Kommunikationsfähigkeiten, mit der Fähigkeit, effektiv in funktionsübergreifenden Teams zu arbeiten, und Erfahrung mit agilen Projektmanagementmethoden. Bevorzugte Fähigkeiten: Erfahrung mit Cloud-Dateninfrastrukturlösungen in AWS.Expertise in verteilten Datenverarbeitungs-Frameworks wie Apache Spark oder ähnlichem.Vertrautheitmit OLAP-Datenbanken wie Snowflake oder Redshift.Kenntnisse im C#/.NET-Kern oder in der Entwicklung und Wartung spezifischer Datenverarbeitungsanwendungen.Vertrautheit mit Datenintegrationstools wie Metillion und Erfahrung mit großen Datenumgebungen.Fähigkeit zur Zusammenarbeit und Anpassung an Dynamik Projektanforderungen.Wir bieten:Flexibles Arbeitsformat – remote, im Büro oder flexibelEin wettbewerbsfähiges Gehalt und ein gutes VergütungspaketPersonalisiertes KarrierewachstumProfessionelle Entwicklungstools (Mentorenprogramm, technische Vorträge und Schulungen, Kompetenzzentren und mehr)Aktive Tech-Communitys mit regelmäßigem WissensaustauschBildung ErstattungDenkwürdige JubiläumsgeschenkeFirmenveranstaltungen und TeambuildingsWeitere standortspezifische Vorteile Mehr anzeigen Weniger anzeigen Посадовий рівень Starrer Wochentag Typ зайнятості Erster Robotertag Weitere Informationen Informationstechnologie Galuzi Technologie, Informationen und Internet