Leitender Dateningenieur (Python/BigQuery/Spark, Ukraine) #14667 in Capgemini Engineering

Zweck der Stelle: Wir suchen einen Lead Data Engineer zur Verstärkung unseres wachsenden Teams von Analyseexperten. Der neue Mitarbeiter wird für die Erweiterung und Optimierung unserer Daten- und Datenpipeline-Architektur sowie für die Optimierung des Datenflusses und der Datenerfassung für funktionsübergreifende Teams verantwortlich sein. Der ideale Kandidat ist ein strategischer Denker und praktischer technischer Leiter mit einer Leidenschaft für Datenarchitektur, Leistungsoptimierung und cloudbasiertes Data Engineering. Sie sollten eine selbstgesteuerte, proaktive und komfortable Steuerung der Datenstrategie sein und sicherstellen, dass unsere Infrastruktur den sich ändernden Geschäftsanforderungen gerecht wird. Sie arbeiten eng mit Softwareentwicklern, Datenbankarchitekten, Datenanalysten und Datenwissenschaftlern zusammen, um ein konsistentes, skalierbares und leistungsstarkes Datenökosystem über mehrere Teams, Systeme und Produkte hinweg sicherzustellen. Hauptaufgaben und VerantwortlichkeitenEntwerfen und treiben Sie die Entwicklung skalierbarer, Hochleistungs-Datenpipeline-Architekturen, die optimale Datenverarbeitungs-, Transformations- und Speicherlösungen gewährleisten. Stellen Sie große, vollständige Datensätze zusammen, die funktionale/nichtfunktionale Geschäftsanforderungen erfüllen. Führen Sie den Entwurf und die Optimierung der Dateninfrastruktur und nutzen Sie moderne Datentechnologien, um dies sicherzustellen Skalierbarkeit, Zuverlässigkeit und Effizienz. Identifizieren, entwerfen und implementieren Sie interne Prozessverbesserungen: Automatisierung manueller Prozesse, Optimierung der Datenbereitstellung, Neugestaltung der Infrastruktur für mehr Skalierbarkeit, Leistung usw. Erstellen Sie Analysetools, die die Datenpipeline nutzen, um umsetzbare Erkenntnisse zur Kundenakquise zu liefern , Umsatzmanagement, betriebliche Effizienz und andere wichtige Geschäftsleistungskennzahlen. Arbeiten Sie mit Stakeholdern zusammen, einschließlich der Führungs-, Produkt-, Daten- und Designteams, um Sie bei datenbezogenen technischen Problemen zu unterstützen und deren Dateninfrastruktur zu unterstützen. Halten Sie unsere Daten getrennt und über nationale Grenzen hinweg durch mehrere Rechenzentren und AWS-Regionen sicher sein. Erstellen Sie Datentools für Analyse- und Datenwissenschaftler-Teammitglieder, die sie beim Aufbau und der Optimierung unserer Angebote unterstützen. Arbeiten Sie mit Daten- und Analyseexperten zusammen, um eine größere Funktionalität in unseren Datensystemen anzustreben. Sie fungieren als technischer Berater für die Technik , Produkt- und Führungsteams, die Geschäftsanforderungen in skalierbare Datenlösungen umsetzen. Ausbildung, Fähigkeiten und Erfahrung MÜSSEN HABEN: 7+ Jahre Erfahrung in der Datentechnik, Entwurf und Implementierung skalierbarer Datenlösungen. Umfangreiche Erfahrung in der Arbeit mit relationalen Datenbanken und Data Warehouses, einschließlich GCP BigQuery, PostgreSQL, Microsoft SQL Server, Oracle usw. Fachkenntnisse in Echtzeit- und Batch-Datenverarbeitung mit Spark/Kafka-Streaming Erfahrung mit Programmier- und Skriptsprachen: Python, Scala/Java Praktische Erfahrung mit Big-Data-Technologien wie Hadoop, Hive und HBaseProficiency in NoSQL-Datenspeichern, mit Erfahrung in Elasticsearch oder ähnlichen TechnologienNachgewiesene Erfolgsbilanz bei der Architektur und Optimierung großer Datenpipelines, ETL-Workflows und Daten InfrastrukturVertrautheit mit Tools zur Workflow-Orchestrierung wie Apache NiFi, AirflowFähigkeit, Data-Engineering-Teams zu betreuen und anzuleiten und gleichzeitig technische Strategien und Best Practices voranzutreibenMehr anzeigen Weniger anzeigen Positionsebene Nicht anwendbar Art der Beschäftigung Vollzeit Arbeitspflichten Informationstechnologien Branchen IT-Dienstleistungen und IT-Beratung