Dateningenieur (Postgres/Spark/Elasticsearch, Ukraine) #14738 in Capgemini Engineering

Zweck des Jobs Bei Capgemini Engineering, dem weltweit führenden Anbieter von Ingenieurdienstleistungen, bringen wir ein globales Team aus Ingenieuren, Wissenschaftlern und Architekten zusammen, um den innovativsten Unternehmen der Welt dabei zu helfen, ihr Potenzial auszuschöpfen. Von autonomen Autos bis hin zu lebensrettenden Robotern: Unsere Experten für Digital- und Softwaretechnologie denken über den Tellerrand hinaus und bieten branchenübergreifend einzigartige F&E- und Engineering-Dienstleistungen an. Begleiten Sie uns für eine Karriere voller Möglichkeiten. Wo Sie etwas bewirken können. Wo kein Tag wie der andere ist. Wir suchen einen versierten Dateningenieur zur Verstärkung unseres wachsenden Teams von Analyseexperten. Der neue Mitarbeiter wird für die Erweiterung und Optimierung unserer Daten- und Datenpipeline-Architektur sowie für die Optimierung des Datenflusses und der Datenerfassung für funktionsübergreifende Teams verantwortlich sein. Der ideale Kandidat ist ein erfahrener Data-Pipeline-Builder und Data-Wrangler, der Freude daran hat, Datensysteme zu optimieren und von Grund auf aufzubauen. Der Dateningenieur unterstützt unsere Softwareentwickler, Datenbankarchitekten, Datenanalysten und Datenwissenschaftler bei Dateninitiativen und stellt sicher, dass die optimale Datenbereitstellungsarchitektur in allen laufenden Projekten konsistent ist. Sie müssen eigenverantwortlich arbeiten und sich mit der Unterstützung der Datenanforderungen mehrerer Teams, Systeme und Produkte auskennen. Der richtige Kandidat wird von der Aussicht begeistert sein, die Datenarchitektur unseres Unternehmens zu optimieren oder sogar neu zu gestalten, um unsere Nettoproduktgenerierung und Dateninitiativen zu unterstützen. Hauptaufgaben und Verantwortlichkeiten: Erstellen und pflegen Sie eine optimale Datenpipeline-Architektur. Stellen Sie große, vollständige Datensätze zusammen, die den Anforderungen entsprechen funktionale/nichtfunktionale Geschäftsanforderungen. Identifizieren, entwerfen und implementieren Sie interne Prozessverbesserungen: Automatisierung manueller Prozesse, Optimierung der Datenbereitstellung, Neugestaltung der Infrastruktur für mehr Skalierbarkeit, Leistung usw. Bauen Sie die Infrastruktur auf, die für eine optimale Extraktion, Transformation und das Laden von erforderlich ist Daten aus einer Vielzahl von Datenquellen mithilfe von SQL und Big-Data-Technologien. Erstellen Sie Analysetools, die die Datenpipeline nutzen, um umsetzbare Erkenntnisse zur Kundenakquise, zum Umsatzmanagement, zur betrieblichen Effizienz und anderen wichtigen Geschäftsleistungskennzahlen zu liefern. Arbeiten Sie mit Stakeholdern, einschließlich der Geschäftsleitung, zusammen , Produkt-, Daten- und Designteams zur Unterstützung bei datenbezogenen technischen Problemen und zur Unterstützung ihrer Dateninfrastrukturanforderungen. Halten Sie unsere Daten über nationale Grenzen hinweg durch mehrere Rechenzentren und Regionen getrennt und sicher. Erstellen Sie Datentools für Analyse- und Datenwissenschaftlerteammitglieder Unterstützen Sie sie beim Aufbau und der Optimierung unserer Angebote. Arbeiten Sie mit Daten- und Analyseexperten zusammen, um eine größere Funktionalität in unseren Datensystemen anzustreben. Ausbildung, Fähigkeiten und Erfahrung MÜSSEN: 5+ Jahre Erfahrung in einer Rolle als Dateningenieur haben. Erfahrung in der Arbeit mit relationalen Datenbanken und Data Warehouses , einschließlich Postgres, Microsoft SQL Server, Oracle, GCP BigQuery usw. Erfahrung mit Big-Data-Tools: Hadoop, Spark, Hive, HBase usw. Erfahrung mit NoSQL-Datenrepositorys, idealerweise Elasticsearch. Erfahrung im Aufbau und der Optimierung von Big-Data-Pipelines und -Architekturen und Datensätze. Vertrautheit mit Workflow-Management-Tools: NiFi, Airflow usw. Erfahrung erforderlichArbeit mit Stream-Verarbeitungssystemen wie Apache Spark und/oder Kafka Streaming, Storm usw. Muss über Erfahrung mit Programmier- und Skriptsprachen verfügen: Python, Scala, OOP Mehr anzeigen Weniger anzeigen Positionsebene Assistent Art der Beschäftigung Vollzeit Arbeitspflichten Informationstechnologien Branchen IT-Dienstleistungen und IT-Beratung