Senior StreamSets Engineer/ Data Engineer IRC170963 in GlobalLogic

Beschreibung:

Wir suchen einen Senior StreamSets Engineer/Data Engineer für unser ehrgeiziges Projekt, das einem der Kunden unseres Fin-Tech-Portfolios gewidmet ist. Sie werden als Teil des verteilten funktionsübergreifenden Scrum-Teams mit Sitz in Polen arbeiten.

Sie arbeiten in einem Reporting-Team sowie in Domänenexperten, Entwicklern, Kontrollingenieuren und Datenwissenschaftlern. Ihre Hauptaufgabe wird es sein, zuverlässige und instrumentierte Datenerfassungspipelines zu entwickeln, die eingehende Daten aus mehreren Prozessen und betrieblichen Datenspeichern im gesamten Unternehmen an lokale und Cloud-basierte Data Lakes weiterleiten. Diese Pipelines erfordern eine Datenvalidierung und Datenprofilerstellungsautomatisierung zusammen mit Versionskontrolle und CI/CD, um die kontinuierliche Belastbarkeit und Wartbarkeit der eingehenden Datenflüsse zu gewährleisten, die unsere fortschrittlichen Analyseprojekte unterstützen.

Wir sind ein enthusiastisches Team, eng mit dem Kunden integriert und für geschäftliche und technische Entscheidungen befähigt. Dieses Projekt ist Teil des langfristigen Programmplans.

Zögern Sie nicht – schließen Sie sich uns an und erschaffen Sie Ihre Welt!

Anforderungen:

• Mindestens 3 Jahre praktische Erfahrung in Design, Entwicklung, Bereitstellung und Fehlerbehebung von StreamSets-Pipelines in Datenpipeline-Ökosystemen
• Starkes Arbeitsverständnis für Big Data ETL-Lösungen
• Data Streaming/Pattern Skillset ist ein Muss
• Software – StreamSets Data Collector, StreamSets Transformer, StreamSets Control Hub, Kafka, Mongo DB, CDC
• Erfahrung mit StreamSets Data Collector mit Schwerpunkt auf Design, Test, Bereitstellung, Betrieb und Wartung von Pipelines, die Streaming- und Batch-Daten fließen
• Erfahrung mit der Verwendung der Streamsets-API / -Protokolle zum Erstellen von Warnungen für das Bewusstsein des Teams für Probleme im Zusammenhang mit der Umgebung
• Starkes Verständnis für die Entwicklung relationaler Datenbankanwendungen
• Starkes Verständnis der Entwicklung und Bereitstellung auf einer Cloud-Plattform in Snowflake oder AWS
• Beherrschung der Skripterstellung – Python-Sprache
• Gute Englischkenntnisse (schriftlich und mündlich). Fähigkeit, an der täglichen Kommunikation teilzunehmen und ein Gespräch mit anderen Stakeholdern zu führen
• Agile Praktiken

Schön zu haben:

• Oracle, Unix-Scripting, Java, Cloud, NoSQL
• Moderne Codeentwicklungspraktiken (Git, CI: CD, QA und Dokumentation)
• PySpark/Spark und Data Wrangling
• Erfahrung im Finanzdienstleistungs-/Bankumfeld

Aufgabenbereiche:

• Verwalten Sie kritische Datenpipelines, die Analysen für verschiedene Geschäftsbereiche ermöglichen
• Entwickeln Sie verschiedene Pipelines in den Stream-Sets gemäß den Anforderungen des Geschäftsinhabers
• Stellen Sie die Stream-Sets-Pipelines auf dem Server bereit
• Entwerfen und erstellen Sie Pipeline-Lösungen, um Daten aus mehreren heterogenen Systemen mithilfe von Stream Sets-Datenkollektoren zu integrieren
• Integrieren Sie Daten aus mehreren Jahren aus Dateien und Datenbanken wie DB2, SQL Server, Oracle, Teradata, JSON und MySQL
• Integrieren Sie Daten aus mehreren Themen in die Datenbank. Verwalten Sie die RESTful-API und integrieren Sie sie in Stream-Sets, um Daten zu verschieben
• Integrieren Sie Daten aus Cloudera Big Data Stack, Hadoop, Hive, Hbase und MongoDB. Build Stream legt die Pipeline fest, um Änderungen zu berücksichtigen
• Verantwortlich für das Senden von Qualitätsdaten über sichere Kanäle an nachgelagerte Systeme unter Verwendung von rollenbasierter Zugriffskontrolle und Stream-Sets

Was wir anbieten

Spannende Projekte: Mit Kunden aus allen Branchen und Sektoren bieten wir die Möglichkeit, mit den neuesten Technologien an marktbestimmenden Produkten zu arbeiten.

Kollaborative Umgebung: Sie können Ihre Fähigkeiten erweitern, indem Sie mit einem vielfältigen Team hochtalentierter Mitarbeiter in einer offenen, entspannten Umgebung zusammenarbeiten – oder sogar im Ausland in einem unserer globalen Zentren oder Kundeneinrichtungen!

Work-Life-Balance: GlobalLogic legt Wert auf Work-Life-Balance, weshalb wir flexible Arbeitszeiten anbieten.

Berufliche Entwicklung: Durch internationalen Wissensaustausch und berufliche Zertifizierungsmöglichkeiten entwickeln wir Wege, die Ihren individuellen Talenten entsprechen.

Hervorragende Leistungen: Wir bieten unseren Mitarbeitern private medizinische Versorgung, Sportstättenkarten, Gruppenlebensversicherung, Reiseversicherung, Umzugspaket, Essenszuschüsse und kulturelle Aktivitäten.

Fun Perks: Wir möchten, dass Sie sich bei Ihrer Arbeit wohlfühlen, deshalb schaffen wir eine gute Arbeitsumgebung mit Entspannungszonen, veranstalten soziale und teambildende Aktivitäten und füllen unsere Küche mit köstlichen Tees und Kaffees!

Über GlobalLogic

GlobalLogic ist ein führendes Unternehmen im Bereich Digital Engineering. Wir unterstützen Marken auf der ganzen Welt beim Design und Aufbau innovativer Produkte, Plattformen und digitaler Erlebnisse für die moderne Welt. Durch die Integration von Erlebnisdesign, komplexem Engineering und Datenexpertise helfen wir unseren Kunden, sich vorzustellen, was möglich ist, und beschleunigen ihren Übergang in die digitalen Unternehmen von morgen .GlobalLogic hat seinen Hauptsitz im Silicon Valley und betreibt Designstudios und Engineering-Zentren auf der ganzen Welt, die unser umfassendes Know-how auf Kunden in den Branchen Automobil, Kommunikation, Finanzdienstleistungen, Gesundheitswesen und Biowissenschaften, Fertigung, Medien und Unterhaltung, Halbleiter und Technologie ausdehnen.GlobalLogic ist ein Unternehmen der Hitachi Group, das unter Hitachi, Ltd. (TSE: 6501) firmiert und zu einer nachhaltigen Gesellschaft mit höherer Lebensqualität beiträgt, indem es als Social Innovation Business Innovationen durch Daten und Technologie vorantreibt.