Datenintegrationsingenieur in EPAM Systems

Wir suchen einen erfahrenen Datenintegrationsingenieur, der die Einbindung eines neuen Datenanbieters übernimmt. Diese Rolle umfasst die Erstellung neuer Pipelines für die Phasen Datenaufnahme, Rohdaten, Kuratierung und Konsolidierung mithilfe von Databricks und unter Verwendung vorhandener Vorlagen als Grundlage. Der ideale Kandidat wird sein Fachwissen in Databricks und PySpark nutzen, um die Datenverarbeitung und -integration zu verbessern. Verantwortlichkeiten: Entwerfen und entwickeln Sie skalierbare Datenpipelines für die Phasen Aufnahme, Rohdaten, Kuratierung und Konsolidierung. Nutzen Sie Databricks, um effiziente und zuverlässige Datenflüsse aufzubauen. Implementieren Sie PySpark, um große Datensätze innerhalb der Pipelines zu verarbeiten Arbeiten Sie mit Datenteams zusammen, um eine Pipeline-Architektur und Best Practices zu etablieren. Optimieren Sie Datenpipelines für maximale Leistung und Skalierbarkeit. Stellen Sie die Datenintegrität und -qualität im gesamten Projekt sicher Pipeline-ProzessÜberwachen und beheben Sie alle Probleme, die in Datenpipelines auftreten. Führen Sie regelmäßige Systemtests und Aktualisierungen durch, um die Funktionalität zu verbessern. Dokumentieren Sie Pipeline-Designs und -Änderungen umfassend. Anforderungen. Mindestens 2 Jahre Berufserfahrung in der Datenpipeline-Entwicklung oder einem verwandten Bereich. Kenntnisse in Databricks und PySpark Datenverarbeitung und Workflow-Management. Qualifikationen in der Systemarchitektur im Zusammenhang mit der Datenverwaltung. Fähigkeit zum Debuggen und Optimieren der Pipeline-Leistung. Gut zu haben. Vertrautheit mit Amazon Web DienstleistungenKenntnisse von Apache AirflowVerständnis der Programmiersprachen Python und SQLWir bietenArbeiten Sie nach einem flexiblen Zeitplan aus der Ferne oder von einem unserer komfortablen Büros oder Coworking Spaces in der Ukraine ausErhalten Sie die notwendige Ausrüstung, um Ihre Arbeitsaufgaben zu erledigenÄndern Sie Projekte und Technologie-Stacks innerhalb von EPAMSammeln Sie Erfahrungen in verschiedenen Geschäftsbereichen (Versicherungen, E-Commerce, Gesundheitswesen, Finanzen, Reisen, Medien, künstliche Intelligenz und mehr) Erwägen Sie Umzugsmöglichkeiten in über 30 Ländern weltweit. Nehmen Sie an Freiwilligen-, Wohltätigkeitsprogrammen und Gemeinschaften teil (sowohl fachlich als auch interessenbasiert) Sie können Ihren individuellen Karriereweg gemeinsam mit Ihrem Vorgesetzten planen. Erhalten Sie regelmäßig Feedback von Kollegen. Verbessern Sie Ihr Englisch kostenlos mit zertifizierten Lehrern (Speaking Clubs, Kurse zur Vorbereitung auf Kundengespräche usw.). Erhalten Sie die Möglichkeit, sich kostenlos zu unterziehen Schulung und Zertifizierung in AWS, GCP oder Azure Clouds. Nutzen Sie das interne E-Learn-Schulungsprogramm (über 18.200 spezialisierte Schulungs- und Mentoring-Programme). Greifen Sie auf Unternehmenskonten auf LinkedIn Learning, Get Abstract und anderen Partnerressourcen zu. Lernen Sie unter EPAM Solution Architecture School mit Dozenten, die praktizierende Architekten sind. Entwickeln Sie sich als Führungskraft, nehmen Sie an der Delivery Management-, Resource Management-, Leadership Essentials-Schule und mehr teil. Nehmen Sie an internen Communities teil (über 500 Meetups, technische Diskussionen, Brainstorming-Sitzungen, Online-Events und Konferenzen pro Jahr). Urlaub und Krankheit Urlaub (einschließlich Krankheitsurlaub ohne ärztliches Attest) Eine breite Palette freiwilliger Krankenversicherungsprogramme, die sowohl medizinische Behandlung als auch verschiedene Präventionsmöglichkeiten (einschließlich Sportaktivitäten) bieten. Krankenversicherung für Familienmitglieder zu Firmentarifen. Unterstützung des Unternehmens während bedeutende Lebensereignisse (Geburt oder Geburt).Option, Heirat usw.)Unterstützung für psychologisches Wohlbefinden: Ermäßigungen auf Dienstleistungen von Spezialisten für psychische Gesundheit oder Coaches, thematische SchulungenE-Kids-Programm – ein kostenloses Programmiersprachen-Trainingsprogramm für EPAMer-KinderEPAM ist bestrebt, sein globales Team von über 52.800 Fachkräften bereitzustellen mehr als 55 Länder mit Möglichkeiten zur beruflichen Weiterentwicklung vom ersten Tag der Zusammenarbeit an. Unsere Kollegen sind die Quelle des Erfolgs von EPAM. Deshalb legen wir Wert auf Zusammenarbeit, sind bestrebt, das Geschäft unserer Kunden stets zu verstehen und streben nach höchsten Qualitätsstandards. Egal wo Sie sind, Sie werden Teil einer engagierten, vielfältigen Community, die Ihnen hilft, Ihr Potenzial voll auszuschöpfen. Mehr anzeigen Weniger anzeigen Посадовий рівень Помічник Typ зайнятості Erster Robotertag Weitere Informationen Informationstechnologie Galuzi Розробка програмного забезпечення и ІТ-послуги та ІТ Консалтинг