Python Data Engineer (Übergang zum DataOps Engineer) in Reply.io

16. September 2024

Python Data Engineer (Übergang zum DataOps Engineer)

віддалено

Wir sind ein Produktunternehmen, das auf dem globalen Markt tätig ist. Im Moment sind wir ein Team aus über 80 großartigen Ukrainern, die vom ersten Tag an zu 100 % aus der Ferne arbeiten. Wir haben über 4.000 Kunden auf der ganzen Welt, die täglich unsere Plattform nutzen. Und jetzt suchen wir einen großartigen Kundendienstmitarbeiter zur Verstärkung unseres großartigen Teams :)

Als Python-Dateningenieur, der zu DataOps wechselt, konzentrieren Sie sich zunächst auf die Python-Skripterstellung und entwickeln Ihre Datentechnikfähigkeiten. Zu Ihren Aufgaben gehören die Automatisierung von Aufgaben, die Entwicklung und Pflege von Pipeline-Jobs in DataBricks sowie die Fehlerbehebung bei Infrastruktur- und Datenverarbeitungsproblemen. Darüber hinaus verwalten und optimieren Sie die KI- und Dateninfrastruktur, unterstützen Analyse-Workflows und sorgen für einen reibungslosen Datenbetrieb. Während Sie mit anderen Teammitgliedern zusammenarbeiten, überwachen Sie die Systemleistung, stellen die Datenintegrität und -sicherheit sicher und beteiligen sich an der Bereitstellung neuer Funktionen und Updates. Diese Rolle richtet sich an jemanden, der sich zu einem DataOps-Ingenieur entwickeln möchte und eine Leidenschaft für kontinuierliches Lernen und die Verbesserung von Datentechnik- und Automatisierungsprozessen hat.

Anforderungen

• 1+ Jahre Erfahrung in der Datentechnik, Datenanalyse oder einem verwandten Bereich

• Kenntnisse in Python Core auf mittlerem Niveau

• Technische Fähigkeiten (nice to have):
– Erfahrung mit GitHub und Git zur Versionskontrolle
– Vertrautheit mit Data Engineering Tools und Bibliotheken wie Pandas und PySpark
– Grundlegendes Verständnis von Datenbanken, einschließlich Abfragen und Datenverwaltung.
– Einige Erfahrungen mit Apache Airflow für das Workflow-Management.
– Bereitschaft, DataBricks für die Verwaltung zu erlernen und zu verwenden Datenpipelines und Jobs
– Grundkenntnisse von Elasticsearch und Kibana für Datenvisualisierung und -suche

• Entwicklung ausgeprägter Fähigkeiten zur Fehlerbehebung zur Diagnose und Lösung von Infrastruktur- und datenbezogenen Problemen

• Verständnis für die Wartung bestehender Infrastruktur und interner Analysesysteme

• Fähigkeit, sowohl unabhängig als auch in einer kollaborativen Teamumgebung effektiv zu arbeiten

• Starke Kommunikationsfähigkeiten, sowohl schriftlich als auch mündlich, um technische Informationen zu vermitteln klar

• Proaktiv, detailorientiert und begierig darauf, in der Rolle zu lernen und zu wachsen.

• Leidenschaft für kontinuierliches Lernen und das Bleiben auf dem Laufenden über die neuesten Entwicklungen in der Datentechnik und DataOps.

Verantwortlichkeiten

• Schreiben von Skripten in Python, um verschiedene Aufgaben und Prozesse zu automatisieren
• Entwickeln und Aufrechterhaltung von Pipeline-Jobs in DataBricks
• Fehlerbehebung und Behebung von Problemen im Zusammenhang mit Infrastruktur und Datenverarbeitung
• Aufrechterhaltung der DATEN- und Vertriebs-KI-Infrastruktur und -Prozesse
• Aufrechterhaltung der vorhandenen Infrastruktur, um einen reibungslosen Betrieb sicherzustellen
• Verwaltung interner Analyse-Workflows unter der Aufsicht von Apache Airflow
• Unterstützung und Pflege von Jobs in DataBricks, um eine effiziente Datenverarbeitung sicherzustellen
• Zusammenarbeit mit anderen Teammitgliedern zur Optimierung von Daten-Workflows
• Überwachungssystem pLeistung und Umsetzung notwendiger Verbesserungen
• Gewährleistung der Datenintegrität und -sicherheit über alle Systeme und Plattformen hinweg
• Dokumentation von Prozessen und Führung umfassender Aufzeichnungen über Änderungen und Aktualisierungen
• Teilnahme an Codeüberprüfungen und Bereitstellung konstruktiven Feedbacks
• Unterstützung bei der Bereitstellung neuer Funktionen und Updates
• Kontinuierliche Verbesserung von Automatisierungsskripten und -prozessen für mehr Effizienz und Zuverlässigkeit
• Bleiben Sie über die neuesten Entwicklungen in den Bereichen DataOps und Data Engineering auf dem Laufenden

< p>Wir bieten

• Arbeiten mit dem führenden Produkt auf dem US-amerikanischen und globalen Markt
• Echte Chancen für berufliches Wachstum und Selbstverbesserung
• Arbeiten von zu Hause oder im Co-Working-Space aus (wir übernehmen die Co-Working-Kosten)
• Wir stellen die neueste Ausrüstung für Ihr komfortables Arbeiten zur Verfügung
• Zugriff auf interne Geschäftsliteratur, Schulungen und Seminare
• Unbegrenzt Anzahl der Krankenstände
• Tolle Kollegen und eine angenehme Arbeitsatmosphäre

Seit Beginn der russischen Invasion fließen alle unsere Gewinne in die Streitkräfte Streitkräfte der Ukraine. Bisher haben wir mehr als 7 Millionen UAH gespendet und sind bestrebt, unser Unternehmen auszubauen, um noch mehr zu helfen. Außerdem sind wir Teil des KOLOcи-Programms von KOLO (koloua.com/kolossus), wo wir monatlich 10.000 US-Dollar allein an sie spenden.

Helfen Sie uns, den Streitkräften der Ukraine dabei zu helfen, Russland in den Arsch zu treten!