Middle+ Data Engineer in Processica

Erfahrung :

• Erfahrung als Dateningenieur 3+ Jahre.
• Tiefes Verständnis und praktische Erfahrung mit ClickHouse, dbt, Kafka, Airflow und Dagster.
• Kenntnisse in SQL und Erfahrung im Umgang mit großen Datenmengen.
• Fähigkeit, ETL-Prozesse zu erstellen und zu optimieren.
• Kenntnisse in Python und anderen Programmiersprachen.
• Hohe Verantwortung und Bereitschaft zur Teamarbeit.

Es wird ein Plus sein:

• Erfahrung mit der Entwicklung von KI-Lösungen oder Konversationsplattformen.

Aufgaben:

• Entwicklung und Optimierung der Datenverarbeitungsinfrastruktur:
• Entwicklung und Betreuung der Infrastruktur, die den Erhalt und die Verfügbarkeit großer Datenmengen gewährleistet.
• Optimierung von Data Warehouses, einschließlich ClickHouse, für eine schnelle und effiziente Datenanalyse.
• Arbeiten mit dem Haupttechnologie-Stack:
• Entwicklung und Unterstützung von Datenverarbeitungsprozessen unter Verwendung von Technologien wie dbt zur Datenmodellierung und -transformation.
• Konfigurieren und Überwachen eines Kafka-Systems für den Datenaustausch in Echtzeit.
• Erstellen und Debuggen von Aufgabenplanung und Datenausführung mit Apache Airflow.
• Verwendung von Dagster zur Verwaltung und Überwachung verschiedener Phasen des ETL-Prozesses.
• Entwicklung und Support von ETL-Prozessen:
• Erstellen, debuggen und unterstützen Sie Datenextraktions-, Transformations- und Ladeprozesse (ETL).
• Optimierung der ETL-Prozesse, um ein schnelles und genaues Laden der Daten in den Speicher sicherzustellen.
• Verarbeiten Sie Daten aus verschiedenen Quellen und kombinieren Sie sie zur Analyse und Erstellung von Berichten.
• Teamzusammenarbeit: Interagieren Sie mit Ingenieuren, Datenanalysten, Wissenschaftlern und anderen Mitarbeitern, um KI- und natürliche Sprachverarbeitungslösungen zu entwickeln und zu implementieren. Enge Zusammenarbeit mit dem Team, um technische Probleme zu lösen und Möglichkeiten zur Prozessoptimierung zu identifizieren.

Wir bieten :

- Flexible Arbeitszeiten: 8 Stunden am Tag, 40 Stunden pro Woche.

- Buchhaltung und Abgabe von Steuererklärungen für alle Privatunternehmer.

- Direktzahlungen in USD an SWIFT (jede Gerichtsbarkeit), Payoner, Wise, Revolute, PayPal.

- Bezahlte externe Schulungen, Konferenzen und professionelle Zertifizierungen, die den Geschäftszielen des Unternehmens entsprechen.

- Bezahlter Urlaub und Krankheitsurlaub.