Senior Data engineer in TechHunt

Aufgaben

· Entwerfen, Erstellen, Erweitern und Warten von Datenpipelines und vereinheitlichter ETL-Integration

· Skalieren Sie den Datenpipeline-Durchsatz mit geeigneten Instrumenten

· Neue Instrumente, Technologien und deren Kombinationen einführen und übernehmen, die es dem Unternehmen ermöglichen, die Datenverarbeitungsgeschwindigkeit und -leistung auf kosteneffiziente Weise zu skalieren

Anforderungen

· Nachgewiesene Erfahrung im Aufbau von Datenverarbeitungspipelines

· Erfahrung mit Workflow-Automatisierungstools (AirFlow, Prefect, Luigi usw.) – RDBMS, spaltenorientiertes DBMS (Schreiben von Abfragen, Erstellen von DB-Architekturen, Verwaltung usw.)

· Apache Spark-

· Starkes Python-Kernwissen

Angenehme Extras:

· ClickHouse

· Apache Kafka

· CDC (z. B. WAL, Debezium, Kafka)

· ksqlDB

· Spark-SQL

· Argo-Arbeitsabläufe

· GCP: BigQuery, Dataproc, Datenfusion, DataFlow

Vorteile

· Sinnvolles Arbeiten in einem agilen Team von Ingenieuren, die Geschäftsideen in Softwarelösungen umsetzen

· Freiheit bei der Auswahl der am besten geeigneten Technologien zur Bereitstellung der Lösung (auch wenn sie noch nicht im Produkt enthalten sind)

· Möchte lernen? Competera liebt das und ist bestrebt, 60 % Ihrer Schulungs-/Kursgebühren zu übernehmen

· Faire Auszahlung mit regelmäßigen leistungsbasierten Bewertungen und Aktienoptionsplan für Top-Performer-

· Remote-First-Ideologie auch nach Pandemie und Krieg

· Arbeitszeiten, die sich Ihrem Biorhythmus anpassen

· Bezahlter Urlaub und Krankheitstage (jeweils 20 Arbeitstage) + 15 freie Tage

· Teilweiser Krankenversicherungsschutz