Leitender Dateningenieur in Niks

Werden Sie zum Datenstrategieführer für unsere globalen Kunden. Wir suchen einen Senior Data Engineer, der als zuverlässiger technischer Berater fungiert – eine Person, die in der Lage ist, komplexe Lakehouse-Architekturen zu entwerfen, technische Lösungen gegenüber Stakeholdern begründet zu verteidigen und Vorverkaufsaktivitäten voranzutreiben.

MISSION:

Ihre Mission ist es, skalierbare, sichere und kostengünstige Datenplattformen zu entwerfen, die kritische Geschäftsaufgaben lösen. Sie führen technische Audits durch, definieren Best Practices für das Team und bauen die grundlegende Infrastruktur auf, die erweiterte Analysen und die Implementierung von AI/GenAI-Funktionen für unsere Kunden ermöglicht.

WAS SIE TUN WERDEN:

• Leiten Sie den Entwurf und die Implementierung skalierbarer Pipelines und Lakehouse-Architekturen. Fungieren Sie als wichtiger technischer Experte (Design Authority) bei Projekten.
• Lösen Sie die schwierigsten technischen Herausforderungen – Optimierung hochbelasteter Streaming-Pipelines, Debuggen komplexer Spark-Jobs und Entwicklung universeller Frameworks.
• Beteiligen Sie sich an technischen Bewertungen, Audits bestehender Systeme und der Erstellung von Vorschlägen (Schätzungen). Erklären Sie Ihren Kunden den ROI der technischen Modernisierung.
• Stellen Sie sicher, dass alle Lösungen produktionsbereit sind: sicher, durch Überwachung abgedeckt, kosteneffektiv (FinOps) und dokumentiert.
• Definieren Sie Codierungsstandards, führen Sie Codeüberprüfungen durch und betreuen Sie Middle-/Junior-Ingenieure bei der direkten Entwicklung von Data Engineering.

WAS IST UNS WICHTIG:

• Python oder Scala (Expertenebene/Entwurfsmuster), SQL (Expertenebene).
• Databricks (Unity Catalog), Snowflake, BigQuery, Synapse.
• Spark/PySpark (tiefes Verständnis interner Mechanismen, Optimierung, Streaming), dbt (Unternehmensmuster).
• Data Mesh, Lakehouse (Delta Lake/Iceberg), Lambda/Kappa.
• Fortgeschrittenes Terraform/IaC, CI/CD, Docker/Kubernetes.
• Feature Stores, Vektordatenbanken, MLOps-Grundlagen.
• Experte für Python (Entwurfsmuster, Bibliotheksentwicklung) und SQL. Fähigkeit, von anderen geschriebenen Code zu optimieren.
• Tiefgehende Kenntnisse von Databricks (Spark-Speicherverwaltung, Partitionierungsstrategien) oder Snowflake (Warehouse-Optimierung, RBAC, Zero-Copy Cloning). Sie verstehen, wie diese Tools „unter der Haube“ funktionieren.
• Fähigkeit, End-to-End-Lösungen zu entwerfen, die richtigen Tools auszuwählen (argumentieren Sie beispielsweise „Warum Snowflake und nicht Redshift in diesem Fall?“) und Ihre Entscheidungen vor dem Management des Kunden zu verteidigen.
• Expertenwissen über AWS, GCP oder Azure. Tiefes Verständnis von Netzwerken (VPC, PrivateLink), Sicherheit (IAM) und Integrationsgrenzen.
• Erfahrung in der Teilnahme an Vorverkäufen, technischen Audits oder Entdeckungsphasen. Fähigkeit, Geschäftsanforderungen in technische Spezifikationen umzuwandeln.
• Verständnis der Prinzipien der Datenaufbereitung für maschinelles Lernen (Feature Engineering, Pipelines für LLM/RAG).

Wäre von Vorteil:

• Gjegliche Erfahrung mit Kafka, Kinesis oder Spark Structured Streaming.
• Erfahrung mit Vektordatenbanken (Pinecone, pgvector, Weaviate) oder Frameworks wie LangChain.
• Professionelle Cloud-Zertifizierungen (z. B. AWS Solutions Architect Pro, Databricks Certified DE Professional).
• Erweiterte Datenmodellierung für DynamoDB, Cosmos DB oder MongoDB.