Mittlerer/Senior Big Data Engineer (bei Palantir Foundry) in N-iX

Wir suchen einen proaktiven Middle+/Senior Big Data Engineer zur Verstärkung unseres dynamischen Teams! Sie spielen eine entscheidende Rolle bei der Gestaltung, Entwicklung und Wartung anspruchsvoller Datenpipelines sowie bei der Verwendung von Foundry-Tools wie Ontology, Pipeline Builder, Code Repositories usw. Der ideale Kandidat verfügt über fundierte Kenntnisse in Cloud-Technologien, Datenarchitektur usw Leidenschaft für die Lösung komplexer Datenherausforderungen.

Tools und Fähigkeiten, die Sie in dieser Rolle verwenden werden: Palantir Foundry, Python, PySpark, SQL, grundlegendes TypeScript.

Aufgaben:

- Arbeiten Sie mit funktionsübergreifenden Teams zusammen, um die Datenanforderungen zu verstehen und skalierbare Datenpipelines in Palantir Foundry zu entwerfen, zu implementieren und zu warten, um die Endabläufe sicherzustellen -durchgängige Datenintegrität und Optimierung von Arbeitsabläufen.

- Sammeln und übersetzen Sie Datenanforderungen in robuste und effiziente Lösungen und nutzen Sie dabei Ihr Fachwissen im cloudbasierten Daten-Engineering. Erstellen Sie Datenmodelle, Schemata und Flussdiagramme, um die Entwicklung zu leiten.

- Entwickeln, implementieren, optimieren und warten Sie effiziente und zuverlässige Datenpipelines und ETL/ELT-Prozesse, um Daten zu sammeln, zu verarbeiten und zu integrieren, um eine zeitnahe und zeitnahe Bereitstellung sicherzustellen Präzise Datenbereitstellung für verschiedene Geschäftsanwendungen bei gleichzeitiger Implementierung von Best Practices für Datenverwaltung und Sicherheit zum Schutz sensibler Informationen.

- Überwachen Sie die Leistung der Datenpipeline, identifizieren Sie Engpässe und implementieren Sie Verbesserungen, um die Datenverarbeitungsgeschwindigkeit zu optimieren und die Latenz zu reduzieren.< /p>

- Beheben und lösen Sie Probleme im Zusammenhang mit Datenpipelines und stellen Sie eine kontinuierliche Datenverfügbarkeit und -zuverlässigkeit sicher, um datengesteuerte Entscheidungsprozesse zu unterstützen.

- Bleiben Sie über neue Technologien und Branchentrends auf dem Laufenden innovative Lösungen in Data-Engineering-Praktiken integrieren und technische Lösungen und Prozesse effektiv dokumentieren und kommunizieren.

- Seien Sie gespannt darauf, sich mit neuen Tools und Technologien vertraut zu machen

< starke>Anforderungen:

- 4+ Jahre Erfahrung in der Datentechnik;

- Starke Kenntnisse in Python und PySpark;

- Kenntnisse mit Big-Data-Technologien (z. B. Apache Hadoop, Spark, Kafka, BigQuery usw.);

- Praktische Erfahrung mit Cloud-Diensten (z. B. AWS Glue, Azure Data Factory, Google Cloud Dataflow);< /p>

- Fachwissen in Datenmodellierung, Data Warehousing und ETL/ELT-Konzepten;

- Praktische Erfahrung mit Datenbanksystemen (z. B. PostgreSQL, MySQL, NoSQL usw.);< /p>

- Effektive Problemlösungs- und Analysefähigkeiten, gepaart mit hervorragenden Kommunikations- und Kollaborationsfähigkeiten;

- Starke Kommunikations- und Teamfähigkeit;

- Verständnis für Datensicherheit und Best Practices für den Datenschutz;

- Starke mathematische, statistische und algorithmische Fähigkeiten.

Schön zu haben:

- Zertifizierung in Cloud-Plattformen oder verwandten Bereichen;

- OpenAI/jede andere LLM-API-Erfahrung

- Vertrautheit mit Containerisierungstechnologien (z. B. Docker, Kubernetes);

- Grundlegendes HTTP-Verständnis zum Durchführen von API-Aufrufen;

- Vertrautheit mit Palantir Foundry;

- Frühere Arbeit oder akademische Erfahrung mit JavaScript / TypeScript

Wir bieten:

- Flexibles Arbeitsformat – remote, im Büro oder flexibel

- Ein wettbewerbsfähiges Gehalt und ein gutes Vergütungspaket

- Personalisiertes Karrierewachstum

- Tools zur beruflichen Weiterentwicklung (Mentorenprogramm, technische Vorträge und Schulungen, Kompetenzzentren und mehr)< /p>

- Aktive Tech-Communitys mit regelmäßigem Wissensaustausch

- Bildungserstattung

- Denkwürdige Jubiläumsgeschenke

- Firmenveranstaltungen und Teambuilding

- Firmenveranstaltungen und Teambuilding

- p>

- Weitere standortspezifische Vorteile