Leitender Dateningenieur in Osavul

Berufsbezeichnung:Senior Data EngineerStandort:RemoteBericht an:Engineering ManagerÜber uns:Liegt es Ihnen am Herzen, Länder, Gesellschaften und Unternehmen vor Online-Manipulation und Desinformation zu schützen? Suchen Sie nicht weiter! Unser schnell wachsendes Unternehmen engagiert sich mit Leidenschaft für diese entscheidende Mission und bietet Ihnen die privilegierte Gelegenheit, mit einigen der einflussreichsten Organisationen der Welt, darunter der NATO und der EU, zusammenzuarbeiten. Als ukrainisches Team sind wir entschlossen, unsere bedeutungsvolle Veränderung herbeizuführen. Wenn Sie bereit sind, sich einem dynamischen Team anzuschließen, das an einer gemeinsamen Vision einer sichereren digitalen Welt arbeitet, laden wir Sie ein, Teil unserer Reise zu sein. Gestalten Sie mit uns die Zukunft und helfen Sie bei der Abwehr von Online-Bedrohungen mit Zielstrebigkeit und Innovation. Rollenübersicht: Wir suchen einen erfahrenen Senior Data Engineer mit fundierten Kenntnissen in der Datenspeicherung und -verarbeitung, um unsere Dateninfrastruktur zu verbessern. Sie sind für den Entwurf und die Implementierung einer Datenarchitektur eines hochbelasteten Systems verantwortlich und arbeiten mit Text- und Medieninhalten, deren vektorisierter Darstellung (Einbettungen), statistischen Echtzeitdaten und Diagrammdaten (Verbindungen zwischen verschiedenen Akteuren). Ihre Datenlösungen speisen unsere kundenorientierte KI-Plattform und verbessern unsere Suche, KI-Datenanreicherung, RAG und mehr. Wenn Sie sich für Datentechnik begeistern, bei der Optimierung von Datenabläufen erfolgreich sind und sich mit der Entwicklung skalierbarer Lösungen für komplexe Systeme auszeichnen, ist diese Gelegenheit genau das Richtige für Sie ist maßgeschneidert für Sie.Aufgaben: Implementieren und unterstützen Sie einen Data Lake, ein Data Warehouse und einen relevanten Datenspeicher für verschiedene Datentypen: Texte, Vektoren, Statistiken und Grafiken.Implementieren Sie ETL-Pipelines, um verschiedene Speicher mit angereicherten Daten zu füllen und zu garantieren Datenkonsistenz. Implementieren Sie Tools für die standardisierte interne und externe Abfrage der Daten in verschiedenen Formaten und an verschiedenen Orten, einschließlich Volltextsuche, Suche nach Vektorähnlichkeit, analytischen Aggregationen und Diagrammsuche. Arbeiten Sie mit dem Datenabrufteam am Datenformat und am Aufnahmeprozess zusammen Zerlegen Sie komplexe Probleme in ausführbare Aufgaben. Überwachen Sie die Leistung des Systems und stellen Sie sicher, dass die Datenkonsistenz und die Aktualisierungslatenz den Produktanforderungen entsprechen. Erforderliche Fähigkeiten und Fertigkeiten: Fachkenntnisse in der Programmiersprache Python und Datenverarbeitungsbibliotheken wie Pandas und Numpy. Erfahrung mit Elasticsearch oder einer ähnlichen Technologie für die Volltextsuche. Produktionserfahrung mit Einbettungen und hoch geladenen Vektorspeichern (Milvus, Quadrant, Pinecone oder ähnlich). Kenntnisse in SQL und analytischen DBs Postgresql, Aurora DB / Snowflake / Redshift / DynamoDB. Erfahrung in Aufbau RAG-Pipelines.Erfahrung in Bereitstellungen mit Docker-Containern in K8s.Ausgeprägtes Verantwortungsbewusstsein und Fähigkeit, mit komplexen abstrakten Problemen umzugehen.Fähigkeit, effizienten und skalierbaren Code und Unit-Tests zu schreiben, um Konsistenz in der gesamten Codebasis sicherzustellen.Teamgeist und Fähigkeit zur effektiven Zusammenarbeit mit anderen.Fähigkeit, eine klare Strategie zu formulieren; Planen Sie die notwendigen Schritte und führen Sie sie aus, um das Unternehmen dabei zu unterstützen, seine strategischen Ziele schneller zu erreichen. Mindestqualifikationen: Bachelor- oder Master-Abschluss in Informatik, Ingenieurwesen oder einem verwandten Bereich. Mindestens 5 Jahre Erfahrunge als Dateningenieur oder in einer ähnlichen Rolle, insbesondere mit Aufgaben im Zusammenhang mit der Datenverarbeitung und -speicherung mit einem ausgeprägten Verständnis komplexer Datenarchitekturen. Erfahrung im Aufbau von Datenpipelines mit entsprechendem Verständnis der Datenaufnahme und Transformation strukturierter, halbstrukturierter und unstrukturierter Daten über Cloud-Dienste hinweg.Erfahrung in der Implementierung von Datenlösungen, die unter hoher Last arbeiten und große Datenmengen verarbeiten.Erfahrung mit Texteinbettungsmodellen und Einbettungsspeichern.Vertrautheit mit Containerisierung (Docker) und Orchestrierungssystemen (Kubernetes), Linux und Shell Scripting.Bevorzugte Qualifikationen :Erfahrung in der Arbeit mit Mediendaten ist von Vorteil.Erfahrung in Streaming-Pipelines.Erfahrung mit GCP und Google BigQuery ist von Vorteil.Erfahrung in einem Produktunternehmen oder Startup wird bevorzugt.Erfahrung mit neo4j oder einer ähnlichen graphDB ist von Vorteil.Was wir anbieten :Gelegenheit, Ihr Produkt vorzustellen und renommierte Kunden wie Regierungen und führende NGOs bei der Bekämpfung von Informationsbedrohungen und Sicherheitsherausforderungen zu unterstützen.Eine Chance, Ihr berufliches Wachstum zu fördern und eine Führungsrolle zu übernehmen.Autonomie und Freiheit, Experimente voranzutreiben und Ihre eigenen Ziele zu erreichen eigene Ideen zum Leben erwecken. Wenn Sie ein wichtiger Mitwirkender werden, werden Sie auch mit unserem Aktienvergütungsprogramm belohnt. Flexibilität bei vollständiger Fernarbeit und gleichzeitig die Möglichkeit, unseren lebendigen Co-Working-Bereich in Kiew, Ukraine, zu nutzen. Bewerben Sie sich jetzt und tragen Sie zu einem bei Mission, die wirklich zählt! Zeig mehr Zeige weniger Typ зайнятості Erster Robotertag