Leitender Dateningenieur – ElasticSearch in Globaldev Group

Kanda Software ist ein dynamisches Unternehmen mit Sitz in den USA, das für die Bereitstellung innovativer Softwarelösungen und Technologiedienstleistungen bekannt ist. Wir suchen derzeit einen hochqualifizierten Senior Data Engineer, der unser Team verstärkt und zu unseren spannenden Projekten beiträgt. Aufgaben: Leitung des Entwurfs, der Entwicklung und Optimierung komplexer Datensysteme, einschließlich Datenflüsse, Seen, Lager und ETLs, über verschiedene Clouds hinweg PlattformenEntwerfen und verwalten Sie Elasticsearch-Cluster mit Schwerpunkt auf Leistungsoptimierung, Sicherheit und Skalierbarkeit. Erstellen und optimieren Sie Indizes für Leistung und Speichereffizienz unter Nutzung von Indexvorlagen und Zuordnungen. Erstellen und optimieren Sie Elasticsearch-Abfragen mithilfe des Query DSL, einschließlich komplexer Aggregationen und Volltextsuche. Implementieren Sie Datenaufnahmepipelines, um Laden Sie Daten aus verschiedenen Quellen, einschließlich relationaler Datenbanken (RDBMS), in Elasticsearch. Überwachen Sie die Leistungsüberwachung, Clusterverwaltung, Sicherheitsprotokolle, Sicherungs- und Wiederherstellungsverfahren sowie die Versionsverwaltung von Elasticsearch-Clustern. Entwickeln und pflegen Sie Datenpipelines mit branchenüblichen Tools wie Apache Spark. Apache Hive, Apache Airflow und StitchImplementieren Sie Beobachtbarkeitsstrategien für die Datenpipeline, um einen zuverlässigen Datenfluss und Systemtransparenz sicherzustellen. Wenden Sie moderne Softwareentwicklungspraktiken an, einschließlich agiler Methoden, testgetriebener Entwicklung (TDD) und kontinuierlicher Integration/kontinuierlicher Bereitstellung (CI/CD). Verbessern Sie die Arbeitsabläufe im Data Engineering. Anforderungen: Mindestens 5 Jahre Erfahrung als technischer Leiter beim Aufbau und der Erweiterung komplexer Datensysteme. Fortgeschrittene Python-Kenntnisse mit mindestens 3 Jahren Erfahrung. Ausgeprägte SQL-Schreib- und Optimierungsfähigkeiten. Expertenwissen über Elasticsearch, einschließlich Konfiguration, Verwaltung, und OptimierungstechnikenNachgewiesene Erfahrung mit dem Aufbau und der Wartung von Datenpipelines mithilfe von Tools wie Spark, Hive, Airflow und StitchNachgewiesene Erfahrung mit Strategien und Tools zur Beobachtbarkeit von DatenpipelinesAusgeprägtes Verständnis von Softwareentwicklungspraktiken, einschließlich Agile, TDD und CI/CDWird von Vorteil sein: Erfahrung Aufbau oder Wartung von Streaming-Plattformen mit Apache Kafka. Kenntnisse in PySpark für die verteilte Datenverarbeitung. Kenntnisse in der Implementierung und Verwaltung von Containerisierungslösungen mit Kubernetes, Docker usw., einschließlich Beobachtbarkeit von Containeranwendungen. Erfahrung mit Big Data as a Service (BDaaS)-Tools wie AWS EMR oder Azure HDInsightErfahrung beim Aufbau und der Erweiterung von Plattformen für maschinelles Lernen und Data Science. Vertrautheit mit der Integration von Datenflüssen in Business Intelligence (BI)-Plattformen von Drittanbietern wie Domo, Tableau, Sisense usw. Was wir bieten: Wettbewerbsfähiges Gehalts- und Leistungspaket; Flexible Fernarbeitsvereinbarungen; Möglichkeiten für professionelle Entwicklung und Wachstum; Regelmäßige Überprüfung des Gehalts; Bezahlte Teilnahme an Veranstaltungen; Zeig mehr Zeige weniger Посадовий рівень Starrer WochentagArt der Anstellung Vollzeit Berufliche Verantwortlichkeiten Informationstechnologie Branchen Grund- und weiterführende Bildung sowie gemeinnützige Organisationen