Starszy inżynier danych - ElasticSearch w Globaldev Group

Kanda Software to dynamiczna firma z siedzibą w USA, znana z dostarczania innowacyjnych rozwiązań programowych i usług technologicznych. Obecnie poszukujemy wysoko wykwalifikowanego starszego inżyniera danych, który dołączy do naszego zespołu i wniesie wkład w nasze ekscytujące projekty. Obowiązki: Kierowanie projektowaniem, rozwojem i optymalizacją złożonych systemów danych, w tym przepływów danych, jezior, magazynów i ETL, w różnych chmurach platformyArchitektuj klastry Elasticsearch i zarządzaj nimi, koncentrując się na optymalizacji wydajności, bezpieczeństwie i skalowalnościTwórz i optymalizuj indeksy pod kątem wydajności i wydajności pamięci masowej, wykorzystując szablony indeksów i mapowaniaBuduj i optymalizuj zapytania Elasticsearch przy użyciu Query DSL, w tym złożone agregacje i wyszukiwanie pełnotekstoweImplementuj potoki pozyskiwania danych w celu ładować dane z różnych źródeł, w tym relacyjnych baz danych (RDBMS), do Elasticsearch. Nadzorować monitorowanie wydajności, zarządzanie klastrami, protokołami bezpieczeństwa, procedurami tworzenia kopii zapasowych i przywracania oraz zarządzanie wersjami klastrów Elasticsearch. Rozwijać i utrzymywać potoki danych przy użyciu standardowych narzędzi branżowych, takich jak Apache Spark, Apache Hive, Apache Airflow i StitchWdrażaj strategie obserwowalności potoku danych, aby zapewnić niezawodny przepływ danych i przejrzystość systemu. Stosuj nowoczesne praktyki tworzenia oprogramowania, w tym metodologie Agile, rozwój oparty na testach (TDD) i ciągłą integrację/ciągłe wdrażanie (CI/CD), aby usprawniać przepływy pracy związane z inżynierią danychWymagania: Minimum 5 lat doświadczenia jako lider techniczny, budując i rozwijając złożone systemy danych Zaawansowana biegłość w Pythonie, z co najmniej 3-letnim doświadczeniemDobre umiejętności pisania i dostrajania języka SQL Znajomość Elasticsearch na poziomie eksperckim, w tym konfiguracja, administracja, i technik optymalizacjiWykazane doświadczenie w budowaniu i utrzymywaniu potoków danych przy użyciu narzędzi takich jak Spark, Hive, Airflow i StitchUdokumentowane doświadczenie w zakresie strategii i narzędzi obserwacji potoków danychDogłębne zrozumienie praktyk tworzenia oprogramowania, w tym Agile, TDD i CI/CDBędzie plusem:Doświadczenie budowanie lub utrzymywanie platform streamingowych z wykorzystaniem Apache Kafka Biegłość w PySpark do rozproszonego przetwarzania danych Umiejętności we wdrażaniu i zarządzaniu rozwiązaniami konteneryzacyjnymi z wykorzystaniem Kubernetes, Docker itp., w tym obserwowalność aplikacji kontenerowych Doświadczenie z narzędziami Big Data as a Service (BDaaS), takimi jak AWS EMR czy Azure HDInsightDoświadczenie w budowaniu i rozszerzaniu platform Machine Learning i Data Science Znajomość integracji przepływów danych z platformami Business Intelligence (BI) innych firm, takimi jak Domo, Tableau, Sisense itp.Co oferujemy:Konkurencyjny pakiet wynagrodzeń i świadczeń;Elastyczne ustalenia dotyczące pracy zdalnej;Możliwości dla profesjonalistów rozwój i wzrost;Okresowa weryfikacja wynagrodzenia;Płatny udział w wydarzeniach; Pokaż więcej Pokaż mniej Посадовий рівень Старший середній рівеньRodzaj zatrudnienia Pełny etat Odpowiedzialność zawodowa Technologia informacyjna Przemysły Szkolnictwo podstawowe i średnie oraz organizacje non-profit