Старший инженер по данным — ElasticSearch в Globaldev Group

Kanda Software — динамичная компания, базирующаяся в США, известная предоставлением инновационных программных решений и технологических услуг. В настоящее время мы ищем высококвалифицированного старшего инженера по обработке данных, который присоединится к нашей команде и будет участвовать в наших интересных проектах. Обязанности: Руководить проектированием, разработкой и оптимизацией сложных систем данных, включая потоки данных, озера, хранилища и ETL, в различных облаках. платформы. Создавайте и управляйте кластерами Elasticsearch, уделяя особое внимание оптимизации производительности, безопасности и масштабируемости. Создавайте и оптимизируйте индексы для повышения производительности и эффективности хранения, используя шаблоны индексов и сопоставления. Создавайте и оптимизируйте запросы Elasticsearch с помощью Query DSL, включая сложные агрегации и полнотекстовый поиск. Внедряйте конвейеры приема данных для загружать данные из различных источников, включая реляционные базы данных (СУБД), в Elasticsearch. Контролировать мониторинг производительности, управление кластерами, протоколы безопасности, процедуры резервного копирования и восстановления, а также управление версиями кластеров Elasticsearch. Разрабатывать и поддерживать конвейеры данных с помощью стандартных отраслевых инструментов, таких как Apache Spark, Apache Hive, Apache Airflow и StitchВнедряйте стратегии наблюдения за конвейером данных для обеспечения надежного потока данных и прозрачности системы.Применяйте современные методы разработки программного обеспечения, включая гибкие методологии, разработку через тестирование (TDD) и непрерывную интеграцию/непрерывное развертывание (CI/CD), чтобы усовершенствовать рабочие процессы обработки данных. Требования: Минимум 5 лет опыта работы в качестве технического руководителя, создания и расширения сложных систем данных. Продвинутое знание Python, опыт работы не менее 3 лет. Хорошие навыки написания и настройки SQL. Знания Elasticsearch на экспертном уровне, включая настройку, администрирование, и методы оптимизации. Подтвержденный опыт создания и обслуживания конвейеров данных с использованием таких инструментов, как Spark, Hive, Airflow и Stitch. Подтвержденный опыт работы со стратегиями и инструментами наблюдения за конвейерами данных. Хорошее понимание практик разработки программного обеспечения, включая Agile, TDD и CI/CD. Будет плюсом:Опыт. создание или обслуживание платформ потоковой передачи с использованием Apache Kafka. Владение PySpark для распределенной обработки данных. Навыки внедрения и управления решениями по контейнеризации с использованием Kubernetes, Docker и т. д., включая возможность наблюдения за контейнерными приложениями. Опыт работы с инструментами больших данных как услуги (BDaaS), такими как AWS EMR или Azure. HDInsightОпыт создания и расширения платформ машинного обучения и обработки данных. Знакомство с интеграцией потоков данных со сторонними платформами бизнес-аналитики (BI), такими как Domo, Tableau, Sisense и т. д. Что мы предлагаем: Конкурентоспособная заработная плата и социальный пакет; Гибкие условия удаленной работы; Возможности для профессионалов развитие и рост;Периодический пересмотр заработной платы;Посещение платных мероприятий; Показать больше Показывай меньше Посадовый ровень Старший середний рівеньТип занятости Полный рабочий день Должностные обязанности Информационные технологии Отрасли Начальное и среднее образование и Некоммерческие организации