Старший інженер з даних – ElasticSearch в Globaldev Group

Kanda Software – це динамічна компанія зі США, яка відома своїми інноваційними програмними рішеннями та технологічними послугами. Наразі ми шукаємо висококваліфікованого старшого інженера з обробки даних, щоб приєднатися до нашої команди та зробити внесок у наші захоплюючі проекти. Обов’язки: керувати проектуванням, розробкою та оптимізацією складних систем даних, включаючи потоки даних, озера, сховища та ETL, у різних хмарах платформиАрхітуйте та керуйте кластерами Elasticsearch, зосереджуючись на оптимізації продуктивності, безпеці та масштабованості.Створюйте та оптимізуйте індекси для продуктивності та ефективності зберігання, використовуючи шаблони індексів і зіставлення.Створюйте та оптимізуйте запити Elasticsearch за допомогою Query DSL, включаючи складні агрегації та повнотекстовий пошук.Запроваджуйте конвеєри прийому даних для завантажувати дані з різних джерел, включаючи реляційні бази даних (RDBMS), у Elasticsearch. Контролювати моніторинг продуктивності, керування кластерами, протоколи безпеки, процедури резервного копіювання та відновлення, а також керування версіями кластерів Elasticsearch. Розробляти та підтримувати конвеєри даних за допомогою галузевих стандартних інструментів, таких як Apache Spark, Apache Hive, Apache Airflow і Stitch. Впроваджуйте стратегії спостереження за конвеєром даних, щоб забезпечити надійний потік даних і прозорість системи. Застосовуйте сучасні практики розробки програмного забезпечення, зокрема методи Agile, Test-Driven Development (TDD) і Continuous Integration/Continuous Deployment (CI/CD), щоб вдосконалення робочих процесів розробки даних Вимоги: мінімум 5 років досвіду в якості технічного керівника, створюючи та розширюючи складні системи даних Поглиблене знання Python, принаймні 3 роки досвіду Сильні навички написання та налаштування SQL Знання Elasticsearch на рівні експерта, включаючи налаштування, адміністрування, і методи оптимізації. Продемонстрований досвід побудови та підтримки конвеєрів даних за допомогою таких інструментів, як Spark, Hive, Airflow і Stitch. Перевірений досвід роботи зі стратегіями та інструментами спостереження за конвеєрами даних. Тверде розуміння практик розробки програмного забезпечення, включаючи Agile, TDD і CI/CD. Буде плюсом: Досвід створення або підтримка потокових платформ за допомогою Apache Kafka. Досвід роботи в PySpark для розподіленої обробки даних. Навички впровадження та керування рішеннями контейнеризації за допомогою Kubernetes, Docker тощо. Досвід роботи з інструментами Big Data as a Service (BDaaS), такими як AWS EMR або Azure. HDInsightДосвід створення та розширення платформ машинного навчання та науки про даніЗнайомство з інтеграцією потоків даних із сторонніми платформами Business Intelligence (BI), як-от Domo, Tableau, Sisense тощо. Що ми пропонуємо: конкурентоспроможну зарплату та пакет пільг; гнучкі умови віддаленої роботи; можливості для професіоналів розвиток і зростання;Періодичний перегляд заробітної плати;Оплачуване відвідування заходів; Показати більше Показувати менше Посадовий рівень Старший середній рівеньТип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології Галузі Початкова та середня освіта і Некомерційні організації