Инженер данных в Everstar

Мы — агентство Everstar. Наша задача — помочь частным компаниям оборонного комплекса найти талантливых людей и приблизить Украину к победе.

Один из наших клиентов занимается производством техники и радиоэлектронных средств, что повышает эффективность боевых действий.

Компания постоянно растет, развивается и совершенствует рабочие процессы.

ИТ-отдел в настоящее время расширяется, поэтому мы ищем Инженер по обработке данных.

Требуемые навыки и опыт:

• Опыт работы инженером по обработке данных от 3 лет.
• Уверенное владение SQL и практический опыт работы с ними. базы данных на высоком уровне.
• Свободное владение Airflow. Способность строить стабильные процессы загрузки (Инкрементная загрузка, Полная загрузка) и трансформации данных внутри хранилища.
• Опыт разработки СУРБД (процедуры, триггеры, функции), понимание индексов, планов запросов, опыт оптимизации запросов.
• Опыт работы на Python для написания скриптов обработки данных. Опыт работы с Pandas, Requests, Pyodbc.
• Высшее образование (техническое, кибернетика, математика или подобное).
  Будет преимуществом:
• Практический опыт настройки мониторинга качества данных.
• Практический опыт контейнеризации и оркестрации (Docker, Kubernetes).
• Опыт работы с облачными сервисами (AWS, GCP, Azure) для обработки и хранения данных.

Будущие обязанности:

• Проектирование, развертывание и оптимизация хранилища данных предприятия, обеспечение масштабируемости и отказоустойчивости.
• Создание ETL/ELT-процессов для сбора и обработки данных из различных источников (БД, Google Таблицы, HTTP, API, файлы) и их оркестрация с помощью Apache Airflow.
• Обеспечение качества и целостности данных, внедрение механизмов проверки и мониторинга.
• Управление метаданными,каталогизация, контроль доступа и подготовка подробной технической документации.
• Взаимодействие и поддержка: Тесное сотрудничество с аналитиками данных и BI-аналитиками, бизнес по подготовке необходимых данных, поддержка и сопровождение существующих витрин.

Условия трудоустройства: