Инженер по данным (воздушный поток) в RecruitGarden

Поздравляем! Хотите разработать IT-продукт, которым будут пользоваться все украинцы?

Влиять на архитектуру огромной нагрузкой?

Ищем Data Engineer с Python/Airflow в известную компанию.

ТОП условия, льготы, страховка, проект, который будет приятно рассказать.

Хотите узнать больше?

Основные обязанности:

–  Проектирование, оптимизация и поддержка кластера Apache Airflow и кода Python для оркестрации данных
-Разработка логики и поддержка ETL-процессов (сбор данных, преобразование, загрузка)
– Проектирование интеграционного взаимодействия между системами, создание сервисов для интеграции и обмена данными
– Оптимизация производительности процессов обработки данных, выявление и устранение узких мест
– Сотрудничество с аналитиками и разработчиками для обеспечения качественной доставки данных

Обязательные требования:

– Apache Airflow: создание DAG, настройка оператора, мониторинг и оптимизация производительности
– Опыт работы с Python (акцент на backend и интеграционные решения) от 3 лет
– Bash, Docker, DBT, GitLab CI/CD (автоматизация процессов, развертывание, оптимизация конвейеров)
– MS SQL Server и PostgreSQL (написание сложных SQL-запросов, оптимизация, создание процедур и функций)

Будет плюсом:
– Опыт работы с Apache Spark (распределенная обработка больших наборов данных)
– Знание инструментов Big Data или облачных платформ (AWS/GCP/Azure)
– Понимание принципов DataOps и CI/CD.

Мы предлагаем:

• Высоконагруженные системы с реальными проблемами масштабирования
• Современный стек и свободу технологических решений
• Возможность влиять на архитектуру продуктов, используемых миллионами
Профессионал:
• Наставничество со стороны руководителей с опытом работы на предприятии решения
• Компенсация дополнительных затрат, связанных с выполнением рабочих задач, осуществляется согласно внутренним политикам компании
• Медицинское страхование и страхование жизни
• Корпоративные скидки от партнеров «Нова»
• Психологическая поддержка. Возможность бесплатных консультаций корпоративного психолога
• Социальная ответственность и волонтерское движение «Свой за свой»
• Клубы по интересам: бег, шахматы и другие инициативы для вдохновения
• Социальные праздники и компенсации в соответствии с КЗоТ Украины