Senior Data engineer в TechHunt

Задания

· Проектировать, создавать, расширять и поддерживать конвейеры данных и унифицированную интеграцию ETL.

· Масштабирование пропускной способности конвейера данных с использованием применимых инструментов

· Внедрять и внедрять новые инструменты, технологии и их комбинации, которые позволят компании масштабировать скорость и производительность обработки данных экономически эффективным способом.

Требования

· Подтвержденный опыт построения конвейеров обработки данных

· Опыт работы с инструментами автоматизации рабочего процесса (AirFlow, Prefect, Luigi и т. д.) - РСУБД, столбцово-ориентированная СУБД (написание запросов, построение архитектуры БД, администрирование и т. д.)

· Apache Spark-

· Уверенное базовое знание Python

Приятные дополнения:

· ClickHouse

· Апач Кафка

· CDC (например, WAL, Debezium, Kafka)

· ksqlDB

· Спарк SQL

· Рабочие процессы Арго

· GCP: BigQuery, Dataproc, Data Fusion, DataFlow

Преимущества

· Полноценная работа в гибкой команде инженеров, которые превращают бизнес-идеи в программные решения

· Свобода выбора наиболее подходящих технологий для доставки решения (даже если его еще нет в продукте)

· Хотеть учиться? Компании Competera это нравится, и она готова покрыть 60% стоимости обучения/курсов.

· Справедливые выплаты с регулярными обзорами результатов и планом опционов на акции для лучших исполнителей.

· Идеология удаленного приоритета даже после пандемии и войны

· График работы, который адаптируется к вашему биоритму

· Оплачиваемый отпуск и больничные (по 20 рабочих дней) + 15 выходных

· Частичная медицинская страховка