Senior Data engineer в TechHunt

завдання

· Проектувати, створювати, розширювати та підтримувати конвеєри даних і єдину інтеграцію ETL

· Масштабуйте пропускну здатність конвеєра даних за допомогою відповідних інструментів

· Запровадити та застосувати нові інструменти, технології та їх комбінації, які дозволять компанії масштабувати швидкість обробки даних і продуктивність економічно ефективним способом

Вимоги

· Перевірений досвід побудови конвеєрів обробки даних

· Досвід роботи з інструментами автоматизації робочого процесу (AirFlow, Prefect, Luigi тощо) - RDBMS, СУБД, орієнтована на стовпці (написання запитів, створення архітектури бази даних, адміністрування тощо)

· Apache Spark-

· Сильні базові знання Python

Приємні переваги:

· ClickHouse

· Апач Кафка

· CDC (наприклад, WAL, Debezium, Kafka)

· ksqlDB

· Spark SQL

· Робочі процеси Argo

· GCP: BigQuery, Dataproc, Data Fusion, DataFlow

Переваги

· Змістовна робота в гнучкій команді інженерів, які перетворюють бізнес-ідеї в програмні рішення

· Свобода вибору найкращих відповідних технологій для надання рішення (навіть якщо його ще немає в продукті)

· Хочете навчитися? Competera це подобається, і вона готова покрити 60% вашої плати за навчання/курси

· Справедливі виплати з регулярними перевірками на основі ефективності та планом опціонів на акції для найкращих виконавців-

· Віддалена ідеологія навіть після пандемії та війни

· Режим роботи, який адаптується до вашого біоритму

· Оплачувана відпустка та лікарняні (по 20 робочих днів) + 15 вихідних

· Часткове медичне страхування