Инженер данных в EpicentrK

Требования:

Опыт работы с Docker, Dbt, Gitlab CI\CD, Airflow

Опыт работы с MSSQL Server, Clickhouse

Опыт работы с Python

Знание проектирования и разработки архитектуры данных, включая различные типы схем, репликацию данных, агрегацию и оптимизацию для высокой доступности и производительности.

Задачи:

Взаимодействие с Data Scientist'ами для обеспечения доступа к данным

Разработка и поддержка существующих ETL-процессов для эффективного обмена и обработки данных.

Разработка сервисов обмена данными для обеспечения интеграции между различными системами и источниками данных.

Разработка и поддержка схем данных для работы пайплайнов машинного обучения и аналитики, обеспечение надежного и быстрого доступа к данным для аналитических