Middle+ Data Engineer в Processica

Опыт :

• Опыт работы как Data Engineer 3+ года.
• Глубокое понимание и практический опыт работы с ClickHouse, DBT, Kafka, Airflow и Dagster.
• Знание SQL и опыт работы с большими объемами данных.
• Умение создавать и оптимизировать процессы ETL.
• Знание Python и других языков программирования.
• Высокая ответственность и готовность к работе в команде.

Будет плюсом:

• Опыт работы с разработкой AI-решений или конвертационных платформ.

Обязанности:

• Разработка и оптимизация инфраструктуры для обработки данных:
• Разработка и поддержка инфраструктуры, обеспечивающей сохранение и доступность больших объемов данных.
• Оптимизация хранилищ данных, включая ClickHouse, для быстрого и эффективного анализа данных.
• Работа с основным стеком технологий:
• Разработка и поддержка процессов обработки данных с использованием технологий, таких как dbt для моделирования и трансформации данных.
• Настройка и мониторинг системы Kafka для обмена данными в реальном времени.
• Создание и отладка планирования задач и выполнения данных с использованием Apache Airflow.
• Использование Dagster для управления и мониторинга различных этапов процесса ETL.
• Разработка и поддержка ETL-процессов:
• Создание, отладка и поддержка процессов извлечения, трансформации и загрузки данных (ETL).
• Оптимизация ETL-процессов для обеспечения быстрой и точной загрузки данных в хранилище.
• Обработка данных из разных источников и их объединение для анализа и создания отчетов.
• Сотрудничество с командой: Взаимодействие с инженерами, аналитиками данных, учеными и другими сотрудниками по разработке и внедрению решений в области искусственного интеллекта и обработки естественного языка. Посильное сотрудничество с командой в решении технических задач и выявление возможностей для оптимизации процессов.

Мы предлагаем :

- гибкий график работы: 8 часов в день, 40 часов в неделю.

- ведение бухгалтерского учета и представление налоговых деклараций для всех частных предпринимателей.

- прямые платежи в долларах США на SWIFT (любая юрисдикция), Payoner, Wise, Revolute, PayPal.

- Оплачиваемое внешнее обучение, конференции и профессиональная сертификация, отвечающая бизнес-целям компании.

- Оплачиваемый отпуск и больничный.