Middle+ Data Engineer в Processica

Досвід:

• Досвід роботи як Data Engineer 3+ роки.
• Глибоке розуміння і практичний досвід роботи з ClickHouse, dbt, Kafka, Airflow та Dagster.
• Знання SQL та досвід роботи з великими обсягами даних.
• Вміння створювати та оптимізовувати ETL-процеси.
• Знання Python та інших мов програмування.
• Висока відповідальність та готовність працювати в команді.

Буде плюсом:

• Досвід роботи з розробкою AI-рішень або конверсаційними платформами.

Обов'язки:

• Розробка та оптимізація інфраструктури для обробки даних:
• Розробка та підтримка інфраструктури, яка забезпечує збереження та доступність великих обсягів даних.
• Оптимізація сховищ даних, зокрема ClickHouse, для швидкого та ефективного аналізу даних.
• Робота з основним стеком технологій:
• Розробка та підтримка процесів обробки даних з використанням технологій, таких як dbt для моделювання та трансформації даних.
• Налаштування та моніторинг системи Kafka для обміну даними в реальному часі.
• Створення та налагодження планування завдань та виконання даних з використанням Apache Airflow.
• Використання Dagster для управління та моніторингу різних етапів ETL-процесу.
• Розробка та підтримка ETL-процесів:
• Створення, налагодження та підтримка процесів витягу, трансформації та завантаження даних (ETL).
• Оптимізація ETL-процесів для забезпечення швидкого та точного завантаження даних в сховище.
• Обробка даних з різних джерел та їхнє об'єднання для аналізу та створення звітів.
• Співпраця з командою: Взаємодія з інженерами, аналітиками даних, науковцями та іншими співробітниками для розробки та впровадження рішень в галузі штучного інтелекту та обробки природної мови. Посильна співпраця з командою для вирішення технічних завдань та виявлення можливостей для оптимізації процесів.

Ми пропонуємо:

- Гнучкий графік роботи: 8 годин на день, 40 годин на тиждень.

- Ведення бухгалтерського обліку та подання податкових декларацій для всіх приватних підприємців.

- Прямі платежі в доларах США на SWIFT (будь-яка юрисдикція), Payoner, Wise, Revolute, PayPal.

- Оплачуване зовнішнє навчання, конференції та професійна сертифікація, що відповідає бізнес-цілям компанії.

- Оплачувана відпустка та лікарняний.