Middle+ Data Engineer w Processica

Doświadczenie :

• Doświadczenie na stanowisku Inżyniera Danych ponad 3 lata.
• Głębokie zrozumienie i praktyczne doświadczenie z ClickHouse, dbt, Kafka, Airflow i Dagster.
• Znajomość SQL i doświadczenie w pracy z dużymi wolumenami danych.
• Umiejętność tworzenia i optymalizacji procesów ETL.
• Znajomość Pythona i innych języków programowania.
• Duża odpowiedzialność i chęć pracy w zespole.

Będzie plusem:

• Doświadczenie w tworzeniu rozwiązań AI lub platform konwersacyjnych.

Obowiązki:

• Rozwój i optymalizacja infrastruktury przetwarzania danych:
• Rozwój i wsparcie infrastruktury zapewniającej zachowanie i dostępność dużych wolumenów danych.
• Optymalizacja hurtowni danych, w tym ClickHouse, w celu szybkiej i wydajnej analizy danych.
• Praca z głównym stosem technologii:
• Rozwój i wsparcie procesów przetwarzania danych z wykorzystaniem technologii takich jak dbt do modelowania i transformacji danych.
• Konfiguracja i monitorowanie systemu Kafka do wymiany danych w czasie rzeczywistym.
• Tworzenie i debugowanie harmonogramu zadań oraz wykonywania danych przy użyciu Apache Airflow.
• Wykorzystanie Dagstera do zarządzania i monitorowania różnych etapów procesu ETL.
• Rozwój i wsparcie procesów ETL:
• Twórz, debuguj i wspieraj procesy ekstrakcji, transformacji i ładowania danych (ETL).
• Optymalizacja procesów ETL w celu zapewnienia szybkiego i dokładnego ładowania danych do magazynu.
• Przetwarzanie danych z różnych źródeł i łączenie ich w celu analizy i tworzenia raportów.
• Współpraca zespołowa: współpracuj z inżynierami, analitykami danych, naukowcami i innymi współpracownikami w celu opracowania i wdrożenia rozwiązań w zakresie sztucznej inteligencji i przetwarzania języka naturalnego. Ścisła współpraca z zespołem w celu rozwiązywania problemów technicznych i identyfikowania możliwości optymalizacji procesów.

Oferujemy :

- Elastyczny grafik pracy: 8 godzin dziennie, 40 godzin tygodniowo.

- Prowadzenie ksiąg rachunkowych i składanie deklaracji podatkowych dla wszystkich przedsiębiorców prywatnych.

- Bezpośrednie płatności w USD do SWIFT (dowolna jurysdykcja), Payoner, Wise, Revolute, PayPal.

- Płatne szkolenia zewnętrzne, konferencje i certyfikaty zawodowe zgodne z celami biznesowymi firmy.

- Płatne urlopy i zwolnienia lekarskie.