Senior Data engineer w TechHunt

Zadania

· Projektuj, buduj, rozszerzaj i utrzymuj potoki danych oraz ujednoliconą integrację ETL

· Skaluj przepustowość potoku danych za pomocą odpowiednich instrumentów

· Wprowadzić i przyjąć nowe instrumenty, technologie i ich kombinacje, które pozwolą firmie skalować szybkość i wydajność przetwarzania danych w sposób efektywny kosztowo

Wymagania

· Udokumentowane doświadczenie w budowaniu potoków przetwarzania danych

· Doświadczenie z narzędziami do automatyzacji przepływu pracy (AirFlow, Prefect, Luigi itp.) - RDBMS, DBMS zorientowany na kolumny (pisanie zapytań, budowanie architektury db, administracja itp.)

· Apache Spark-

· Silna podstawowa znajomość języka Python

Przyjemne dodatki:

· ClickHouse

· Apache Kafka

· CDC (np. WAL, Debezium, Kafka)

· ksqlDB

· Spark SQL

· Przepływy pracy Argo

· GCP: BigQuery, Dataproc, Data Fusion, DataFlow

Korzyści

· Sensowną pracę w zwinnym zespole inżynierów, którzy przekształcają pomysły biznesowe w rozwiązania programistyczne

· Swoboda wyboru najlepszych odpowiednich technologii do dostarczenia rozwiązania (nawet jeśli nie jest jeszcze w produkcie)

· Chcieć się nauczyć? Competera to uwielbia i chętnie pokrywa 60% opłaty za szkolenie/kurs

· Uczciwa wypłata z regularnymi przeglądami opartymi na wynikach i planem opcji na akcje dla najlepszych-

· Ideologia pierwszeństwa zdalnego nawet po pandemii i wojnie

· Godziny pracy dostosowane do Twojego biorytmu

· Płatne urlopy i zwolnienia lekarskie (po 20 dni roboczych) + 15 dni wolnych

· Częściowe ubezpieczenie medyczne