Średni/starszy inżynier Big Data (w Palantir Foundry) w N-iX

Szukamy proaktywnego inżyniera Big Data na poziomie średnim lub starszym, który dołączy do naszego prężnego zespołu! Będziesz odgrywać kluczową rolę w projektowaniu, rozwijaniu i utrzymywaniu zaawansowanych potoków danych oraz korzystaniu z narzędzi Foundry, takich jak Ontology, Pipeline Builder, repozytoria kodu itp. Idealny kandydat będzie posiadał solidną wiedzę w zakresie technologii chmurowych, architektury danych i pasja do rozwiązywania złożonych problemów związanych z danymi.

Narzędzia i umiejętności, które wykorzystasz na tym stanowisku: Palantir Foundry, Python, PySpark, SQL, podstawowy TypeScript.

Zadania:

- Współpraca z zespołami wielofunkcyjnymi w celu zrozumienia wymagań dotyczących danych oraz projektowania, wdrażania i utrzymywania skalowalnych potoków danych w Palantir Foundry, zapewniając koniec kompleksowa integralność danych i optymalizacja przepływów pracy.

- Zbieraj i przekładaj wymagania dotyczące danych na solidne i wydajne rozwiązania, wykorzystując swoją wiedzę w zakresie inżynierii danych w chmurze. Twórz modele danych, schematy i diagramy przepływu, aby kierować rozwojem.

- Opracowuj, wdrażaj, optymalizuj i utrzymuj wydajne i niezawodne potoki danych oraz procesy ETL/ELT w celu gromadzenia, przetwarzania i integrowania danych w celu zapewnienia terminowego i dokładne dostarczanie danych do różnych aplikacji biznesowych, przy jednoczesnym wdrażaniu najlepszych praktyk w zakresie zarządzania danymi i bezpieczeństwa w celu ochrony poufnych informacji.

- Monitoruj wydajność potoku danych, identyfikuj wąskie gardła i wdrażaj ulepszenia w celu optymalizacji szybkości przetwarzania danych i zmniejszenia opóźnień.< /p>

- Rozwiązywanie problemów związanych z potokami danych, zapewniając ciągłą dostępność i niezawodność danych w celu wspierania procesów decyzyjnych opartych na danych.

- Bądź na bieżąco z pojawiającymi się technologiami i trendami branżowymi, uwzględniając innowacyjne rozwiązania w praktykach inżynierii danych oraz skutecznie dokumentować i komunikować rozwiązania techniczne i procesy.

- Chętnie zapoznaj się z nowymi narzędziami i technologiami

< strong>Wymagania:

- Ponad 4 lata doświadczenia w inżynierii danych;

- Dobra biegłość w Pythonie i PySpark;

- Biegłość w technologie Big Data (np. Apache Hadoop, Spark, Kafka, BigQuery itp.);

- Praktyczne doświadczenie z usługami w chmurze (np. AWS Glue, Azure Data Factory, Google Cloud Dataflow);< /p>

- Wiedza specjalistyczna w zakresie modelowania danych, hurtowni danych i koncepcji ETL/ELT;

- Praktyczne doświadczenie z systemami baz danych (np. PostgreSQL, MySQL, NoSQL itp.);< /p>

- Skuteczne umiejętności rozwiązywania problemów i zdolności analityczne w połączeniu z doskonałymi umiejętnościami komunikacji i współpracy;

- Silne umiejętności komunikacji i pracy zespołowej;

- Zrozumienie bezpieczeństwa danych i najlepsze praktyki dotyczące prywatności;

- Silne umiejętności matematyczne, statystyczne i algorytmiczne.

Miło jest mieć:

- Certyfikacja w zakresie platform chmurowych lub obszarów pokrewnych;

- Doświadczenie w OpenAI/dowolnym innym LLM API

- Znajomość technologii konteneryzacji (np. Docker, Kubernetes);

- Podstawowa znajomość protokołu HTTP umożliwiająca wykonywanie wywołań API;

- Znajomość Palantir Foundry;

- Wcześniejsze doświadczenie zawodowe lub akademickie z JavaScript / TypeScript

Oferujemy:

- Elastyczny format pracy – zdalny, w biurze lub elastyczny

- Konkurencyjne wynagrodzenie i dobry pakiet wynagrodzeń

- Spersonalizowany rozwój kariery

- Narzędzia rozwoju zawodowego (program mentorski, rozmowy i szkolenia techniczne, centra doskonałości i nie tylko)< /p>

– Aktywne społeczności technologiczne regularnie dzielące się wiedzą

– Zwrot kosztów edukacji

– Niezapomniane prezenty rocznicowe

– Wydarzenia firmowe i budowanie zespołów

– p>

- Inne korzyści związane z lokalizacją