Starszy inżynier Big Data w N-iX

N-iX poszukuje starszego inżyniera Big Data, który dołączy do naszego zespołu! Nasz klient jest wiodącym dostawcą usług technicznych, dostarczającym zarówno standardowe, jak i niestandardowe oprogramowanie i aplikacje intranetowe i internetowe. Ze względu na rosnące zapotrzebowanie na własne projekty cyfrowe, klient stara się zlecić pewne zadania rozwojowe partnerom strategicznym. Klient chce budować strategiczne, długoterminowe relacje z wiodącymi partnerami programistycznymi, aby przyspieszyć rozwój biznesu poprzez wysoką jakość i niską cenę efektywne tworzenie oprogramowania. Wybrani partnerzy będą wspierać rozwój solidnych i skalowalnych aplikacji dla klientów indywidualnych i przedsiębiorstw. Obowiązki: Projektowanie i rozwijanie potoków danych i procesów ETL przy użyciu narzędzi takich jak Apache Airflow, NiFi i dbt. Wdrażanie i zarządzanie rozproszonymi danymi na dużą skalę platformy przetwarzania.Ściśle współpracuj z analitykami danych, aby zapewnić dostępność i jakość danych dla modeli uczenia maszynowego.Optymalizuj wydajność rozwiązań do przechowywania danych, w tym baz danych SQL/Relational (PostgreSQL, Oracle) i NoSQL (MongoDB, Redis).Praca z technologiami przesyłania strumieniowego i CDC jak Kafka i Debezium, aby ułatwić przetwarzanie danych w czasie rzeczywistym. Weź udział we wszystkich etapach SDLC od konceptualizacji po wdrożenie, koncentrując się na zasadach CI/CD przy użyciu Docker, Kubernetes i GitLab. Konfiguruj rozwiązania do hurtowni danych i zarządzaj nimi (Postgres, Oracle, Clickhouse ) w celu wsparcia wymagań analitycznych. Zapewnia wiedzę techniczną i najlepsze praktyki w zakresie rozwiązań inżynierii danych, w tym zarządzania danymi i bezpieczeństwa. Wymagania: Udokumentowane doświadczenie (ponad 5 lat) jako inżynier Big Data lub na podobnym stanowisku. Duża wiedza w zakresie narzędzi ETL: Apache Airflow, NiFi, Huawei ETL, ODI i dbt.Doświadczenie w zakresie narzędzi do przesyłania strumieniowego i przechwytywania zmian danych: Kafka, Debezium. Biegła znajomość baz danych SQL i NoSQL, w tym PostgreSQL, Oracle, MongoDB i Redis.Doświadczenie z rozwiązaniami do hurtowni danych, takimi jak Clickhouse, Postgres, i Oracle.Znajomość środowisk przetwarzania danych w chmurze i narzędzi do konteneryzacji, takich jak Docker i Kubernetes.Doskonałe umiejętności rozwiązywania problemów i umiejętności analityczne, z dbałością o szczegóły.Licencjat z informatyki, systemów informatycznych lub kierunku pokrewnego.Wyższy średniozaawansowany poziom języka angielskiego.Miło jest posiadać:Doświadczenie w konfiguracji chmury prywatnej.Znajomość frameworków data science i uczenia maszynowego takich jak TensorFlow, PyTorch.Znajomość narzędzi do wizualizacji danych: QlikView, Tableau, Apache Superset, Grafana.Oferujemy:Elastyczny format pracy - zdalny , praca w biurze lub elastyczność Konkurencyjne wynagrodzenie i dobry pakiet wynagrodzeńSpersonalizowany rozwój karieryNarzędzia rozwoju zawodowego (program mentorski, rozmowy i szkolenia techniczne, centra doskonałości i nie tylko)Aktywne społeczności technologiczne regularnie dzielące się wiedząZwrot kosztów edukacjiNiezapomniane prezenty rocznicoweWydarzenia korporacyjne i budowanie zespołówInne korzyści zależne od lokalizacji Pokaż więcej Pokaż mniej Посадовий рівеньNie dotyczy Rodzaj zatrudnienia Pełny etat Obowiązki służbowe Inżynieria Przemysły Usługi w zakresie żywności i napojów, Produkcja i produkcja żywności i napojów