Inżynier danych (Postgres/Spark/Elasticsearch, Ukraina) #14738 w Capgemini Engineering

Cel pracy W Capgemini Engineering, światowym liderze usług inżynieryjnych, skupiamy globalny zespół inżynierów, naukowców i architektów, aby pomóc najbardziej innowacyjnym firmom na świecie uwolnić ich potencjał. Od samochodów autonomicznych po roboty ratujące życie – nasi eksperci w dziedzinie technologii cyfrowych i oprogramowania myślą nieszablonowo, świadcząc unikalne usługi badawczo-rozwojowe i inżynieryjne we wszystkich branżach. Dołącz do nas, aby rozpocząć karierę pełną możliwości. Gdzie możesz coś zmienić. Gdzie nie ma dwóch takich samych dni. Poszukujemy doświadczonego inżyniera danych, który dołączy do naszego rosnącego zespołu ekspertów ds. analityki. Osoba zatrudniona będzie odpowiedzialna za rozbudowę i optymalizację naszej architektury danych i potoków danych, a także optymalizację przepływu i gromadzenia danych dla zespołów wielofunkcyjnych. Idealny kandydat to doświadczony twórca potoków danych i administrator danych, który lubi optymalizować systemy danych i budować je od podstaw. Inżynier danych będzie wspierać naszych twórców oprogramowania, architektów baz danych, analityków danych i badaczy danych w inicjatywach związanych z danymi oraz zapewni spójność optymalnej architektury dostarczania danych w trakcie trwających projektów. Muszą być samodzielni i swobodnie obsługiwać potrzeby wielu zespołów, systemów i produktów w zakresie danych. Właściwy kandydat będzie podekscytowany perspektywą optymalizacji lub nawet przeprojektowania architektury danych naszej firmy w celu wspierania naszych inicjatyw związanych z generowaniem produktów i danych w sieci. Główne zadania i obowiązki Tworzenie i utrzymywanie optymalnej architektury potoku danych. Montaż dużych, kompletnych zbiorów danych, które spełniają funkcjonalne/niefunkcjonalne wymagania biznesowe.Identyfikuj, projektuj i wdrażaj ulepszenia procesów wewnętrznych: automatyzację procesów ręcznych, optymalizację dostarczania danych, przeprojektowanie infrastruktury w celu uzyskania większej skalowalności, wydajności itp.Buduj infrastrukturę wymaganą do optymalnej ekstrakcji, transformacji i ładowania danych z szerokiej gamy źródeł danych przy użyciu technologii SQL i dużych zbiorów danych. Twórz narzędzia analityczne, które wykorzystują potok danych, aby zapewnić praktyczny wgląd w pozyskiwanie klientów, zarządzanie przychodami, efektywność operacyjną i inne kluczowe wskaźniki wydajności biznesowej. Współpracuj z interesariuszami, w tym z zespołami wykonawczymi, produktami, danymi i projektami, aby pomagać w rozwiązywaniu problemów technicznych związanych z danymi i wspierać ich potrzeby w zakresie infrastruktury danych. Dbaj o separację i bezpieczeństwo naszych danych ponad granicami krajowymi za pośrednictwem wielu centrów danych i regionów .Tworzyć narzędzia danych dla analityków i członków zespołów analityków danych, które pomagają im w budowaniu i optymalizowaniu naszej oferty. Współpracuj z ekspertami w dziedzinie danych i analityki, aby dążyć do większej funkcjonalności naszych systemów danych. MUSI POSIADAĆ wykształcenie, umiejętności i doświadczenie: ponad 5 lat doświadczenia w firmie Rola Inżyniera Danych Doświadczenie w pracy z relacyjnymi bazami danych i hurtowniami danych, w tym Postgres, Microsoft SQL Server, Oracle, GCP BigQuery itp. Doświadczenie z narzędziami Big Data: Hadoop, Spark, Hive, HBase itp. Doświadczenie z repozytoriami danych NoSQL, najlepiej Elasticsearch. Doświadczenie w budowaniu i optymalizowaniu potoków, architektur i zbiorów danych Big Data. Znajomość narzędzi do zarządzania przepływem pracy: NiFi, Airflow itp. Wymagane doświadczeniewspółpraca z systemami przetwarzania strumieniowego, takimi jak Apache Spark i/lub Kafka Streaming, Storm itp. Wymagane doświadczenie z programowaniem i językami skryptowymi: Python, Scala, OOP Pokaż więcej Pokaż mniej Poziom pozycji Asystent Rodzaj zatrudnienia Pełny etat Obowiązki służbowe Technologie informacyjne Przemysły Usługi informatyczne i doradztwo informatyczne