Główny inżynier danych (Python/BigQuery/Spark, Ukraina) #14667 w Capgemini Engineering

Cel stanowiska Poszukujemy głównego inżyniera danych, który dołączy do naszego rosnącego zespołu ekspertów ds. analityki. Osoba zatrudniona będzie odpowiedzialna za rozbudowę i optymalizację naszej architektury danych i potoków danych, a także optymalizację przepływu i gromadzenia danych dla zespołów wielofunkcyjnych. Idealny kandydat to myśliciel strategiczny i praktyczny lider techniczny, pasjonat architektury danych, optymalizacji wydajności i inżynierii danych w chmurze. Powinni oni kierować się samodzielnie, proaktywnie i wygodnie kierować strategią dotyczącą danych, zapewniając, że nasza infrastruktura będzie spełniać zmieniające się potrzeby biznesowe. Będziesz ściśle współpracować z twórcami oprogramowania, architektami baz danych, analitykami danych i badaczami danych, aby zapewnić spójny, skalowalny i wydajny ekosystem danych w wielu zespołach, systemach i produktach. Główne zadania i obowiązki Projektowanie i kierowanie rozwojem skalowalnych, wysokowydajne architektury potoków danych, zapewniające optymalne rozwiązania do przetwarzania, transformacji i przechowywania danych. Montuj duże, kompletne zestawy danych, które spełniają funkcjonalne/niefunkcjonalne wymagania biznesowe. Kieruj projektowaniem i optymalizacją infrastruktury danych, wykorzystując nowoczesne dane. technologie zapewniające skalowalność, niezawodność i wydajność Identyfikuj, projektuj i wdrażaj ulepszenia procesów wewnętrznych: automatyzację procesów ręcznych, optymalizację dostarczania danych, przeprojektowywanie infrastruktury w celu uzyskania większej skalowalności, wydajności itp. Twórz narzędzia analityczne, które wykorzystują potok danych w celu zapewnienia praktycznych spostrzeżeń na pozyskiwanie klientów, zarządzanie przychodami, efektywność operacyjną i inne kluczowe wskaźniki wydajności biznesowej. Współpracuj z interesariuszami, w tym z zespołami wykonawczymi, produktami, danymi i projektami, aby pomagać w kwestiach technicznych związanych z danymi i ich potrzebach w zakresie infrastruktury danych wsparcieTrzymaj naszych danych oddzielnych i bezpiecznych ponad granicami krajowymi za pośrednictwem wielu centrów danych i regionów AWSTwórz narzędzia danych dla analityków i członków zespołów analityków danych, które pomagają im w budowaniu i optymalizowaniu naszej ofertyWspółpracuj z ekspertami w dziedzinie danych i analityki, aby dążyć do większej funkcjonalności naszych systemów danychDziałaj jako doradca techniczny zespołów inżynierskich, produktowych i wykonawczych, przekładający wymagania biznesowe na skalowalne rozwiązania danych Wykształcenie, umiejętności i doświadczenie MUSI MIEĆ: ponad 7 lat doświadczenia w inżynierii danych, projektowaniu i wdrażaniu skalowalne rozwiązania danychRozległe doświadczenie w pracy z relacyjnymi bazami danych i hurtowniami danych, w tym GCP BigQuery, PostgreSQL, Microsoft SQL Server, Oracle itp.Doświadczenie w przetwarzaniu danych w czasie rzeczywistym i wsadowym z wykorzystaniem Spark/Kafka StreamingDoświadczenie z językami programowania i skryptowymi: Python, Scala/ JavaPraktyczne doświadczenie z technologiami Big Data, takimi jak Hadoop, Hive i HBaseProficiency w magazynach danych NoSQL, z doświadczeniem w Elasticsearch lub podobnym technologieUdokumentowane doświadczenie w projektowaniu i optymalizacji wielkoskalowych potoków danych, przepływów pracy ETL i infrastruktury danychZnajomość narzędzi do orkiestracji przepływu pracy, takich jak Apache NiFi, AirflowMożliwość mentorowania i kierowania zespołami zajmującymi się inżynierią danych podczas opracowywania strategii technicznej i najlepszych praktykPokaż więcej Pokaż mniej Poziom pozycji Nie dotyczy Rodzaj zatrudnienia Pełny etat Obowiązki służbowe Technologie informacyjne Przemysły Usługi informatyczne i doradztwo informatyczne