Inżynier Integracji Danych w EPAM Systems

Poszukujemy doświadczonego inżyniera ds. integracji danych, który zajmie się wdrożeniem nowego dostawcy danych. Ta rola polega na tworzeniu nowych potoków na etapach pozyskiwania danych, surowców, selekcji i konsolidacji przy użyciu Databricks, wykorzystując istniejące szablony jako podstawę. Idealny kandydat wykorzysta swoją wiedzę specjalistyczną w zakresie Databricks i PySpark w celu usprawnienia przetwarzania i integracji danych. Obowiązki Projektowanie i opracowywanie skalowalnych potoków danych na potrzeby faz pozyskiwania, surowego, kontrolowanego i skonsolidowanego Wykorzystywanie Databricks do tworzenia wydajnych i niezawodnych przepływów danych Wdrażanie PySpark do przetwarzania dużych zbiorów danych w ramach potokówWspółpraca z zespołami zajmującymi się danymi w celu ustalenia architektury potoków i najlepszych praktykOptymalizuj potoki danych w celu uzyskania maksymalnej wydajności i skalowalnośćZapewnianie integralności i jakości danych w całym procesie potoku danychMonitorowanie i rozwiązywanie wszelkich problemów pojawiających się w potokach danychPrzeprowadzanie regularnych testów i aktualizacji systemu w celu zwiększenia funkcjonalności Kompleksowe dokumentowanie projektów i modyfikacji potokówWymaganiaMinimum 2 lata doświadczenia zawodowego w inżynierii potoków danych lub w pokrewnej dziedzinie Biegłość w Databricks i PySparkBackground w projektowanie i wdrażanie złożonych potoków danychUmiejętności w zakresie przetwarzania danych i zarządzania przepływem pracyKwalifikacje w zakresie architektury systemów związanych z danymi zarządzanieMożliwość debugowania i optymalizacji wydajności rurociągówMiło jest znaćZnajomość Amazon Web ServicesZnajomość Apache AirflowZrozumienie języków programowania Python i SQLOferujemyPracę według elastycznego harmonogramu zdalnie lub z dowolnego z naszych komfortowych biur lub przestrzeni coworkingowych na UkrainieOtrzymaj sprzęt niezbędny do wykonywania swoich zadań zawodowychZmieniaj projekty i stosy technologii w ramach EPAMZdobądź doświadczenie w różnych obszarach biznesowych (ubezpieczenia, handel elektroniczny, opieka zdrowotna, finanse, podróżowanie, media, sztuczna inteligencja i więcej)Rozważ możliwość relokacji do ponad 30 krajów na całym świecie.Bierz udział w programach wolontariackich, charytatywnych i społecznościach (zarówno technicznych, jak i opartych na zainteresowaniach).Możesz zaplanować indywidualną ścieżkę kariery wspólnie ze swoim menadżerem.Otrzymuj regularne informacje zwrotne od współpracowników.Udoskonalaj swój angielski bezpłatnie dzięki certyfikowanym nauczycielom ( Kluby Speaking, kursy przygotowujące do rozmowy kwalifikacyjnej z klientem itp.) Uzyskaj możliwość odbycia bezpłatnych szkoleń i certyfikacji w AWS, GCP lub Azure Clouds Skorzystaj z wewnętrznego programu szkoleniowego E-learn (Ponad 18 200 specjalistycznych programów szkoleniowych i mentorskich) Uzyskaj dostęp do kont korporacyjnych na LinkedIn Learning, Get Abstract i innych zasobów partnerów Studiuj w szkole EPAM Solution Architecture School z instruktorami, którzy są praktykującymi architektami Rozwijaj się jako lider, dołącz do szkoły Delivery Management, Resource Management, Leadership Essentials i nie tylko Weź udział w społecznościach wewnętrznych (ponad 500 spotkań, dyskusji technicznych, burz mózgów, wydarzeń i konferencji online rocznie) Urlopy i zwolnienia lekarskie (w tym zwolnienia lekarskie bez zaświadczeń lekarskich) Szeroka oferta Programy Dobrowolnego Ubezpieczenia Medycznego zapewniające zarówno leczenie, jak i różne opcje profilaktyczne (w tym zajęcia sportowe) Ubezpieczenie medyczne członków rodziny w stawkach korporacyjnych Wsparcie firmy podczas ważnych wydarzeń życiowych (poród lub ogłoszenie upadłości)opcja, małżeństwo itp.) Wsparcie komfortu psychicznego: zniżki na usługi specjalistów lub trenerów zdrowia psychicznego, szkolenia tematyczne Program E-kids - bezpłatny program szkolenia w zakresie języka programowania dla dzieci EPAMerów EPAM stara się zapewnić swojemu globalnemu zespołowi ponad 52 800 specjalistów w w ponad 55 krajach z możliwościami rozwoju zawodowego od pierwszego dnia współpracy. Źródłem sukcesu EPAM są nasi współpracownicy, dlatego cenimy współpracę, staramy się zawsze rozumieć biznes naszych klientów i dążymy do najwyższych standardów jakości. Bez względu na to, gdzie jesteś, dołączysz do oddanej, różnorodnej społeczności, która pomoże Ci w pełni wykorzystać Twój potencjał. Pokaż więcej Pokaż mniej Посадовий рівень Помічник Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології Галузі Розробка програмного забезпечення і ІТ-послуги та ІТ Консалтинг