Starszy inżynier danych w N-iX

Opis stanowiska: Jako inżynier danych będziesz odgrywać kluczową rolę w budowaniu i optymalizacji naszego potoku danych, który ma kluczowe znaczenie dla niezawodności i wydajności naszej platformy. Będziesz odpowiedzialny za architekturę i utrzymanie wydajnych strumieni danych oraz integrację najnowszych technologii, ze szczególnym naciskiem na złożone przetwarzanie zdarzeń (CEP), aby wspierać nasze cele strategiczne i budować solidny ekosystem inżynierii danych. Inżynieria danych i przetwarzanie strumieni: Architekt, opracowywać i utrzymywać skalowalne potoki danych przy użyciu usług AWS, takich jak Kinesis, Firehose, Glue, Lambda i Redshift. Wdrażaj i optymalizuj rozwiązania do przetwarzania strumieni za pomocą platform takich jak Apache Flink i Kafka, aby wspierać pozyskiwanie danych w czasie rzeczywistym, analitykę i złożone przetwarzanie zdarzeń (CEP). Projektuj i buduj systemy CEP do wykrywania i reagowania na wzorce zainteresowania strumieniami danych w czasie rzeczywistym. Rozwijaj, optymalizuj i utrzymuj potoki strumieni, aby zapewnić wydajne, niezawodne i skalowalne przetwarzanie danych. Zapewniaj jakość i niezawodność danych poprzez wdrażanie niezawodnej walidacji danych, obsługi błędów i struktur monitorowania. Monitorowanie, obserwowalność i optymalizacja: Wykorzystaj Apache Flink do przetwarzania strumieni w czasie rzeczywistym i monitorowania, aby skutecznie obsługiwać złożone przetwarzanie zdarzeń i transformacje danych. Używaj narzędzi takich jak Prometheus i Grafana, aby zapewnić obserwowalność, aby zapewnić stan i wydajność potoku danych. Stale monitoruj, rozwiązuj problemy i optymalizuj wydajność potoku danych, aby obsłużyć miliardy zdarzeń miesięcznie. Współpraca i integracja: Ściśle współpracuj z zespołami interdyscyplinarnymi, w tym programistami front-end i analitykami danych, aby zbudować solidna platforma danych, która spełnia obecne i przyszłe potrzeby biznesowe. Weź udział w projektowaniu i architekturze skalowalnych systemów danych, integrując nowe źródła danych i optymalizując istniejące procesy danych. Napisz kod na poziomie produkcyjnym w Kotlin i Python do tworzenia aplikacji do przetwarzania danych, skryptów automatyzacji i logika CEP.Kwalifikacje:Licencjat z informatyki lub dziedziny pokrewnej lub równoważne doświadczenie.Ponad 3 lata doświadczenia w inżynierii danych lub na podobnym stanowisku.Dobra biegłość w zakresie usług AWS, takich jak Kinesis, Glue, Firehose, Lambda i Redshift.Doświadczenie w frameworkach przetwarzania strumieniowego takich jak Apache Flink i Kafka.Doświadczenie w projektowaniu i wdrażaniu rozwiązań Complex Event Processing (CEP) dla strumieni danych w czasie rzeczywistym.Solidne doświadczenie w programowaniu w Kotlinie; znajomość Pythona lub innego języka programowania będzie dodatkowym atutem. Udokumentowane doświadczenie w opracowywaniu, optymalizowaniu i utrzymywaniu strumieniowych potoków danych w środowiskach o dużej skali. Sprawdzona umiejętność tworzenia, optymalizowania i utrzymywania złożonych potoków danych obsługujących miliardy zdarzeń miesięcznie. Silna. umiejętności analityczne i rozwiązywania problemów z możliwością zarządzania wieloma złożonymi projektami i terminami. Dobre umiejętności komunikacyjne, umiejętność efektywnej pracy w zespołach wielofunkcyjnych oraz doświadczenie w zakresie zwinnych metodologii zarządzania projektami. Preferowane umiejętności: Doświadczenie z rozwiązaniami w zakresie infrastruktury danych w chmurze w AWS.Doświadczenie w zakresie rozproszonych platform przetwarzania danych, takich jak Apache Spark lub podobnych.Znajomośćz bazami danych OLAP, takimi jak Snowflake lub Redshift. Znajomość rdzenia C#/.NET lub tworzenia i utrzymywania specyficznych aplikacji do przetwarzania danych. Znajomość narzędzi do integracji danych, takich jak Metillion i doświadczenie w wielkoskalowych środowiskach danych. Umiejętność współpracy i dostosowywania się do dynamiki potrzeb projektowych.Oferujemy: Elastyczny format pracy – zdalny, w biurze lub elastyczny Konkurencyjne wynagrodzenie i dobry pakiet wynagrodzeń Spersonalizowany rozwój kariery Narzędzia rozwoju zawodowego (program mentorski, rozmowy i szkolenia techniczne, centra doskonałości i nie tylko) Aktywne społeczności technologiczne regularnie dzielące się wiedzą Edukacja zwrot kosztówNiezapomniane prezenty rocznicoweImprezy korporacyjne i budowanie zespołuInne korzyści specyficzne dla lokalizacji Pokaż więcej Pokaż mniej Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології Галузі Технологія, інформація та інтернет