Starszy inżynier danych w Osavul

Stanowisko:Starszy inżynier danychLokalizacja:Zdalny raportowanie do:Kierownik ds. inżynieriiO nas:Czy pasjonujesz się ochroną krajów, społeczeństw i firm przed manipulacją i dezinformacją w Internecie? Nie szukaj dalej! Nasza szybko rozwijająca się firma z pasją angażuje się w tę kluczową misję, oferując uprzywilejowaną możliwość współpracy z niektórymi z najbardziej wpływowych organizacji na świecie, w tym z NATO i UE. Jako zespół ukraiński jesteśmy zdeterminowani, aby dokonać znaczących zmian. Jeśli jesteś gotowy dołączyć do dynamicznego zespołu pracującego na rzecz wspólnej wizji bezpieczniejszego cyfrowego świata, zapraszamy Cię do wzięcia udziału w naszej podróży. Kształtuj z nami przyszłość i pomóż bronić się przed zagrożeniami internetowymi dzięki celowości i innowacjom. Opis roli: Poszukujemy doświadczonego starszego inżyniera danych z dogłębną znajomością hurtowni i przetwarzania danych w celu ulepszenia naszej infrastruktury danych. Będziesz odpowiedzialny za zaprojektowanie i wdrożenie architektury danych mocno obciążonego systemu, pracę z treściami tekstowymi i medialnymi, ich wektorową reprezentacją (osadzenie), danymi statystycznymi w czasie rzeczywistym i danymi graficznymi (połączenia między różnymi aktorami). Twoje rozwiązania w zakresie danych będą zasilać naszą skierowaną do klienta platformę AI, usprawniając nasze wyszukiwanie, wzbogacanie danych AI, RAG i nie tylko. Jeśli pasjonujesz się inżynierią danych, potrafisz optymalizować przepływy pracy z danymi i specjalizujesz się w projektowaniu skalowalnych rozwiązań dla skomplikowanych systemów, ta szansa jest dostosowany do Twoich potrzeb. Obowiązki: Wdrażanie i wspieranie jeziora danych, hurtowni danych oraz odpowiedniego przechowywania danych dla różnych typów danych: tekstów, wektorów, statystyk i wykresów. Wdrażanie potoków ETL w celu zapełnienia różnych magazynów wzbogaconymi danymi i zagwarantowania spójność danych.Wdrażaj narzędzia do standaryzowanych wewnętrznych i zewnętrznych zapytań o dane w różnych formatach i miejscach, w tym wyszukiwanie pełnotekstowe, wyszukiwanie podobieństw wektorowych, agregacje analityczne i wyszukiwanie grafów.Współpraca z zespołem pobierającym dane w zakresie formatu danych i procesu przetwarzania .Rozbijaj złożone problemy na wykonywalne zadania. Monitoruj wydajność systemu i upewnij się, że spójność danych i opóźnienia aktualizacji spełniają wymagania produktu. Wymagane umiejętności i zdolności: Znajomość języka programowania Python i bibliotek do przetwarzania danych, takich jak pandy, numpy. Doświadczenie w Elasticsearch lub podobnej technologii do wyszukiwania pełnotekstowego Doświadczenie produkcyjne z osadzaniem i wysoko obciążonymi magazynami wektorowymi (Milvus, Quadrant, Pinecone lub podobnymi). Biegłość w SQL i analitycznych bazach danych Postgresql, Aurora DB / Snowflake / Redshift / DynamoDB. Doświadczenie w budowanie potoków RAG.Doświadczenie we wdrożeniach kontenerów Docker w K8s.Silne poczucie własności i umiejętność radzenia sobie ze złożonymi, abstrakcyjnymi problemami.Umiejętność pisania wydajnego i skalowalnego kodu oraz testów jednostkowych w celu zapewnienia spójności w całej bazie kodu.Duch zespołu i umiejętność efektywnej współpracy z innymi. Umiejętność sformułowania jasnej strategii; zamapuj i wykonaj niezbędne kroki, aby przyspieszyć firmę w kierunku jej celów strategicznych. Minimalne kwalifikacje: licencjat lub magister w dziedzinie informatyki, inżynierii lub pokrewnej dziedzinie. Minimum 5 lat doświadczeniae jako inżynier danych lub na podobnym stanowisku, szczególnie pracując nad zadaniami związanymi z przetwarzaniem i przechowywaniem danych ze znajomością złożonych architektur danych. Doświadczenie w budowaniu potoków danych ze znajomością zagadnień pozyskiwania danych, transformacji danych ustrukturyzowanych, częściowo ustrukturyzowanych i nieustrukturyzowanych w różnych usługach chmurowych.Doświadczenie we wdrażaniu rozwiązań danych, które działają pod dużym obciążeniem i przetwarzają duże ilości danych.Doświadczenie z modelami osadzania tekstu i osadzaniem magazynów.Znajomość konteneryzacji (Docker) i systemów orkiestracji (Kubernetes), Linux i Shell Scripting.Preferowane kwalifikacje :Doświadczenie w pracy z danymi medialnymi będzie dodatkowym atutem.Doświadczenie w streamingu potoków.Doświadczenie z GCP i Google BigQuery będzie dodatkowym atutem.Doświadczenie w firmie produktowej lub startupie będzie mile widziane.Doświadczenie z neo4j lub podobnym graphDB będzie zaletąCo oferujemy :Możliwość zaprezentowania swojego produktu i udzielenia pomocy prestiżowym klientom, takim jak rządy i wiodące organizacje pozarządowe, w zwalczaniu zagrożeń informacyjnych i wyzwań związanych z bezpieczeństwem.Szansa na rozwój kariery i objęcie roli lidera.Autonomia i swoboda prowadzenia eksperymentów i wnoszenia własnych wdrażaj własne pomysły w życie.Stając się kluczowym współtwórcą, zostaniesz również nagrodzony naszym programem kompensacji zapasów.Elastyczność w pełni zdalnej pracy z możliwością wykorzystania naszej tętniącej życiem przestrzeni coworkingowej w Kijowie na Ukrainie.Aplikuj teraz i weź udział w tworzeniu misja, która naprawdę ma znaczenie! Pokaż więcej Pokaż mniej Тип зайнятості Повний робочий день