Старший инженер данных в Osavul

Должность: Старший инженер по обработке данных. Местонахождение: Удаленное подчинение: Техническому менеджеру. О нас: Вы увлечены защитой стран, обществ и предприятий от онлайн-манипуляций и дезинформации? Не смотрите дальше! Наша быстрорастущая компания с энтузиазмом привержена этой важной миссии, предлагая вам привилегированную возможность сотрудничать с некоторыми из самых влиятельных организаций мира, включая НАТО и ЕС. Как украинская команда, мы полны решимости добиться значимых изменений. Если вы готовы присоединиться к динамичной команде, работающей над общим видением более безопасного цифрового мира, мы приглашаем вас стать частью нашего пути. Формируйте будущее вместе с нами и помогайте защищаться от онлайн-угроз целенаправленно и инновационно. Обзор роли: Мы ищем опытного старшего инженера по обработке данных, обладающего глубокими знаниями в области хранения и обработки данных для улучшения нашей инфраструктуры данных. Вы будете отвечать за проектирование и реализацию архитектуры данных высоконагруженной системы, работающей с текстовым и медиаконтентом, его векторным представлением (встраиванием), статистическими данными в реальном времени и графическими данными (связями между различными субъектами). Ваши решения для обработки данных будут использоваться в нашей платформе искусственного интеллекта, ориентированной на клиентов, улучшая наш поиск, обогащение данных искусственного интеллекта, RAG и многое другое. Если вы увлечены разработкой данных, преуспеваете в оптимизации рабочих процессов с данными и преуспеваете в разработке масштабируемых решений для сложных систем, эта возможность создан специально для вас. Обязанности: Внедрение и поддержка озера данных, хранилища данных и соответствующего хранилища данных для различных типов данных: текстов, векторов, статистики и графиков. Внедрение конвейеров ETL для заполнения различных хранилищ расширенными данными и гарантия согласованность данных. Внедряйте инструменты для стандартизированного внутреннего и внешнего запроса данных в различных форматах и ​​местах, включая полнотекстовый поиск, поиск по векторному сходству, аналитические агрегации и поиск по графам. Сотрудничайте с командой получения данных по формату данных и процессу приема. .Разбейте сложные проблемы на исполняемые задачи. Мониторьте производительность системы и убедитесь, что согласованность данных и задержка обновления соответствуют требованиям продукта. Требуемые навыки и способности:Знание языка программирования Python и библиотек обработки данных, таких как pandas, numpy. Опыт работы с Elasticsearch или аналогичной технологией для полнотекстового поиска. Опыт работы с встраиваниями и высоконагруженными векторными хранилищами (Milvus, Quadrant, Pinecone или аналогичные). Знание SQL и аналитических БД Postgresql, Aurora DB / Snowflake / Redshift / DynamoDB. Опыт работы в построение конвейеров RAG. Опыт развертывания контейнеров Docker в K8. Сильное чувство ответственности и способность решать сложные абстрактные проблемы. Способность писать эффективный и масштабируемый код и модульные тесты для обеспечения согласованности всей кодовой базы. Командный дух и способность эффективно сотрудничать. с другими. Способность сформулировать четкую стратегию; Составьте карту и выполните необходимые шаги, чтобы помочь компании ускорить достижение ее стратегических целей. Минимальная квалификация: степень бакалавра или магистра в области компьютерных наук, инженерии или смежных областях. Минимум 5 лет опыта.e в качестве инженера по данным или аналогичной должности, в частности, работая над задачами, связанными с обработкой и хранением данных, с глубоким пониманием сложных архитектур данных. Опыт построения конвейеров данных с соответствующим пониманием приема данных, преобразования структурированных, полуструктурированных и неструктурированных данных. в облачных сервисах.Опыт внедрения решений по работе с данными, которые работают в условиях высокой нагрузки и обрабатывают большие объемы данных.Опыт работы с моделями встраивания текста и встраивания хранилищ.Знакомство с контейнеризацией (Docker) и системами оркестрации (Kubernetes), Linux и сценариями Shell.Предпочтительная квалификация :Опыт работы с медиаданными будет преимуществом.Опыт работы в потоковых конвейерах.Опыт работы с GCP и Google BigQuery будет преимуществом.Опыт работы в продуктовой компании или стартапе предпочтителен.Опыт работы с neo4j или аналогичной графической базой данных будет преимуществомЧто мы предлагаем :Возможность представить свой продукт и помочь престижным клиентам, таким как правительства и ведущие неправительственные организации, в борьбе с информационными угрозами и проблемами безопасности.Шанс ускорить свой карьерный рост и занять руководящую роль.Автономия и свобода проводить эксперименты и воплощать свои идеи собственные идеи в жизнь. Став ключевым участником, вы также будете вознаграждены нашей программой вознаграждения за акции. Гибкость полностью удаленной работы и возможность использовать наше динамичное коворкинг-пространство в Киеве, Украина. Подайте заявку сейчас и внесите свой вклад в миссия, которая действительно имеет значение! Показать больше Показывай меньше Тип занятости Повний рабочий день