Старший інженер з даних в Osavul

Посада: Старший інженер з обробки даних Місцезнаходження: Віддалений звіт Кому: Керівник інженерів Про нас: Ви зацікавлені в захисті країн, суспільств і компаній від онлайн-маніпуляцій і дезінформації? Не дивіться далі! Наша компанія, яка швидко розвивається, пристрасно віддана цій важливій місії, пропонуючи вам привілейовану можливість співпрацювати з деякими з найвпливовіших організацій світу, включаючи НАТО та ЄС. Як українська команда ми сповнені рішучості здійснити значні зміни. Якщо ви готові приєднатися до динамічної команди, яка працює над спільним баченням безпечнішого цифрового світу, ми запрошуємо вас стати частиною нашої подорожі. Формуйте майбутнє разом з нами та допоможіть цілеспрямовано й інноваційно захиститися від онлайн-загроз. Огляд ролі: ми шукаємо досвідченого старшого інженера з обробки даних із глибоким володінням сховищами й обробкою даних для вдосконалення нашої інфраструктури даних. Ви відповідатимете за розробку та реалізацію архітектури даних високонавантаженої системи, працюючи з текстовим і медіаконтентом, його векторизованим представленням (вбудовуваннями), статистичними даними в реальному часі та графічними даними (зв’язки між різними акторами). Ваші рішення для обробки даних будуть живити нашу орієнтовану на клієнтів платформу штучного інтелекту, покращуючи наш пошук, збагачення даних штучного інтелекту, RAG тощо. Якщо ви захоплюєтеся розробкою даних, процвітаєте в оптимізації робочих процесів даних і досягаєте успіху в розробці масштабованих рішень для складних систем, ця можливість створено спеціально для вас. Обов’язки: впровадження та підтримка озера даних, сховища даних і відповідного сховища даних для різних типів даних: текстів, векторів, статистики та графіків. Впровадження конвеєрів ETL для заповнення різних сховищ збагаченими даними та гарантування узгодженість даних. Впроваджуйте інструменти для стандартизованих внутрішніх і зовнішніх запитів даних у різних форматах і місцях, включаючи повнотекстовий пошук, пошук векторної подібності, аналітичні агрегації та пошук на графіках. Співпрацюйте з командою отримання даних над форматом даних і процесом передавання даних .Розбивайте складні проблеми на виконувані завдання. Відстежуйте продуктивність системи та переконайтеся, що узгодженість даних і затримка оновлення відповідають вимогам до продукту. Необхідні навички та вміння: знання мови програмування Python і бібліотек обробки даних, таких як pandas, numpy. Досвід роботи з Elasticsearch або подібною технологією для повнотекстового пошуку. Досвід виробництва із вбудовуваннями та високонавантаженими векторними сховищами (Milvus, Quadrant, Pinecone тощо). Володіння SQL та аналітичними базами даних Postgresql, Aurora DB / Snowflake / Redshift / DynamoDB. Досвід у створення конвеєрів RAG. Досвід розгортання контейнерів Docker у K8s. Сильне почуття власності та здатність вирішувати складні абстрактні проблеми. Здатність писати ефективний і масштабований код і модульні тести для забезпечення узгодженості в кодовій базі. Командний дух і здатність ефективно співпрацювати з іншими. Здатність сформулювати чітку стратегію; скласти карту та виконати необхідні кроки, щоб допомогти компанії прискорити досягнення стратегічних цілей. Мінімальна кваліфікація: ступінь бакалавра або магістра в галузі комп’ютерних наук, інженерії або суміжної галузі. Мінімум 5 років досвідуe в якості інженера з даних або на подібній посаді, зокрема над завданнями, пов’язаними з обробкою та зберіганням даних, із глибоким розумінням складних архітектур даних. Досвід створення конвеєрів даних із відповідним розумінням прийому даних, перетворення структурованих, напівструктурованих і неструктурованих даних у хмарних службах. Досвід впровадження рішень для обробки даних, які працюють під високим навантаженням і обробляють великі обсяги даних. Досвід роботи з моделями вбудовування тексту та вбудованими сховищами. Знайомство з системами контейнеризації (Docker) і оркестровки (Kubernetes), Linux і Shell Scripting. Бажані кваліфікації :Досвід роботи з медіа-даними буде перевагою.Досвід роботи з потоковими конвеєрами.Досвід роботи з GCP і Google BigQuery буде перевагою.Бажано досвід роботи в продуктовій компанії або стартапі.Досвід роботи з neo4j або подібною graphDB буде перевагою. Що ми пропонуємо :Можливість представити свій продукт і допомогти престижним клієнтам, таким як уряди та провідні неурядові організації, у боротьбі з інформаційними загрозами та викликами безпеці. Шанс сприяти кар’єрному росту та вийти на керівну посаду. Автономія та свобода проводити експерименти та приносити свої втілення власних ідей. Ставши ключовим учасником, ви також отримаєте винагороду за допомогою нашої програми компенсації акцій. Гнучкість повністю віддаленої роботи, маючи можливість використовувати наш яскравий коворкінг у Києві, Україна. Подайте заявку зараз і зробіть внесок у місія, яка справді має значення! Показати більше Показувати менше Тип зайнятості Повний робочий день