Старший інженер з даних в N-iX

Огляд посади: як інженер з обробки даних ви відіграватимете вирішальну роль у створенні та оптимізації нашого каналу даних, який є ключовим для надійності та продуктивності нашої платформи. Ви відповідатимете за розробку та підтримку ефективних потоків даних та інтеграцію новітніх технологій, з особливим акцентом на обробці складних подій (CEP), щоб підтримувати наші стратегічні цілі та побудувати надійну екосистему інженерії даних. Розробка даних та обробка потоків: архітектор, розробляти та підтримувати масштабовані конвеєри даних за допомогою таких служб AWS, як Kinesis, Firehose, Glue, Lambda та Redshift. Впроваджувати й оптимізувати рішення для обробки потоків за допомогою фреймворків, таких як Apache Flink і Kafka, для підтримки прийому даних у реальному часі, аналітики та обробки складних подій (CEP). Проектуйте та створюйте системи CEP для виявлення та реагування на шаблони інтересу в потоках даних у реальному часі. Розробляйте, оптимізуйте та обслуговуйте конвеєр потоків, щоб забезпечити ефективну, надійну та масштабовану обробку даних. Забезпечте якість і надійність даних за допомогою впровадження надійних платформ перевірки даних, обробки помилок і моніторингу. Моніторинг, спостережуваність і оптимізація: використовуйте Apache Flink для обробки потоків у реальному часі та моніторингу для ефективної обробки складних подій і перетворень даних. Використовуйте такі інструменти, як Prometheus і Grafana, для спостереження, щоб забезпечити працездатність і продуктивність конвеєра даних. Постійно відстежуйте, усувайте неполадки та оптимізуйте продуктивність конвеєра даних, щоб обробляти мільярди подій на місяць. Співпраця та інтеграція: тісно співпрацюйте з міжфункціональними командами, включаючи розробників інтерфейсу та дослідників даних, щоб створити надійна платформа даних, яка відповідає поточним і майбутнім потребам бізнесу. Беріть участь у проектуванні та архітектурі масштабованих систем даних, інтегруючи нові джерела даних і оптимізуючи існуючі процеси даних. Напишіть код робочого рівня в Kotlin і Python для створення програм обробки даних, сценаріїв автоматизації , і логіка CEP. Кваліфікація: ступінь бакалавра комп’ютерних наук або суміжної галузі або еквівалентний досвід. 3+ роки досвіду в інженерії даних або на подібній посаді. Значне володіння такими службами AWS, як Kinesis, Glue, Firehose, Lambda та Redshift. Експертиза в структурах обробки потоків, таких як Apache Flink і Kafka. Досвід розробки та впровадження рішень комплексної обробки подій (CEP) для потоків даних у реальному часі. Солідний досвід програмування з Kotlin; знайомство з Python або іншими мовами програмування є перевагою. Продемонстрований досвід у розробці, оптимізації та підтримці конвеєрів потокових даних у великомасштабних середовищах. Перевірена здатність створювати, оптимізувати та підтримувати складні конвеєри даних, які обробляють мільярди подій на місяць. Сильний аналітичні навички та навички вирішення проблем зі здатністю керувати декількома складними проектами та дедлайнами. Хороші комунікативні навички, здатність ефективно працювати в міжфункціональних командах і досвід роботи з методологіями гнучкого управління проектами. Бажані навички: Досвід роботи з рішеннями хмарної інфраструктури даних в AWS. Експертиза в структурах розподіленої обробки даних, таких як Apache Spark або подібних. Знайомствоз базами даних OLAP, такими як Snowflake або Redshift. Знання ядра C#/.NET або розробка та підтримка спеціальних програм обробки даних. Знайомство з інструментами інтеграції даних, такими як Metillion, і досвід роботи з великомасштабними середовищами даних. Здатність працювати спільно та адаптуватися до динамічних потреби проекту. Ми пропонуємо: Гнучкий формат роботи – дистанційний, офісний або гнучкий Конкурентоспроможну зарплату та хороший пакет компенсацій Персональний кар’єрний ріст Інструменти професійного розвитку (програма наставництва, технічні бесіди та тренінги, центри передового досвіду тощо) Активні технічні спільноти з регулярним обміном знаннями Освіта відшкодуванняПам'ятні ювілейні подарункиКорпоративні заходи та тімбілдінгІнші переваги, залежні від місця розташування Показати більше Показувати менше Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології Галузі Технологія, інформація та інтернет