Старший інженер з великих даних в N-iX

N-iX шукає старшого інженера з великих даних, який приєднається до нашої команди! Наш клієнт є провідним постачальником технічних послуг, що надає як стандартне, так і спеціальне програмне забезпечення та прикладні системи для внутрішньої мережі та Інтернету. У зв’язку зі збільшенням попиту на власні цифрові проекти, клієнт прагне передати певні завдання розробки стратегічним партнерам. Клієнт прагне побудувати стратегічні довгострокові відносини з провідними партнерами з розвитку, щоб прискорити зростання бізнесу завдяки високоякісним і недорогим. ефективна розробка програмного забезпечення. Вибрані партнери підтримуватимуть розробку надійних і масштабованих споживчих і корпоративних додатків. Обов’язки: Проектування та розробка конвеєрів даних і процесів ETL за допомогою таких інструментів, як Apache Airflow, NiFi та dbt. Впровадження та керування великомасштабними розподіленими даними фреймворків обробки. Тісно співпрацюйте з науковцями з обробки даних, щоб забезпечити доступність і якість даних для моделей машинного навчання. Оптимізуйте продуктивність рішень для зберігання даних, у тому числі Бази даних SQL/реляційні (PostgreSQL, Oracle) і NoSQL (MongoDB, Redis). Працюйте з потоковими технологіями та технологіями CDC, такими як Kafka та Debezium, щоб полегшити обробку даних у реальному часі. Беріть участь у всіх етапах SDLC від концептуалізації до розгортання, зосереджуючись на CI/ Принципи компакт-диска з використанням Docker, Kubernetes і GitLab. Налаштуйте рішення для сховищ даних і керуйте ними (Postgres, Oracle, Clickhouse) для підтримки аналітичних вимог. Надайте технічну експертизу та найкращі практики для рішень інженерії даних, включаючи керування даними та безпеку. Вимоги: підтверджений досвід (5+ років) інженером великих даних або на подібній посаді. Значний досвід у Інструменти ETL: Apache Airflow, NiFi, Huawei ETL, ODI та dbt. Досвід роботи з інструментами потокового передавання та змінення даних: Kafka, Debezium. Володіння базами даних SQL і NoSQL, включаючи PostgreSQL, Oracle, MongoDB і Redis. Досвід роботи з рішеннями для сховищ даних, такими як Clickhouse, Postgres і Oracle. Знайомство з хмарними середовищами обробки даних і інструментами контейнеризації, такими як Docker і Kubernetes. Відмінно здатність розв’язувати проблеми та аналітичні здібності з увагою до деталей. Ступінь бакалавра комп’ютерних наук, інформації Системи або споріднена галузь. Рівень англійської мови Upper-Intermediate. Приємно мати: досвід роботи з налаштуваннями приватної хмари. Знайомство з фреймворками науки про дані та машинного навчання, такими як TensorFlow, PyTorch. Знання інструментів візуалізації даних: QlikView, Tableau, Apache Superset, Grafana. Ми пропонуємо: Гнучкий формат роботи - віддалений, офісний або гнучкий Конкурентну заробітну плату та хорошу винагороду Пакет Персоналізований кар’єрний ріст Інструменти професійного розвитку (програма наставництва, технічні бесіди та тренінги, центри передового досвіду тощо) Активні технічні спільноти з регулярним обміном знаннями Компенсація за освіту Пам’ятні подарунки до ювілею Корпоративні заходи та створення команди Інші переваги, залежні від місця розташування Показати більше Показувати менше Посадовий рівеньНе застосовується Тип зайнятості Повний робочий день Посадові обов’язки Інженерія Галузі Послуги з харчування та напоїв, Виробництво і Виробництво продуктів харчування та напоїв