Старший інженер з даних в CI Group EMEA

CIGROUPEMEA шукає досвідченого інженера даних приєднатися до нашої команди. Ідеальний кандидат має понад 5 років досвіду роботи інженером з обробки даних на аналогічній посаді та володіє SQL і Python. Кандидат відповідатиме за розробку та впровадження комплексних конвеєрів даних для різноманітних потоків (інтеграція даних між системами, процеси ETL, інфраструктури машинного навчання). Кандидат повинен мати досвід моделювання даних, зберігання та побудови конвеєрів. Крім того, кандидат повинен мати попередній досвід у безперервній інтеграції та безперервному розгортанні великих масштабованих систем даних. Обов’язки: розробляти та впроваджувати надійні та масштабовані конвеєри даних за допомогою Apache Kafka, забезпечуючи надійні можливості прийому та потокової передачі даних. Розробляти та оптимізувати SQL-запити та збережені процедури для трансформації та агрегації даних, тісно співпрацюючи з аналітиками даних і науковцями. Використовуйте Python для створення та підтримки ETL Процеси (Extract, Transform, Load) для ефективної обробки великих обсягів даних. Впроваджуйте та керуйте робочими процесами обробки даних у Databricks, використовуючи його можливості розподіленого обчислення та розширені функції аналітики. Розробляйте та обслуговуйте дельта-таблиці, щоб забезпечити ефективне керування версіями, зберігання та пошук даних. для аналітичних робочих навантажень. Співпрацюйте з бізнес-стейкхолдерами для збору вимог до даних і розробки моделей даних для ефективного звітування та візуалізації у Power BI. Впроваджуйте рішення для інтеграції та синхронізації даних за допомогою Azure SQL, забезпечуючи безперебійний потік даних між локальним і хмарним середовищами. Забезпечуйте безпеку, конфіденційність і відповідність систем даних, дотримуючись найкращих галузевих практик і організаційних вказівок. Контролюйте та вирішуйте проблеми з даними інфраструктури та конвеєрів, завчасно виявляючи та вирішуючи проблеми з продуктивністю та масштабованістю. Співпрацюйте з міжфункціональними командами, щоб забезпечити дані якість, точність і цілісність протягом усього життєвого циклу даних. Стежте за новими технологіями та галузевими тенденціями в розробці даних, надаючи рекомендації щодо постійного вдосконалення. Вимоги: диплом бакалавра або магістра комп’ютерних наук, інформаційних систем або суміжної галузі. Високий рівень знань у Apache Kafka, SQL і Python, з практичним досвідом проектування та розробки конвеєрів даних. Досвід роботи з Databricks для великих даних обробка та аналітика, включаючи програмування Spark і керування кластерами. Вміння працювати з Delta Tables для версії даних, оптимізації та надійності. Знайомство з Power BI для візуалізації даних і звітності, створення інтерактивних інформаційних панелей і звітів. Практичні знання Azure SQL для інтеграції даних і синхронізація в локальних і хмарних середовищах. Тверде розуміння операційних систем на базі Linux і сценаріїв оболонки. навички вирішення проблем та аналітичні навички, здатність аналізувати складні проблеми, пов’язані з даними, і надавати ефективні рішення. Відмінні навички спілкування та співпраці, а також здатність ефективно працювати в багатофункціональних командах. Перевірена здатність керувати кількома завданнями та пріоритетами в швидке та динамічне середовище. Наша команда складаєтьсяекспертів у своїх галузях, які пристрасно прагнуть виконувати високоякісну роботу та підтримувати позитивну культуру праці. Ми цінуємо інновації, командну роботу та особистий ріст. Як досвідчений інженер з даних ви матимете можливість значно вплинути на наші проекти та зробити внесок в успіх нашої організації. Якщо ви готові прийняти захоплюючі виклики та розвивати культуру досконалості, ми заохочуємо вас подати заявку. Що ми пропонуємо: працюйте віддалено з будь-якої точки світу з повністю віддаленою командою та насолоджуйтеся взаємно погодженим графіком, який відповідає вашим потребам . (Основний робочий час у США) Працювати в основному з колегами з США, надаючи вам можливість співпрацювати з людьми з різним досвідом і навичками. Використовуйте свої навички та досвід, щоб значно вплинути на реалізацію проектів у нашій компанії. Працюйте в сприятливе середовище, яке цінує ваш внесок і забезпечує вас ресурсами та навчанням, необхідним для розвитку вашої кар’єри. Насолоджуйтесь 40-годинним робочим тижнем, який забезпечує здоровий баланс між роботою та особистим життям, і час для досягнення ваших особистих і професійних цілей поза роботою. Показати більше Показувати менше Посадовий рівень Старший середній рівень Тип зайнятості Зайнятість за контрактом Посадові обов’язки Інформаційні технології Галузі Інформаційні технології та послуги