Senior Data Engineer (ADF/Notebooks/Databricks, Україна) №14691 в Capgemini Engineering

Мета роботи. Ми шукаємо кмітливого інженера з даних, щоб приєднатися до нашої зростаючої команди аналітичних експертів. Найманий відповідатиме за розширення та оптимізацію наших даних і архітектури конвеєрів даних, а також за оптимізацію потоку та збору даних для міжфункціональних команд. Ідеальний кандидат — це досвідчений розробник конвеєрів даних і фахівець із суперечками, який любить оптимізувати системи даних і створювати їх з нуля. Інженер з обробки даних підтримуватиме наших розробників програмного забезпечення, архітекторів баз даних, аналітиків даних і спеціалістів із обробки даних у ініціативах із обробки даних і забезпечуватиме узгодженість оптимальної архітектури доставки даних у поточних проектах. Вони мають бути самокерованими та зручними для підтримки потреб у даних кількох команд, систем і продуктів. Потрібний кандидат буде в захваті від перспективи оптимізації або навіть перепроектування архітектури даних нашої компанії для підтримки нашого мережевого покоління продуктів і ініціатив щодо даних. Основні завдання та обов’язки Створення та підтримка оптимальної архітектури конвеєра даних, Збирання великих повних наборів даних, які відповідають функціональні/нефункціональні бізнес-вимоги. Виявлено, розроблено та впроваджено вдосконалення внутрішніх процесів: автоматизація ручних процесів, оптимізація доставки даних, перепроектування інфраструктури для більшої масштабованості, продуктивності тощо. Створення інфраструктури, необхідної для оптимального вилучення, перетворення та завантаження даних із різноманітних даних джерел з використанням SQL і технологій великих даних. Створюйте інструменти аналітики, які використовують конвеєр даних, щоб надавати практичну інформацію про залучення клієнтів, управління доходами, операційну ефективність та інші ключові показники ефективності бізнесу. Співпрацюйте з зацікавленими сторонами, включаючи керівників, команди продуктів, даних і дизайнерів, щоб допомогти їм вирішити технічні проблеми, пов’язані з даними, і підтримати їхні потреби в інфраструктурі даних. Створюйте інструменти обробки даних для членів команди аналітики та спеціалістів з даних, які допомагають їм створювати й оптимізувати наші пропозиції. Працювати з експертів із даних і аналітики, щоб прагнути до більшої функціональності наших систем даних. ПОТРІБНО МАТИ освіту, навички та досвід: Досвід роботи з ADF, ноутбуками, Databricks, Databricks Delta Live Tables, технологіями складування та пов’язаними шаблонами Розуміння послуг PAAS, пов’язаних із даними, аналітикою, та інтерфейси інтеграції – Databricks тощо. Розуміння проблем безпеки, пов’язаних із даними, та інструментів із конкретними технологіями (наприклад, Databricks) Досвід роботи з мовами програмування та сценаріїв: кодова база Python для ETL Показати більше Показувати менше Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології ГалузіІТ-послуги та ІТ Консалтинг