Lead Data Engineer (Python/BigQuery/Spark, Україна) #14667 в Capgemini Engineering

Мета роботи. Ми шукаємо провідного інженера з даних, щоб приєднатися до нашої зростаючої команди експертів з аналітики. Найманий відповідатиме за розширення й оптимізацію наших даних і архітектури конвеєрів даних, а також за оптимізацію потоку та збору даних для міжфункціональних команд. Ідеальний кандидат — це стратегічний мислитель і практичний технічний керівник, який захоплюється архітектурою даних, оптимізацією продуктивності та розробкою даних у хмарі. Вони мають бути самокерованими, проактивними та зручними для керування стратегією даних, забезпечуючи, щоб наша інфраструктура відповідала потребам бізнесу, що розвиваються. Ви тісно співпрацюватимете з розробниками програмного забезпечення, архітекторами баз даних, аналітиками даних і спеціалістами з обробки даних, щоб забезпечити послідовну, масштабовану та високопродуктивну екосистему даних у кількох командах, системах і продуктах. високопродуктивні архітектури конвеєрів даних, що забезпечують оптимальну обробку, перетворення та рішення для зберігання даних Зберіть великі повні набори даних, які відповідають функціональні/нефункціональні бізнес-вимоги Керуйте розробкою та оптимізацією інфраструктури даних, використовуючи сучасні технології даних для забезпечення масштабованості, надійності та ефективності. Визначайте, проектуйте та впроваджуйте вдосконалення внутрішніх процесів: автоматизація ручних процесів, оптимізація доставки даних, перепроектування інфраструктури для кращого масштабованість, продуктивність тощо. Створюйте інструменти аналітики, які використовують конвеєр даних, щоб надати практичну інформацію щодо залучення клієнтів, управління доходами, операційної ефективності та інші ключові показники ефективності бізнесу. Співпрацюйте із зацікавленими сторонами, включаючи керівників, команди продуктів, даних і дизайнерів, щоб допомогти з технічними проблемами, пов’язаними з даними, і їх інфраструктурі даних потрібна підтримка. Зберігайте наші дані окремо та безпечно через національні кордони через численні центри обробки даних і регіони AWS. Створюйте інструменти обробки даних для Члени команди аналітики та аналітики, які допомагають їм створювати та оптимізувати наші пропозиції. Співпрацювати з експертами з даних та аналітики, щоб прагнути до більшої функціональності наших систем даних. як технічний радник інженерних, продуктових і виконавчих команд, перетворюючи бізнес-вимоги на рішення для масштабованих даних. Освіта, навички та досвід ПОВИННІ МАТИ: 7+ років досвіду в інженерії даних, розробці та впровадженні рішень для масштабованих даних. Великий досвід роботи з реляційними базами даних і сховищами даних , включаючи GCP BigQuery, PostgreSQL, Microsoft SQL Server, Oracle тощо. Досвід роботи в режимі реального часу та пакетної обробки даних використання Spark/Kafka StreamingДосвід роботи з мовами програмування та сценаріїв: Python, Scala/Java Практичний досвід роботи з технологіями великих даних, такими як Hadoop, Hive і HBaseProficiency у сховищах даних NoSQL, з досвідом роботи з Elasticsearch або подібними технологіями Перевірений досвід роботи з архітектурою та оптимізацією великих -масштабовані конвеєри даних, робочі процеси ETL та інфраструктура даних. Знайомство з робочим процесом інструменти оркестровки, такі як Apache NiFi, AirflowМожливість наставляти та направляти команди розробки даних під час розробки технічної стратегії та найкращих практикShow more Show less Посадовий рівень Не застосовується Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології Галузі ІТ-послуги та ІТ Консалтинг