Data Engineer (Postgres/Spark/Elasticsearch, Україна) #14738 в Capgemini Engineering

Мета роботи У Capgemini Engineering, світовому лідері з інженерних послуг, ми об’єднуємо глобальну команду інженерів, науковців та архітекторів, щоб допомогти найбільш інноваційним компаніям світу розкрити свій потенціал. Від автономних автомобілів до роботів-рятувальників, наші експерти з цифрових і програмних технологій мислять нестандартно, надаючи унікальні науково-дослідні та інженерні послуги в усіх галузях. Приєднуйтесь до нас для кар’єри, повної можливостей. Де ви можете змінити ситуацію. Де немає двох однакових днів. Ми шукаємо кмітливого інженера з даних, щоб приєднатися до нашої зростаючої команди експертів з аналітики. Найманий відповідатиме за розширення та оптимізацію наших даних і архітектури конвеєрів даних, а також за оптимізацію потоку та збору даних для міжфункціональних команд. Ідеальний кандидат — це досвідчений розробник конвеєрів даних і фахівець із суперечками, який любить оптимізувати системи даних і створювати їх з нуля. Інженер з обробки даних підтримуватиме наших розробників програмного забезпечення, архітекторів баз даних, аналітиків даних і спеціалістів із обробки даних у ініціативах із обробки даних і забезпечуватиме узгодженість оптимальної архітектури доставки даних у поточних проектах. Вони мають бути самокерованими та зручними для підтримки потреб у даних кількох команд, систем і продуктів. Потрібний кандидат буде в захваті від перспективи оптимізації або навіть зміни дизайну архітектури даних нашої компанії для підтримки нашого мережевого покоління продуктів і ініціатив щодо даних. Основні завдання та обов’язки Створення та підтримка оптимальної архітектури конвеєру даних. Збирайте великі повні набори даних, які відповідають функціональні/нефункціональні бізнес-вимоги. Визначення, проектування та впровадження вдосконалень внутрішніх процесів: автоматизація ручних процесів, оптимізація доставки даних, перепроектування інфраструктури для підвищення масштабованості, продуктивності тощо. Створіть інфраструктуру, необхідну для оптимального вилучення, перетворення та завантаження даних із різноманітних джерел даних за допомогою SQL і технологій великих даних. Створіть інструменти аналітики, які використовують конвеєр даних для надання практичне уявлення про залучення клієнтів, управління доходами, операційну ефективність та інші ключові показники ефективності бізнесу. Співпрацюйте з зацікавленими сторонами, включаючи керівників, команди продуктів, даних і дизайну щоб допомогти з технічними проблемами, пов’язаними з даними, і підтримати їх потреби в інфраструктурі даних. Зберігайте наші дані окремо та безпечно через національні кордони через численні центри обробки даних і регіони. Створюйте інструменти обробки даних для членів команди аналітиків і науковців, які допомагають їм створювати й оптимізувати наші пропозиції .Працюйте з експертами з даних і аналітики, щоб прагнути до кращої функціональності наших систем даних. ПОТРІБНО МАТИ освіту, навички та досвід: 5+ років досвіду роботи інженером з даних роль Досвід роботи з реляційними базами даних і сховищами даних, включаючи Postgres, Microsoft SQL Server, Oracle, GCP BigQuery тощо. Досвід роботи з інструментами великих даних: Hadoop, Spark, Hive, HBase тощо. Досвід роботи зі сховищами даних NoSQL, в ідеалі Elasticsearch. Досвід створення й оптимізація конвеєрів, архітектур і наборів даних великих даних. Знайомство з робочим процесом інструменти керування: NiFi, Airflow тощо. Необхідно мати досвідence with stream-processing systems, such as Apache Spark and/or Kafka Streaming, Storm, etc.Must have Experience with programming and scripting languages: Python, Scala, OOP Show more Show less Посадовий рівень Помічник Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології Галузі ІТ-послуги та ІТ Консалтинг