Data Engineer (Postgres/Spark/Elasticsearch, Украина) #14738 в Capgemini Engineering

Цель работыВ Capgemini Engineering, мировом лидере в области инжиниринговых услуг, мы объединяем глобальную команду инженеров, ученых и архитекторов, чтобы помочь самым инновационным компаниям мира раскрыть свой потенциал. От автономных автомобилей до роботов, спасающих жизни, наши эксперты в области цифровых и программных технологий мыслят нестандартно, предоставляя уникальные услуги в области исследований, разработок и инжиниринга во всех отраслях. Присоединяйтесь к нам, чтобы сделать карьеру, полную возможностей. Где вы можете изменить ситуацию. Где не бывает двух одинаковых дней. Мы ищем опытного инженера по обработке данных, который присоединится к нашей растущей команде экспертов по аналитике. Этот сотрудник будет отвечать за расширение и оптимизацию нашей архитектуры данных и конвейеров данных, а также за оптимизацию потока и сбора данных для межфункциональных команд. Идеальный кандидат — опытный строитель конвейеров данных и специалист по обработке данных, которому нравится оптимизировать системы данных и создавать их с нуля. Инженер по обработке данных будет поддерживать наших разработчиков программного обеспечения, архитекторов баз данных, аналитиков данных и ученых, занимающихся данными, в инициативах по работе с данными и обеспечит согласованность оптимальной архитектуры доставки данных во всех текущих проектах. Они должны быть самостоятельными и комфортно поддерживать потребности в данных нескольких команд, систем и продуктов. Подходящий кандидат будет в восторге от перспективы оптимизации или даже перепроектирования архитектуры данных нашей компании для поддержки нашего чистого создания продуктов и инициатив в области данных. Основные задачи и обязанностиСоздавать и поддерживать оптимальную архитектуру конвейера данных. Собирать большие, полные наборы данных, которые соответствуют функциональные/нефункциональные бизнес-требования. Определить, спроектировать и внедрить улучшения внутренних процессов: автоматизировать ручные процессы, оптимизировать доставку данных, перепроектировать инфраструктуру для большей масштабируемости, производительности и т. д. Построить инфраструктуру, необходимую для оптимального извлечения, преобразования и загрузки данные из самых разных источников данных с использованием SQL и технологий больших данных. Создавайте инструменты аналитики, которые используют конвейер данных для предоставления действенной информации о привлечении клиентов, управлении доходами, операционной эффективности и других ключевых показателях эффективности бизнеса. Работайте с заинтересованными сторонами, включая руководителя. Команды по продуктам, данным и проектированию для оказания помощи в решении технических проблем, связанных с данными, и поддержки их потребностей в инфраструктуре данных. Обеспечьте разделение и безопасность наших данных за пределами национальных границ через несколько центров обработки данных и регионов. Создавайте инструменты обработки данных для членов групп аналитиков и специалистов по данным, которые помогите им в создании и оптимизации наших предложений. Работайте с экспертами по данным и аналитике, чтобы добиться большей функциональности наших систем данных. Образование, навыки и опыт ОБЯЗАТЕЛЬНО: 5+ лет опыта работы в роли инженера по обработке данных. Опыт работы с реляционными базами данных и хранилищами данных. , включая Postgres, Microsoft SQL Server, Oracle, GCP BigQuery и т. д. Опыт работы с инструментами больших данных: Hadoop, Spark, Hive, HBase и т. д. Опыт работы с репозиториями данных NoSQL, в идеале Elasticsearch. Опыт построения и оптимизации конвейеров и архитектур больших данных и наборы данных.Знакомство с инструментами управления рабочими процессами: NiFi, Airflow и т. д.Обязателен опыт работы.ence with stream-processing systems, such as Apache Spark and/or Kafka Streaming, Storm, etc.Must have Experience with programming and scripting languages: Show more Show less Должностный уровень Помощник Тип занятости Полный рабочий день Должностные обязанности Информационные технологии Отрасли ИТ-услуги и ИТ Консалтинг