Ведущий инженер по данным (Python/BigQuery/Spark, Украина) #14667 в Capgemini Engineering

Цель работыМы ищем ведущего инженера по данным, который присоединится к нашей растущей команде экспертов по аналитике. Этот сотрудник будет отвечать за расширение и оптимизацию нашей архитектуры данных и конвейеров данных, а также за оптимизацию потока и сбора данных для межфункциональных команд. Идеальный кандидат — стратегический мыслитель и практичный технический руководитель, увлеченный архитектурой данных, оптимизацией производительности и облачной разработкой данных. Они должны быть самостоятельными, проактивными и комфортно использовать стратегию управления данными, гарантируя, что наша инфраструктура отвечает меняющимся потребностям бизнеса. Вы будете тесно сотрудничать с разработчиками программного обеспечения, архитекторами баз данных, аналитиками данных и учеными, работающими с данными, чтобы обеспечить согласованную, масштабируемую и высокопроизводительную экосистему данных для нескольких команд, систем и продуктов. Основные задачи и обязанностиПроектирование и стимулирование разработки масштабируемых, высокопроизводительные архитектуры конвейеров данных, обеспечивающие оптимальные решения для обработки, преобразования и хранения данных. Собирать большие полные наборы данных, соответствующие функциональным и нефункциональным бизнес-требованиям. Руководить проектированием и оптимизацией инфраструктуры данных, используя современные технологии обработки данных для обеспечения масштабируемость, надежность и эффективность. Выявление, проектирование и внедрение улучшений внутренних процессов: автоматизация ручных процессов, оптимизация доставки данных, перепроектирование инфраструктуры для большей масштабируемости, производительности и т. д. Создавайте инструменты аналитики, которые используют конвейер данных для предоставления действенной информации о привлечении клиентов. , управление доходами, операционная эффективность и другие ключевые показатели эффективности бизнеса. Работайте с заинтересованными сторонами, включая команды руководителей, продуктов, данных и разработчиков, чтобы помочь с техническими проблемами, связанными с данными, и их инфраструктура данных нуждается в поддержке. Держите наши данные отдельно и безопасность за пределами национальных границ через несколько центров обработки данных и регионов AWS. Создавайте инструменты обработки данных для членов групп аналитиков и специалистов по обработке данных, которые помогают им в создании и оптимизации наших предложений. Работайте с экспертами по данным и аналитике, чтобы стремиться к повышению функциональности наших систем данных. Выступайте в качестве технического консультанта по проектированию, продуктовые и исполнительные команды, переводящие бизнес-требования в масштабируемые решения для обработки данных. Образование, навыки и опыт ОБЯЗАТЕЛЬНО: 7+ лет опыта в области разработки данных, проектирования и внедрения масштабируемых решений для обработки данных. Обширный опыт работы с реляционные базы данных и хранилища данных, включая GCP BigQuery, PostgreSQL, Microsoft SQL Server, Oracle и т. д. Опыт работы в режиме реального времени и пакетной обработки данных с использованием Spark/Kafka StreamingОпыт работы с языками программирования и сценариев: Python, Scala/JavaПрактический опыт работы с большими технологии обработки данных, такие как Hadoop, Hive и HBaseProficiency в хранилищах данных NoSQL, с опытом работы в Elasticsearch или аналогичных технологиях. Подтвержденный послужной список в области проектирования и разработки. оптимизация крупномасштабных конвейеров данных, рабочих процессов ETL и инфраструктуры данных. Знакомство с инструментами оркестрации рабочих процессов, такими как Apache NiFi, Airflow. Способность наставлять и направлять команды по разработке данных, одновременно разрабатывая техническую стратегию и лучшие практики.Show more Show less Должностный уровень не применяется Тип занятости Полный рабочий день Должностные обязанности Информационные технологии Отрасли ИТ-услуги и ИТ Консалтинг