Старший дата-инженер (ADF/Notebooks/Databricks, Украина) #14691 в Capgemini Engineering

Цель работыМы ищем опытного инженера по обработке данных, который присоединится к нашей растущей команде экспертов по аналитике. Этот сотрудник будет отвечать за расширение и оптимизацию нашей архитектуры данных и конвейеров данных, а также за оптимизацию потока и сбора данных для межфункциональных команд. Идеальный кандидат — опытный строитель конвейеров данных и специалист по обработке данных, которому нравится оптимизировать системы данных и создавать их с нуля. Инженер по обработке данных будет поддерживать наших разработчиков программного обеспечения, архитекторов баз данных, аналитиков данных и ученых, занимающихся данными, в инициативах по работе с данными и обеспечит согласованность оптимальной архитектуры доставки данных во всех текущих проектах. Они должны быть самостоятельными и комфортно поддерживать потребности в данных нескольких команд, систем и продуктов. Подходящий кандидат будет в восторге от перспективы оптимизации или даже перепроектирования архитектуры данных нашей компании для поддержки нашего чистого создания продуктов и инициатив в области данных. Основные задачи и обязанностиСоздание и поддержание оптимальной архитектуры конвейера данных, сбор больших и полных наборов данных, которые соответствуют требованиям. функциональные/нефункциональные бизнес-требования. Выявлены, разработаны и внедрены улучшения внутренних процессов: автоматизация ручных процессов, оптимизация доставки данных, перепроектирование инфраструктуры для большей масштабируемости, производительности и т. д. Создайте инфраструктуру, необходимую для оптимального извлечения, преобразования и загрузки данных из широкого спектра данных. источники с использованием SQL и технологий больших данных. Создавайте инструменты аналитики, которые используют конвейер данных для предоставления действенной информации о привлечении клиентов, управлении доходами, операционной эффективности и других ключевых показателях эффективности бизнеса. Работайте с заинтересованными сторонами, включая команды руководителей, продуктов, данных и дизайнеров, чтобы помочь с техническими проблемами, связанными с данными, и удовлетворить их потребности в инфраструктуре данных. Создавайте инструменты обработки данных для членов команды аналитиков и специалистов по обработке данных, которые помогают им в создании и оптимизации наших предложений. Работайте с эксперты по данным и аналитике, стремящиеся к большей функциональности наших систем данных. Образование, навыки и опыт ДОЛЖНЫ ИМЕТЬ: Опыт работы с ADF, блокнотами, Databricks, Databricks Delta Live Tables, технологиями складирования и связанными с ними шаблонами. Понимание услуг PAAS, связанных с данными, аналитикой, и интерфейсы интеграции — Databricks и т. д. Понимание проблем безопасности, связанных с данными, и инструментов для конкретных технологий (например, Databricks). Опыт работы с языками программирования и сценариев: кодовая база Python для ETL. Показать больше Показать меньше Посадовый ровень Старший середний рівень Тип занятости Повний рабочий день Посадочные обвязки Информационные технологии ГалузиИТ-услуги и ИТ Консалтинг