Старший инженер данных (BigQuery/Spark, Украина) #14667 в Capgemini Engineering

Цель работы мы ищем инженера -опытного данных, чтобы присоединиться к нашей растущей команде экспертов по аналитике. Наем будет отвечать за расширение и оптимизацию нашей архитектуры данных и конвейеров данных, а также для оптимизации потока данных и сбора данных для межфункциональных команд. Идеальным кандидатом является опытный конвейер данных и Wrangler Data, который любит оптимизировать системы данных и создавать их с нуля. Инженер данных будет поддерживать наших разработчиков программного обеспечения, архитекторов баз данных, аналитиков данных и ученых данных по инициативам по данным и обеспечит оптимальную архитектуру доставки данных в соответствии с текущими проектами. Они должны быть самостоятельными и удобными, поддерживая потребности данных нескольких команд, систем и продуктов. Правильный кандидат будет взволнован перспективой оптимизации или даже переосмысления архитектуры данных нашей компании для поддержки нашего чистого производства продуктов и инициатив по данным. Нефункциональные бизнес-требования идентификация, разработка и реализация внутренних улучшений процессов: автоматизация ручных процессов, оптимизация доставки данных, переосмысление инфраструктуры для большей Масштабируемость, производительность и т. Д. Создайте инфраструктуру, необходимую для оптимальной извлечения, преобразования и загрузки данных из широкого спектра источников данных с использованием инструментов SQL и Big Data TechnologiesBuild Analytics, которые используют конвейер данных для предоставления действенного представления о приобретении клиентов, управление доходами. , оперативная эффективность и другие ключевые показатели эффективности бизнеса с заинтересованными сторонами, включая руководителя, продукты, данные и команды разработчиков, чтобы помочь с связанными с данными Технические проблемы и их инфраструктура данных требуют поддержки наших данных, разделенных и защищенных по национальным границам через несколько центров обработки данных и инструментов данных AWS CREATE, для аналитики и членов группы ученых, которые помогают им в создании и оптимизации наших предложений с помощью данных и аналитических экспертов, чтобы стремиться к большему. Функциональность в наших системах данных, навыки и опыта, должны иметь 4+ года опыта работы в инженере -инженере RoleExperience, работая с реляционными базами данных и данными Склады, в том числе GCP BigQuery, Postgres, Microsoft SQL Server, Oracle и т. Д. Специалирование с системами потоковой обработки: Spark и/или потоковая передача Kafka и т. Д. Специалирование с помощью программирования и языков сценариев: Python/Scala/Javaexperience с большими данными: Hadoop , Hive, HBASE и т. Д. Специализация с репозиториями данных NOSQL, в идеале, Elastic Строительство SearchExperience и оптимизация трубопроводов больших данных, архитектуры и наборов данных с инструментами управления рабочими процессами: NIFI, воздушный поток и т. Д. Показать больше Показывать меньше Покадовиг Starшiй sererednhй ruwennh ТИПул На постоянной основе Рабочие обязанности Информационные технологии Промышленность ИТ -услуги и консалтинг