Старший инженер по данным (Azure Databricks) № 14349. в Capgemini Engineering

Цель работыНаш клиент — американская многонациональная компания в области информационных технологий. Основные задачи и обязанностиРабота в составе команды. Образование, навыки и опыт ДОЛЖНЫ ИМЕТЬ:Основные навыки: Azure Databricks.7-8 лет практического опыта разработки Проектирование и разработка приложений с использованием Azure ADF Databricks. Глубокое понимание архитектуры Spark, включая Spark Core, Spark SQL, Data Frames, Spark Streaming, RDD-кэширование, Spark MLib. Хорошо иметь опыт программирования на Python/SQL или PySpark/Scala. Опыт использования Spark SQL с различные источники данных, такие как СУБД, файлы, паркет и пара «ключ-значение». Опыт создания таблиц, секционирования, группирования, загрузки и агрегирования данных с использованием Spark SQL/Scala. Глубокое понимание облачных решений Azure, озера данных и аналитики в Azure. создать прием данных в ADLS и включить уровень BI для Analytics. Проектировать и разрабатывать решения на Microsoft Azure и связанных технологиях, включая ADF, ADLS, AAS, Databricks и Power BI. Проектировать и разрабатывать прием данных с помощью ADF и уровень обработки с помощью Databricks. Знание процедуры развертывания. в облаке. Необходим опыт миграции данных из локальной среды в облако. Показать больше Показывай меньше Посадовый ровень Старший середний рівень Тип занятости Повний рабочий день Посадочные обвязки Информационные технологии Галузи ИТ-послуги и ИТ Консалтинг