Старший инженер данных в CI Group EMEA

CIGROUPEMEA ищет опытного инженера по обработке данных, который присоединится к нашей команде. Идеальный кандидат имеет более 5 лет опыта работы в качестве инженера по данным на аналогичной должности и владеет SQL и Python. Кандидат будет отвечать за проектирование и внедрение комплексных конвейеров данных для различных потоков (интеграция данных между системами, процессы ETL, инфраструктуры машинного обучения). Кандидат должен иметь опыт моделирования данных, их хранения и построения конвейеров. Кроме того, кандидат должен иметь опыт непрерывной интеграции и непрерывного развертывания крупных масштабируемых систем данных. Обязанности: Проектирование и внедрение надежных и масштабируемых конвейеров данных с использованием Apache Kafka, обеспечивающих надежный прием и потоковую передачу данных. Разработка и оптимизация SQL-запросов и хранимых процедур. для преобразования и агрегирования данных, тесно сотрудничая с аналитиками данных и учеными. Используйте Python для создания и поддержки процессов ETL (извлечение, преобразование, загрузка) для эффективной обработки больших объемов данных. Внедрение данных и управление ими. обработка рабочих процессов в Databricks, используя возможности распределенных вычислений и функции расширенной аналитики. Проектируйте и поддерживайте дельта-таблицы, чтобы обеспечить эффективное управление версиями, хранение и извлечение данных для аналитических рабочих нагрузок. Сотрудничайте с заинтересованными сторонами бизнеса для сбора требований к данным и разработки моделей данных для эффективной отчетности и визуализация в Power BI. Внедряйте решения по интеграции и синхронизации данных с помощью Azure SQL, обеспечивая бесперебойный поток данных между локальными и облачными средами. Обеспечьте безопасность, конфиденциальность и соответствие систем данных, следуя лучшие отраслевые практики и организационные рекомендации. Мониторинг и устранение неполадок в инфраструктуре и конвейерах данных, активно выявляя и решая проблемы с производительностью и масштабируемостью. Сотрудничайте с межфункциональными командами, чтобы обеспечить качество, точность и целостность данных на протяжении всего жизненного цикла данных. Будьте в курсе новых технологий и отраслевые тенденции в области разработки данных, предоставление рекомендаций по постоянному совершенствованию. Требования: степень бакалавра или магистра в области компьютерных наук, информационных систем или смежных областях. Хорошее знание Apache Kafka, SQL и Python, практический опыт проектирования и разработки конвейеров данных. Опыт работы с Databricks для обработки и анализа больших данных, включая программирование Spark и управление кластерами. Навыки работы с дельта-таблицами для управления версиями данных, оптимизации и надежности. Знакомство. с Power BI для визуализации данных и создания отчетов, создания интерактивных панелей мониторинга и отчетов. Знание Azure SQL для интеграции и синхронизации данных в локальных и облачных средах. Уверенное понимание операционных систем на базе Linux. и сценарии оболочки. Сильные навыки решения проблем и аналитические навыки, способность анализировать сложные проблемы, связанные с данными, и предлагать эффективные решения. Отличные навыки общения и сотрудничества, способность эффективно работать в межфункциональных командах. Подтвержденная способность управлять несколькими задачи и приоритеты в быстро меняющейся и динамичной среде. Наша команда состоит изэкспертов в своих областях, которые заинтересованы в выполнении высококачественной работы и поддержании позитивной рабочей культуры. Мы ценим инновации, командную работу и личностный рост. Как опытный инженер по обработке данных, у вас будет возможность оказать существенное влияние на наши проекты и внести свой вклад в успех нашей организации. Если вы готовы принять захватывающие вызовы и развивать культуру совершенства, мы рекомендуем вам подать заявку. Что мы предлагаем: Работайте удаленно из любой точки мира, с полностью удаленной командой, и наслаждайтесь взаимосогласованным графиком, который соответствует вашим потребностям. . (Основное рабочее время в США) Работайте в основном с коллегами из США, что дает вам возможность сотрудничать с людьми с разным опытом и навыками. Используйте свои навыки и опыт, чтобы оказать существенное влияние на реализацию проектов в нашей компании. Работайте в благоприятная среда, которая ценит ваш вклад и предоставляет вам ресурсы и обучение, необходимые для роста в вашей карьере. Наслаждайтесь 40-часовой рабочей неделей, которая обеспечивает вам здоровый баланс между работой и личной жизнью, а также время для достижения ваших личных и профессиональных целей за пределами работы. Показать больше Показать меньше Посадовый ровень Старший середний рівень Тип занятости Занятость по контракту Посадочные обвязки Информационные технологии Галузи Информационные технологии и услуги