Инженер по интеграции данных в EPAM Systems

Мы ищем опытного инженера по интеграции данных, который возьмет на себя ответственность за подключение нового поставщика данных. Эта роль включает в себя создание новых конвейеров для этапов приема данных, необработанных, курируемых и консолидированных данных с использованием Databricks, используя существующие шаблоны в качестве основы. Идеальный кандидат будет использовать свой опыт работы с Databricks и PySpark для улучшения обработки и интеграции данных. ОбязанностиПроектирование и разработка масштабируемых конвейеров данных для этапов приема, необработанных, курируемых и консолидированных данныхИспользование Databricks для создания эффективных и надежных потоков данныхВнедрение PySpark для обработки больших наборов данных в конвейерахСовместная работа с группами данных для создания архитектуры конвейера и лучших практик. Оптимизация конвейеров данных для максимальной производительности и масштабируемостьОбеспечение целостности и качества данных на протяжении всего процесса конвейера. Мониторинг и устранение любых проблем, возникающих в конвейерах данных. Проведение регулярных системных тестов и обновлений для улучшения функциональности. Всестороннее документирование проектов и модификаций конвейеров. Требования: Минимум 2 года опыта работы в области проектирования конвейеров данных или в смежных областях. Знание Databricks и PySpark. проектирование и внедрение сложных конвейеров данных. Навыки обработки данных и управления рабочими процессами. Квалификация в области системной архитектуры, связанной с данными. УправлениеВозможность отлаживать и оптимизировать производительность конвейераПриятно знать Amazon Web ServicesЗнание Apache AirflowПонимание языков программирования Python и SQLПредлагаемРаботать по гибкому графику удаленно или в любом из наших комфортабельных офисов или коворкингов в УкраинеПолучать необходимое оборудование для выполнения своих рабочих задач Менять проекты и стеки технологий в рамках EPAMG Получите опыт в различных сферах бизнеса (страхование, электронная коммерция, здравоохранение, финансы, путешествия, средства массовой информации, искусственный интеллект и подробнее)Рассмотрите варианты переезда в более чем 30 стран мира.Участвуйте в волонтерских, благотворительных программах и сообществах (как технических, так и по интересам).Вы можете планировать свой индивидуальный карьерный путь вместе со своим руководителем.Получайте регулярную обратную связь от коллег.Совершенствуйте свой английский бесплатно с сертифицированными преподавателями ( Разговорные клубы, курсы подготовки к собеседованию с клиентами и т. д.) Получите возможность пройти бесплатное обучение и сертификацию в облаках AWS, GCP или Azure. Используйте внутреннюю программу электронного обучения. (более 18 200 специализированных программ обучения и наставничества) Получите доступ к корпоративным учетным записям в LinkedIn Learning, Get Abstract и другим партнерским ресурсам. Обучайтесь в Школе архитектуры решений EPAM с преподавателями, являющимися практикующими архитекторами. Развивайтесь как лидер, присоединяйтесь к школе Delivery Management, Resource Management, Leadership Essentials и многому другому. Участвуйте во внутренних сообществах (ежегодно более 500 митапов, технических дискуссий, мозговых штурмов, онлайн-мероприятий и конференций)Отпуск и больничный (в том числе больничный без медицинской сертификат)Широкий спектр программ добровольного медицинского страхования, предусматривающий как лечение, так и различные профилактические мероприятия (в том числе занятия спортом)Медицинское страхование членов семьи по корпоративным тарифамПоддержка компании в значимые жизненные события (роды или объявление о рождении)вариант, брак и т. д.) Поддержка психологического комфорта: скидки на услуги специалистов по психическому здоровью или тренеров, тематическое обучение. Программа E-kids — бесплатная программа обучения языку программирования для детей EPAMеров. EPAM стремится предоставить свою глобальную команду из более чем 52 800+ специалистов в более 55 стран с возможностями профессионального роста с первого дня сотрудничества. Наши коллеги — источник успеха EPAM, поэтому мы ценим сотрудничество, стремимся всегда понимать бизнес наших клиентов и стремимся к самым высоким стандартам качества. Независимо от того, где вы находитесь, вы присоединитесь к преданному своему делу разнообразному сообществу, которое поможет вам в полной мере реализовать свой потенциал. Показать больше Показать меньше Посадовый ровень Помічник Тип занятости Повний рабочий день Посадовые обвязки Информационные технологии Галузи Разработка программного обеспечения и ИТ-послуги и ИТ Консалтинг