Senior StreamSets Engineer/ Data Engineer IRC170963 в GlobalLogic

Описание:

Мы ищем старшего инженера/инженера данных StreamSets, который присоединится к нашему амбициозному проекту, посвященному одному из клиентов нашего портфеля финансовых технологий. Вы будете работать в составе распределенной кросс-функциональной команды Scrum, базирующейся в Польше.

Вы будете работать в команде по отчетности, а также экспертами в предметной области, разработчиками, инженерами по управлению и специалистами по данным. Их основная обязанность будет заключаться в разработке надежных и инструментированных конвейеров приема данных, которые направляют входящие данные из нескольких процессов и оперативных хранилищ данных по всей компании в локальные и облачные озера данных. Эти конвейеры потребуют автоматизации проверки данных и профилирования данных, а также контроля версий и CI/CD, чтобы обеспечить постоянную отказоустойчивость и ремонтопригодность входящих потоков данных, поддерживающих наши проекты расширенной аналитики.

Мы — команда энтузиастов, тесно интегрированная с Заказчиком и уполномоченная принимать деловые и технические решения. Этот проект является частью долгосрочного программного плана.

Не медлите – присоединяйтесь к нам и создайте свой мир!

Требования:

• Не менее 3 лет практического опыта проектирования, разработки, развертывания и устранения неполадок конвейеров StreamSets в экосистемах конвейеров данных.
• Уверенное рабочее понимание решений Big Data ETL
• Необходим набор навыков потоковой передачи данных/шаблонов
• Программное обеспечение — StreamSets Data Collector, StreamSets Transformer, StreamSets Control Hub, Kafka, Mongo DB, CDC
• Опыт использования StreamSets Data Collector с упором на проектирование, тестирование, развертывание, эксплуатацию и обслуживание конвейеров, которые передают потоковые и пакетные данные.
• Опыт использования Streamsets API/журналов для создания оповещений для информирования команды о проблемах, связанных со средой.
• Глубокое понимание разработки приложений реляционных баз данных
• Глубокое понимание разработки и развертывания на облачной платформе в Snowflake или AWS
• Умение писать скрипты — язык Python
• Хороший уровень английского языка (как письменного, так и разговорного). Способность принимать участие в повседневном общении и вести беседу с другими заинтересованными сторонами
• Agile-практики

Хорошо бы иметь:

• Oracle, сценарии Unix, Java, облако, NoSQL
• Современные методы разработки кода (git, CI: CD, QA и документация)
• PySpark/Spark и обработка данных
• Опыт работы в финансовой/банковской сфере

Рабочие обязанности:

• Управление критически важными конвейерами данных, обеспечивающими аналитику для различных бизнес-подразделений.
• Разрабатывайте различные пайплайны в наборах Stream в соответствии с требованиями владельца бизнеса
• Разверните конвейеры наборов потоков на сервере.
• Разрабатывайте и создавайте конвейерные решения для интеграции данных из нескольких разнородных систем с помощью сборщиков данных Stream Sets.
• Интегрируйте данные за несколько лет из файлов и баз данных, таких как DB2, SQL Server, Oracle, Teradata, JSON и MySQL.
• Интегрируйте данные из нескольких тем в базу данных. Управление RESTful API и интеграция с наборами потоков для перемещения данных
• Интегрируйте данные из стека больших данных Cloudera, Hadoop, Hive, Hbase и MongoDB. Build Stream устанавливает конвейер для учета изменений
• Отвечает за отправку качественных данных по безопасным каналам в нижестоящие системы с использованием управления доступом на основе ролей и наборов потоков.

Что мы предлагаем

Увлекательные проекты. Работая с клиентами во всех отраслях и секторах, мы предлагаем возможность работать над определяющими рынок продуктами с использованием новейших технологий.

Совместная среда: вы можете расширить свои навыки, сотрудничая с разнообразной командой очень талантливых людей в открытой, непринужденной обстановке — или даже за границей в одном из наших глобальных центров или объектов для клиентов!

Баланс между работой и личной жизнью: GlobalLogic отдает приоритет балансу между работой и личной жизнью, поэтому мы предлагаем гибкий график работы.

Профессиональное развитие: мы разрабатываем пути, подходящие для ваших индивидуальных талантов, посредством международного обмена знаниями и возможностей профессиональной сертификации.

Отличные преимущества: Мы предоставляем нашим сотрудникам частное медицинское обслуживание, карты спортивных сооружений, групповое страхование жизни, страхование путешествий, пакет для релокации, субсидии на питание и культурные мероприятия.

Веселые бонусы: мы хотим, чтобы вы чувствовали себя комфортно на работе, поэтому мы создаем приятную рабочую среду с зонами отдыха, проводим социальные и тимбилдинговые мероприятия, а на нашей кухне всегда есть вкусный чай и кофе!

О ГлобалЛогик

GlobalLogic является лидером в области цифровой инженерии. Мы помогаем брендам по всему миру разрабатывать и создавать инновационные продукты, платформы и цифровой опыт для современного мира. Объединяя дизайн опыта, комплексную инженерию и опыт работы с данными, мы помогаем нашим клиентам представить, что возможно, и ускоряем их переход к цифровому бизнесу завтрашнего дня. GlobalLogic со штаб-квартирой в Силиконовой долине управляет студиями дизайна и инженерными центрами по всему миру, распространяя свой глубокий опыт на клиентов в автомобильной, коммуникационной, финансовой сфере, здравоохранении и науках о жизни, производстве, средствах массовой информации и развлечениях, полупроводниковой и технологической отраслях. GlobalLogic является компанией Hitachi Group, работающей под управлением Hitachi, Ltd. (TSE: 6501), которая вносит свой вклад в устойчивое общество с более высоким качеством жизни, продвигая инновации с помощью данных и технологий в рамках бизнеса социальных инноваций.