Старший инженер по данным Python IRC236749 в GlobalLogic

Описание: GlobalLogic собирается построить аналитическую платформу для клиента. Платформа, которая будет собирать информацию о некоторых компаниях из различных источников, нормализовать ее в соответствии с заданным потоком и показывать пользователю в виде набора аналитических панелей. Собранная и обработанная информация позволит клиентам принимать решения относительно состояния бизнеса исследуемых компаний. Аналитическая информация поможет клиентам прогнозировать будущее состояние соответствующих компаний и улучшать бизнес-процессы клиентов. Клиент предоставляет ценный анализ и поддержку компаниям-партнерам для выявления и смягчения возникающих бизнес-задач. Сегодня бизнес-процессы клиента в значительной степени ручные и фрагментированные. Проект направлен на определение и воплощение в жизнь цифровой платформы, которая соединяет сотрудников клиента с актуальной и значимой информацией о активах их портфеля, позволяя получать ценную информацию и действовать. Требования: Навыки разработки программного обеспечения. на Python (используется)Подтвержденная способность работать независимо, а также эффективно работать в командной среде с открытой концепцией.Глубокий опыт работы с большими данными, неструктурированными данными, структурированными данными, включая очистку/преобразование/каталогизацию/сопоставление/и т. д.Опытный опыт в области передовых методов облачных технологий для обеспечения распределения и анализа данных в облаке (форматирование/секционирование и т. д.)Опыт работы с конвейерами ETL, управление несколькими наборами данных и предоставление необходимой поддержкиЗнакомство с фабриками данных и озерами данных с использованием S3/RedshiftВоздействие на большие данные рабочие процессы и инструменты аналитики (Spark/EMR/Databricks/Mongo/Casandra)Глубокое знание Python и опыт использования Spark, Pandas или PySparkПонимание конвейеров CI/CD и опыт работы с DevOpsОпыт создания гибких решений, которые могут быстро адаптироваться к меняющимся требованиямУмение работать в предпринимательская среда и инициативность. Проверенное внимание к точности и деталям, высокая организованность, способность расставлять приоритеты и работать в режиме многозадачности. Способность работать в высокопроизводительной культуре с жесткими сроками. Персональный, легко взаимодействует со всеми типами личностей и на всех уровнях. с высокой степенью профессионализма. Хороший опыт программирования SQL с возможностью устранения неполадок и настройки кода. Подтвержденное понимание и очевидный опыт внедрения технологий облачных платформ данных (AWS). Знание технологий корпоративных хранилищ данных, включая многомерное моделирование данных, архитектуру данных или другие связанные работы. к созданию корпоративных информационных активов. Разработка конвейеров данных с помощью процесса ETL, соединение различных источников данных с помощью пользовательских конвейеров. Опыт работы с инструментами запросов больших данных. Практический опыт работы с Kafka. Хорошие навыки решения проблем, устранения неполадок и анализа. Хорошие коммуникативные навыки. Средний + разговорный и письменный английский. Способность работать в часовом поясе EST (Торонто). )Будет плюсом:Опыт разработки ETL-решенийПредыдущий опыт работы инженером по данным Python Глубокое понимание фреймворков приема данных AWS, бессерверной обработки данных, AWS Athena, Glue, EMR, Redshift, Lambda, Batch, Step function. Глубокое знакомство с Airflow и PySpark. Хорошее знание Linux/shell. Должностные обязанности: Разработка решений, соответствующих долгосрочной архитектуре и технологической стратегии, с использованием Amazon Web Services (AWS) для облачной разработки. Работа с командой данных и бизнесом для выбора и приобретения -традиционные наборы данных и доступ, очистка и предварительная обработка данных в соответствии с требованиями вариантов использования. Выбор подходящих наборов данных и методов представления данных. Сотрудничество с аналитиками данных для создания необходимых конвейеров данных. Создание, обучение, проверка и тестирование моделей с использованием критериев, соответствующих бизнес-целям. Работа. в динамично развивающейся среде, сотрудничая с аналитиками данных, инженерами данных и архитекторами. Подготавливайте, преобразуйте, объединяйте и управляйте структурированными и неструктурированными данными для использования бизнес-пользователями. Рекомендуйте способы повышения надежности, эффективности и качества данных для наших бизнес-команд. Управляйте проблемами данных приложений, исключения, активно выявлять коренные причины и предлагать решения. Работать в тесном контакте с бизнес-аналитиками, бизнес-командами, архитектурными командами, руководителями и разработчиками. Что мы предлагаем. Расширение возможностей проектов: имея более 500 клиентов из различных отраслей и областей, мы предоставляем прекрасную возможность внести свой вклад в новаторские проекты. которые используют передовые технологии. Как команда, мы разрабатываем цифровые продукты, которые положительно влияют на жизнь людей. Способствуя росту: мы развиваем культуру непрерывного обучения и профессионального развития. Наша цель — предоставить своевременную и всестороннюю помощь каждому консультанту через нашу специальную команду по обучению и развитию, обеспечивая их непрерывный рост и успех. DE&I имеет значение: в GlobalLogic мы глубоко ценим и поддерживаем многообразие. Мы стремимся предоставить равные возможности для всех людей, создавая инклюзивную и расширяющую возможности рабочую среду. Развитие карьеры: Наша корпоративная культура уделяет большое внимание развитию карьеры, предлагая множество возможностей для роста. Регулярное взаимодействие с нашими командами обеспечивает их вовлеченность, мотивацию и признание. Мы даем возможность членам нашей команды добиваться своих карьерных целей с уверенностью и энтузиазмом. Комплексные преимущества: в дополнение к справедливому вознаграждению мы предоставляем комплексный пакет льгот, в котором приоритетом является общее благополучие наших консультантов. Мы искренне заботимся об их здоровье и стремимся создать позитивную рабочую среду. Гибкие возможности: в GlobalLogic мы уделяем приоритетное внимание балансу между работой и личной жизнью, предлагая гибкие возможности, адаптированные к вашему образу жизни. Изучите варианты переезда и ротации для получения разнообразного культурного и профессионального опыта в разных странах вместе с нашей компанией. О GlobalLogic GlobalLogic — лидер в области цифрового инжиниринга. Мы помогаем брендам по всему миру проектировать и создавать инновационные продукты, платформы и цифровые возможности для современного мира. Объединяя дизайн опыта, сложное проектирование и опыт работы с данными, мы помогаем нашим клиентам представить, что возможно, и ускорить их переход к цифровому бизнесу завтрашнего дня. GlobalLogic со штаб-квартирой в Силиконовой долине управляет дизайн-студиями и инженерными центрами по всему миру, расширяя свой глубокий опыт.rtise to customers в автомобиле, коммуникации, финансовые услуги, здравоохранения и здравоохранения, manufacturing, media and entertainment, semiconductor, and technology industries. GlobalLogic является Hitachi Group Company, работающей под Hitachi, Ltd. (TSE: 6501) которые contributes to sustainable society with high quality of life by driving innovation through data and technology as Social Innovation Business. Show more Show less Должностный уровень Директор Тип занятости Полный рабочий день Должностные обязанности Инженерия Отрасли Разработка программного обеспечения