Lead Data Software Engineer в EPAM Ukraine

Наш клиент, всемирно известная многонациональная технологическая компания, расположенная в Калифорнии и входящая в Большую пятерку технологических компаний, расширяет партнерство с EPAM.

Специализация клиента:

-бытовая электроника

-программное обеспечение

-онлайн-услуги

Вы будете работать с экспертами и технологиями мирового уровня из самого сердца Кремниевой долины, занимаясь разработкой продуктов и услуг, которыми ежедневно пользуются миллиарды людей.

Мы ищем опытного Lead Software Data Engineer для пополнения нашей команды

Навыки

• 5+ лет практического опыта работы с Big Data: Hadoop (HDFS, YARN или Mesos), Spark
• Знание и практический опыт применения SQL в контексте работы с Big Data: Spark SQL, Hive QL
• Знание Spark
• Оптимизация планов выполнения Spark с помощью Spark UI
• Хорошее знание Scala, включая функциональные библиотеки Scala (Cats)
• Знание основ пакетной обработки и принципов ETL в хранилищах данных
• Опыт с оркестрацией данных и знание условий полноты данных
• Опыт с дата клинзингом (обработка поврежденных, некорректных и дублированных данных)
• Знание миграции схем и эволюции наборов данных
• Владение устным и письменным английским языком не ниже уровня B2
• Умение быстро учиться и изучать новый набор инструментов и технологий, используемых на проекте: сервисные платформы, поставщики телеметрии, Spark-as-a-Service, система сбора и многое другое

Обязанности

• Разработка дата пайплайнов, задач для создания новых выходных датасетов в рамках разработки нового функционала
• Адаптация существующих дата пайплайнов для интеграции с различными платформами, инструментами и сервисами
• Правка ошибок в коде и данных, сгенерированных из-за неправильной логики или реализации
• Быстрый анализ и исследование данных для помощи продакт менеджмент команде
• Осуществление мониторинга и устранение производственных проблем с имеющимися дата пайплайнами
• Разработка и внедрение качественных проверок данных (контроль качества)
• Планирование объема новых разработок: оценка необходимых ресурсов, планирование временных рамок выполнения задач
• Поддержка четкости процессов обработки тикетов
• Улучшать задачи, приложения и управляемую систему во всех аспектах: качество кода, сложность, обслуживание, документация
• Коммуниковать с другими инженерами по обработке данных в команде, коллегами и руководителями проектов по статусу, проблемам, оценкам, временным рамкам и т.п.

Будет преимуществом

• Понимание идей и принципов функционального программирования
• Опыт написания и использования веб-сервисов
• Опыт работы с Teradata, Vertica, Oracle или Tableau
• Опыт работы со Spark Streaming и Kafka
• Опыт работы или знание следующих технологий: Apache Iceberg, Trino (Presto), Druid, Cassandra, Blob-хранилища, например AWS
• Опыт работы со Splunk
• Знание или опыт работы с Azkaban или Airflow

С нами ты можешь

• Работать по гибкому графику удаленно или в любом из наших комфортных офисов или коворкингов в Украине.
• Получить необходимое оборудование для выполнения рабочих задач
• Изменение проектов и стек технологий внутри EPAM
• Получать опыт в различных бизнес-доменах (Insurance, E-commerce, Healthcare, Finance, Travelling, Media, Artificial Intelligence и другие)
• Рассмотреть варианты для релокации более чем в 30 странах мира
• Приобщаться к волонтерским, благотворительным программам и сообществам (как по техническим направлениям, так и по интересам)

Мы поможем тебе в профессиональном развитии

• Спланируй свой индивидуальный карьерный путь вместе с менеджером
• Получай регулярную обратную связь от коллег
• Бесплатно совершенствуй английский с сертифицированными преподавателями (Speaking Clubs, курсы по подготовке к клиентским интервью и т.д.)
• Получи возможность бесплатно пройти обучение и сертификацию с AWS, GCP или Azure Clouds
• Используй внутреннюю обучающую программу E-learn (18,200+ специализированных тренингов и менторинг-программ)
• Получи доступ к корпоративным аккаунтам на LinkedIn Learning, Get Abstract и других партнерских ресурсов
• Учитесь в Solution Architecture School с практикующими архитекторами в роли преподавателей
• Развивайся как лидер, присоединяйся к Delivery Management, Resource Management, Leadership Essentials school и другим
• Принимай участие в внутренних сообществах (500+ встреч, технических обсуждений, сессий мозгового штурма, онлайн-мероприятий и конференций ежегодно)

Что мы предлагаем

• Отпуск и больничные дни (в том числе без медицинской справки)
• Широкую линейку страховых программ Добровольного Медицинского Страхования (ДМС) с обеспечением как медицинского лечения, так и различных профилактических опций (включая спортивные активности)
• Оформление медицинского страхования для членов семьи по корпоративным тарифам
• Поддержку от компании во время знаковых жизненных событий (рождение или усыновление ребенка, брак и т.д.)
• Поддержку психологического комфорта: скидки на услуги специалистов по ментальному здоровью или коучам, тематические тренинги
• E-kids - бесплатная программа обучения для детей EPAM-эров языкам программирования
• Приятные корпоративные подарки

О EPAM

• ЕРАМ стремится предоставлять своей глобальной команде из более чем 61,600+ профессионалов в более чем 45 странах возможности для профессионального роста с первого дня сотрудничества. Наши коллеги – источник успеха ЕРАМ, поэтому мы ценим сотрудничество, стараемся всегда понимать бизнес наших клиентов и стремимся к самым высоким стандартам качества. Независимо от места, где вы находитесь, вы присоединитесь к преданному, разнообразному сообществу, которое поможет вам реализовать свой потенциал как можно полнее