Інженер з програмного забезпечення для ведення даних в EPAM Systems

Наш клієнт, всесвітньо відома багатонаціональна технологічна компанія, розташована в Каліфорнії та входить у Велику п’ятірку технологічних компаній, розширює партнерство з EPAM.Спеціалізація клієнта:побутова електронікапрограмне забезпеченняонлайн-послугиВи працюватимете з експертами та технологіями світового рівня з самого серця Кремнієвої долини, займаючись розробкою продуктів та послуг, якими щодня користуються мільярди людей.Ми шукаємо досвідченого Lead Software Data Engineer для поповнення нашої командиЧим ви будете займатися у цій роліРозробка дата пайплайнів, задач для створення нових вихідних датасетів в рамках розробки нового функціоналуАдаптація існуючих дата пайплайнів для інтеграції з різноманітними платформами, інструментами та сервісамиПравка помилок в коді та даних, які були згенеровані через неправильну логіку або реалізаціюШвидкий аналіз та дослідження даних для допомоги продакт менеджмент командіЗдійснення моніторингу і усунення виробничих проблем з наявними дата пайплайнамиРозробка та впровадження якісних перевірок даних (контроль якості)Планування обсягу нових розробок: оцінювання необхідних ресурсів, планування часових рамок виконання завданьПідтримка чіткості процесів з обробки тікетівПокращувати завдання, додатки та систему, якою ми керуємо, у всіх аспектах: якість коду, складність, обслуговування, документаціяКомунікувати з іншими інженерами з обробки даних у команді, колегами та керівниками проєктів щодо статусу, проблем, оцінок, часових рамок тощоНавички5+ років практичного досвіду роботи із Big Data: Hadoop (HDFS, YARN або Mesos), SparkЗнання та практичний досвід застосування SQL у контексті роботи із Big Data: Spark SQL, Hive QLЗнання SparkОптимізація планів виконання Spark за допомогою Spark UIХороше знання Scala, включаючи фунціональні бібліотеки Scala (Cats)Знання основ пакетної обробки та принципів ETL у сховищах данихДосвід з оркестрацією даних та знання умов повноти данихДосвід з дата клінзінгом (обробка пошкоджених, некоректних та дубльованих даних)Знання міграції схем та еволюції наборів данихВолодіння усною та письмовою англійською мовою не нижче рівня B2Уміння швидко навчатись та вивчати новий набір інструментів і технологій, що використовуються на проєкті: сервісні платформи, постачальники телеметрії, Spark-as-a-Service, система збору та багато іншогоБуде перевагоюРозуміння ідей і принципів функціонального програмуванняДосвід написання та використання веб-сервісівДосвід роботи з Teradata, Vertica, Oracle або TableauДосвід роботи зі Spark Streaming і KafkaДосвід роботи або знання наступних технологій: Apache Iceberg, Trino (Presto), Druid, Cassandra, Blob-сховища, наприклад AWSДосвід роботи зі SplunkЗнання або досвід роботи з Azkaban або AirflowЩо ми пропонуємоВідпустку та лікарняні дні (в тому числі без медичної довідки)Широку лінійку страхових програм Добровільного Медичного Страхування (ДМС) із забезпеченням як медичного лікувавання, так і різних профілактичних опцій (включно із спортивними активностями)Оформлення медичного страхування для членів родини за корпоративними тарифамиПідтримку від компанії під час знакових життєвих подій (народження або всиновлення дитини, шлюб та інше)Підтримку психологічного комфорту: знижки на послуги спеціалістів з ментального здоров'я або коучів, тематичні тренінгиE-kids - безкоштовну програму навчання для дітей EPAM-ерів мовам програмуванняПриємні корпоративні подарункиЕРАМ прагне надавати своїй глобальній команді з понад 60,000+ професіоналів у більш ніж 45 країнах можливості для професійного зростання з першого дня співпраці. Наші колеги – джерело успіху ЕРАМ, тож ми цінуємо співпрацю, намагаємось завжди розуміти бізнес наших клієнтів та прагнемо до найвищих стандартів якості. Незалежно від місця, де ви знаходитесь, ви долучитесь до відданої, розмаїтої спільноти, яка допоможе вам реалізувати свій потенціал якомога повніше. Show more Show less Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології, Інженерія і Розвиток бізнесу Галузі Розробка програмного забезпечення і ІТ-послуги та ІТ Консалтинг