Інженер програмного забезпечення Big Data [старший/ведучий] в EPAM Systems

Наш клієнт — швейцарська міжнародна компанія у сфері сільськогосподарської науки та технологій, постачальник насіння та добрив разом із своїми технологіями. Вони шукають старшого інженера з програмного забезпечення даних, який доєднається до команди з впровадження системи Big Data на основі Cloudera в AWS.Співробітник працюватиме з безсерверним дата лейком на базі AWS, який завантажує дані з численних баз, зберігає їх в AWS S3, обробляє їх за допомогою AWS Glue, щоб забезпечити SQL-подібний доступ (Athena, Snowflake), а потім агрегує/обчислює дані за допомогою AWS EMR для низхідних аплікацій через AWS AppSync API.Чим ви будете займатися у цій роліПроєктування та впровадження рішень на базі Big Data для збору, зберігання та обробки великих обсягів даних у хмаріВикористання AWS S3 для зберігання даних, AWS Glue для організації даних і доступу до них, а також інтеграція з іншими хмарними сервісамиРозробка та оптимізація програмного забезпечення на Apache Spark та PySpark для обробки данихСтворення та оптимізація безсерверних рішень з використанням AWS LambdaНалаштування та управління оркестрацією робочих процесів за допомогою Apache AirflowСпівпраця з іншими командами для забезпечення інтеграції систем та автоматизації процесів збору та обробки данихСтворення та налаштування API для доступу до оброблених даних через AWS AppSyncРозробка високопродуктивних рішень для обробки великих даних з використанням найкращих практик у галузіПідтримка, тестування та моніторинг надійності та ефективності даних у системах Big DataВиконання налаштувань безпеки та захисту даних на всіх етапах обробки та зберіганняАналіз та оптимізація витрат на ресурси AWS для підвищення ефективностіДокументування технічних рішень і процесів для командиНавичкиКомерційний досвід роботи з Big Data не менше 4 роківЗнання та досвід роботи з AWS, зокрема S3, Glue, EMR, Lambda, Athena та AppSyncДосвід роботи з Apache Spark та PySpark для обробки великих обсягів данихДосвід роботи з Apache Airflow для автоматизації робочих процесівСильні навички програмування на Python для обробки даних і побудови рішеньРозуміння принципів проектування та оптимізації масштабованих та надійних рішень для Big DataВміння працювати з SQL-подібними системами, такими як Athena або SnowflakeВолодіння англійською мовою на рівні B2+Вміння вирішувати складні проблеми та оптимізувати існуючі процесиРозуміння безпеки даних, включаючи принципи шифрування, контролю доступу та захисту персональних данихЗнання принципів роботи безсерверних архітектур і досвід їх впровадженняНавички з тестування і підтримки високонавантажених системБуде перевагоюДосвід роботи з Cloudera або іншими Big Data платформамиЗнання принципів Data Lake та їх реалізації у хмарних середовищахДосвід оптимізації витрат у хмарних рішеннях AWSДосвід з іншими інструментами обробки даних, такими як Kafka, Presto, або інших рішень для реального часуДосвід роботи з системами типу Snowflake для аналітики та обробки данихЩо ми пропонуємоВідпустку та лікарняні дні (в тому числі без медичної довідки)Широку лінійку страхових програм Добровільного Медичного Страхування (ДМС) із забезпеченням як медичного лікувавання, так і різних профілактичних опцій (включно із спортивними активностями)Оформлення медичного страхування для членів родини за корпоративними тарифамиПідтримку від компанії під час знакових життєвих подій (народження або всиновлення дитини, шлюб та інше)Підтримку психологічного комфорту: знижки на послуги спеціалістів з ментального здоров'я або коучів, тематичні тренінгиE-kids - безкоштовну програму навчання для дітей EPAM-ерів мовам програмуванняПриємні корпоративні подарункиЕРАМ прагне надавати своїй глобальній команді з понад 60,000+ професіоналів у більш ніж 45 країнах можливості для професійного зростання з першого дня співпраці. Наші колеги – джерело успіху ЕРАМ, тож ми цінуємо співпрацю, намагаємось завжди розуміти бізнес наших клієнтів та прагнемо до найвищих стандартів якості. Незалежно від місця, де ви знаходитесь, ви долучитесь до відданої, розмаїтої спільноти, яка допоможе вам реалізувати свій потенціал якомога повніше. Show more Show less Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології, Інженерія і Розвиток бізнесу Галузі Розробка програмного забезпечення і ІТ-послуги та ІТ Консалтинг