Інженер з інтеграції даних в EPAM Systems

Ми шукаємо досвідченого інженера з інтеграції даних, який би взяв на себе відповідальність за адаптацію нового постачальника даних. Ця роль передбачає створення нових конвеєрів для етапів прийому даних, необроблених, підібраних і консолідованих даних за допомогою Databricks, використовуючи існуючі шаблони як основу. Ідеальний кандидат використовуватиме свій досвід у Databricks і PySpark для покращення обробки та інтеграції даних. Обов’язки Проектування та розробка масштабованих конвеєрів даних для етапів прийому, необроблених, кураторських і консолідованих. Використовуйте Databricks для створення ефективних і надійних потоків даних. Впроваджуйте PySpark для обробки великих наборів даних у конвеєрах. Співпрацюйте. з групами обробки даних для встановлення архітектури конвеєра та найкращого практики Оптимізація конвеєрів даних для досягнення максимальної продуктивності та масштабованості. Забезпечення цілісності та якості даних протягом усього процесу конвеєра. Моніторинг і усунення будь-яких проблем, що виникають у конвеєрах даних. Проводьте регулярні системні тести та оновлення для покращення функціональності. Комплексно документуйте проекти та модифікації конвеєрів. Вимоги. Мінімум 2 роки досвіду роботи в інженерії конвеєрів даних або пов’язана сфера Досвід роботи в Databricks і PySpark. Підготовка до проектування та впровадження складних конвеєрів даних Навички в обробці даних і управлінні робочим процесом Кваліфікація архітектури системи, пов’язаної з керуванням даними Можливість налагоджувати та оптимізувати продуктивність конвеєра Приємно мати Знайомство з веб-сервісами Amazon Знання Apache Airflow Розуміння мов програмування Python і SQLМи пропонуємо роботу за гнучким графіком віддалено або з будь-якого зручного місця офіси чи коворкінги в УкраїніОтримайте необхідне обладнання для виконання ваших робочих завдань Змінюйте проекти та стеки технологій у EPAMG Отримайте досвід у різних сферах бізнесу (страхування, електронна комерція, охорона здоров’я, фінанси, подорожі, медіа, штучний інтелект тощо) Розгляньте варіанти переїзду в понад 30 країнах світу Взяти участь у волонтерстві, благодійні програми та спільноти (як технічні, так і на основі інтересів) Ви можете спланувати свій індивідуальний кар’єрний шлях разом зі своїм менеджер. Регулярно отримуйте відгуки від колег. Безкоштовно вдосконалюйте свою англійську з сертифікованими вчителями (Speaking Clubs, курси підготовки до інтерв’ю з клієнтами тощо) Отримайте можливість пройти безкоштовне навчання та сертифікацію в AWS, GCP або Azure Clouds. Використовуйте внутрішню навчальну програму E-learn. (18 200+ спеціалізованих навчальних і наставницьких програм) Доступ до корпоративних облікових записів на LinkedIn Learning, Get Abstract та інших партнерські ресурси Навчайтеся в школі архітектури рішень EPAM у викладачів-практиків архітекторів. Розвивайтеся як лідер, приєднуйтеся до школи Delivery Management, Resource Management, Leadership Essentials School тощо. Брайте участь у внутрішніх спільнотах (500+ зустрічей, технічних обговорень, мозкових штурмів, онлайн-заходів і конференцій щорічно) Відпустки та лікарняні (в т.ч. лікарняні без медичної довідки) Широкий асортимент Програми добровільного медичного страхування, що передбачають як лікування, так і різноманітні профілактичні заходи (зокрема, спортивні заходи) Медичне страхування для членів сім’ї за корпоративними тарифами Підтримка компанії під час важливих життєвих подій (пологи або оголошенняваріант, шлюб тощо) Підтримка психологічного комфорту: знижки на послуги спеціалістів із психічного здоров’я чи тренерів, тематичні тренінги Програма E-kids – безкоштовна програма навчання мовам програмування для дітей користувачів EPAM. EPAM прагне забезпечити свою глобальну команду з понад 52 800 спеціалістів у понад 55 країн з можливостями для професійного зростання з першого дня співпраці. Наші колеги є джерелом успіху EPAM, тому ми цінуємо співпрацю, прагнемо завжди розуміти бізнес наших клієнтів і прагнемо до найвищих стандартів якості. Незалежно від того, де ви знаходитесь, ви приєднаєтеся до відданої, різноманітної спільноти, яка допоможе вам максимально реалізувати свій потенціал. Показати більше Показувати менше Посадовий рівень Помічник Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології Галузі Розробка програмного забезпечення і ІТ-послуг та ІТ Консалтинг