Senior StreamSets Engineer/ Data Engineer IRC170963 в GlobalLogic

опис:

Ми шукаємо старшого інженера StreamSets/інженера з даних, щоб приєднатися до нашого амбітного проекту, присвяченого одному з клієнтів нашого портфоліо Fin-tech. Ви працюватимете як частина розподіленої міжфункціональної команди Scrum, що базується в Польщі.

Ви працюватимете в групі звітів, а також у експертах із домену, розробниках, інженерах із керування та дослідниках даних. Їх основний обов’язок полягатиме в розробці надійних і інструментальних конвеєрів прийому даних, які передають вхідні дані з багатьох процесів і сховищ операційних даних у всій компанії в локальні та хмарні озера даних. Ці конвеєри вимагатимуть перевірки даних і автоматизації профілювання даних разом із контролем версій і CI/CD, щоб забезпечити постійну відмовостійкість і зручність обслуговування вхідних потоків даних, що підтримують наші передові аналітичні проекти.

Ми — команда ентузіастів, тісно інтегрована з Клієнтом і уповноважена приймати ділові та технічні рішення. Цей проект є частиною довгострокового плану програми.

Не зволікайте – приєднуйтеся до нас і створюйте свій світ!

Вимоги:

• Принаймні 3 роки практичного досвіду проектування, розробки, розгортання та усунення несправностей конвеєрів StreamSets в екосистемах конвеєрів даних
• Чітке робоче розуміння рішень Big Data ETL
• Набір навичок потокового передавання даних/шаблону є обов’язковим
• Програмне забезпечення – StreamSets Data Collector, StreamSets Transformer, StreamSets Control Hub, Kafka, Mongo DB, CDC
• Досвід використання StreamSets Data Collector з акцентом на проектуванні, тестуванні, розгортанні, експлуатації та обслуговуванні конвеєрів, які передають потокові та пакетні дані
• Досвід використання API/журналів Streamsets для створення сповіщень для інформування команди про проблеми, пов’язані з середовищем
• Глибоке розуміння розробки додатків реляційних баз даних
• Глибоке розуміння розробки та розгортання на хмарній платформі в Snowflake або AWS
• Володіння скриптами – мова Python
• Гарний рівень англійської мови (письмової та розмовної). Здатність брати участь у повсякденному спілкуванні та вести розмову з іншими зацікавленими сторонами
• Гнучкі практики

Добре мати:

• Oracle, сценарії Unix, Java, Cloud, NoSQL
• Сучасні методи розробки коду (git, CI: CD, QA та документація)
• PySpark/Spark і Data Wrangling
• Досвід роботи в сфері фінансових/банківських послуг

Посадові обов'язки:

• Керуйте критично важливими конвеєрами даних, які забезпечують аналітику для різних бізнес-підрозділів
• Розробляйте різні конвеєри в наборах Stream відповідно до вимог власника бізнесу
• Розгорніть конвеєри наборів потоків на сервері
• Розробка та створення конвеєрних рішень для інтеграції даних із кількох гетерогенних систем за допомогою збирачів даних наборів потоків
• Інтегруйте багаторічні дані з файлів і баз даних, таких як DB2, SQL Server, Oracle, Teradata, JSON і MySQL
• Інтегруйте дані з кількох тем до бази даних. Керуйте RESTful API та інтегруйте з наборами потоків для переміщення даних
• Інтегруйте дані з Cloudera Big data stack, Hadoop, Hive, Hbase і MongoDB. Build Stream встановлює конвеєр відповідно до змін
• Відповідає за надсилання якісних даних через захищені канали до низхідних систем, використовуючи контроль доступу до бази ролей і набори потоків

Що ми пропонуємо

Захоплюючі проекти: з клієнтами в усіх галузях і секторах ми пропонуємо можливість працювати над продуктами, що визначають ринок, використовуючи новітні технології.

Середовище для співпраці: ви можете розширити свої навички, співпрацюючи з різноманітною командою талановитих людей у відкритому, невимушеному середовищі — або навіть за кордоном в одному з наших глобальних центрів або офісів для клієнтів!

Баланс між роботою та особистим життям: GlobalLogic надає пріоритет балансу між роботою та особистим життям, тому ми пропонуємо гнучкий графік роботи.

Професійний розвиток: ми розвиваємо шляхи, які відповідають вашим індивідуальним талантам, через міжнародний обмін знаннями та можливості професійної сертифікації.

Чудові переваги: ми надаємо нашим співробітникам приватне медичне обслуговування, картки спортивних закладів, групове страхування життя, страхування подорожей, пакет переїздів, субсидії на харчування та культурні заходи.

Розважальні бонуси: ми хочемо, щоб ви почувалися комфортно під час роботи, тому ми створюємо гарне робоче середовище із зонами відпочинку, проводимо соціальні та командоутворювальні заходи та наповнюємо нашу кухню смачними чаями та кавою!

Про GlobalLogic

GlobalLogic є лідером у цифровій інженерії. Ми допомагаємо брендам у всьому світі розробляти та створювати інноваційні продукти, платформи та цифровий досвід для сучасного світу. Завдяки інтеграції дизайну досвіду, комплексного проектування та експертних даних ми допомагаємо нашим клієнтам уявити, що можливо, і пришвидшити їхній перехід до цифрового бізнесу завтрашнього дня. .GlobalLogic зі штаб-квартирою в Силіконовій долині керує дизайнерськими студіями та інженерними центрами по всьому світу, поширюючи наш глибокий досвід на клієнтів у автомобільній промисловості, комунікації, фінансових послугах, охороні здоров’я та науках про життя, виробництві, медіа та розвагах, напівпровідниковій та технологічній галузях.GlobalLogic є компанією Hitachi Group, яка працює під керівництвом Hitachi, Ltd. (TSE: 6501), яка робить внесок у стійке суспільство з вищою якістю життя, просуваючи інновації за допомогою даних і технологій як бізнес соціальних інновацій.