senior big data engineer в Ohires

Як старший інженер з обробки даних, ви працюватимете з командою над створенням найсучасніших рішень на основі даних і аналітики, працюючи на різних платформах, використовуючи інструменти й технології для локальних, платформних, великих даних. Ви станете частиною команди розробників даних, яка буде відповідати як за AI, так і за ML, розробляючи інтерфейси/конвеєри даних, як правило, пов’язані з великими складними наборами даних.

Що ти будеш робити:

Продумане вирішення проблем: для вас вирішення проблем починається з чіткого й точного розуміння контексту. Ви можете розкласти складні проблеми та працювати над чистим рішенням самостійно або з товаришами по команді. Вам зручно просити допомоги, коли ви застрягли.

Відповідає за створення даних та аналітичних інженерних рішень із стандартним наскрізним дизайном і шаблонами ETL, впровадження конвеєрів даних, моделювання даних, споживання даних і оптимізацію запитів.

Відповідає за забезпечення доступу до даних у таких провайдерах, як рівні зберігання AWS і перетворення в сховищі даних AWS, а також подальше транспортування у відповідних базах даних, споживачах, вітринах даних тощо.

Продемонструйте професійні знання веб-фреймворків, таких як Flask або Django, а також фреймворків інтеграції даних, таких як dbt..

Досвід роботи з великомасштабними виробничими середовищами, включаючи інфраструктури відновлення та стійкості. Визначити подальші наслідки завантаження/міграції даних (наприклад, якість даних, нормативні документи тощо)

Вимоги:

• Необхідний мінімум 4+ роки подібного досвіду роботи з базами даних, сховищами даних, платформами ETL і AWS

• Досвід процесу розгортання локально та onusing, Dockers, Jenkins

• Досвід роботи з технологічними стеками, такими як ELK, Sentry, AirFlow

• Забезпечує результати при роботі з короткостроковими (тижні місяці), орієнтованими на результат обслуговуванням

• Формулює ціннісну пропозицію наявних технологічних можливостей і відображає їх у відповідності з вимогами клієнтів, щоб мінімізувати додаткові витрати на розробку

• Досвід роботи з локальним сховищем даних (Teradata) – вимірювання розмірів і моделювання даних. Досвід роботи в одному з ETL, як-от Informatica

• Вправне володіння мовами запитів і програмування, такими як NodeJS

• Комфортна робота з такими ОС, як Linux і сценарії оболонки

• Досвід роботи в пов’язаних з AWS обчисленнях, сховищах і обробці (S3, Glue, Lambda, Redshift, , Dynamo DB, Athena, Sagemaker)

Про Websmile

Websmile надає комплексні та передові послуги компаніям, які прагнуть підібрати продукт і прагнуть досягти успіху та просування в цифровому світі, встановлюючи при цьому чіткі короткострокові та довгострокові цілі. Ми є експертами в розробці передових систем на основі технологій з відкритим кодом. Ми надаємо комплексні послуги веб-розробки End-to-End відповідно до потреб наших клієнтів.

Наші офіси розташовані в Ізраїлі та Україні