Провідний інженер з даних (Румунія / Україна) в AmorServ

Посада: провідний інженер з даних Місцезнаходження: Румунія, Україна (віддалено) Роки досвіду: 5-7 років Оплата: $84 000 - $90 000 PA Необхідні навички: Python, SQL, Databricks, Snowflake, ETL, AWS, GCP, Airbyte, Postgres, Kafka, Sisense, CircleCI , Grafana, Kubernetes (EKS) Потрібна мова: англійська Опис посади рівня C1. Ця роль наголошує на створенні надійних, масштабованих і безпечних систем озер даних, прийому та розподілу. Як ключовий керівник, ви працюватимете над стеком даних і співпрацюватимете з багатофункціональними командами, встановлюючи високі стандарти в управлінні даними, якості та безпеці. Основні обов’язки Озеро та конвеєри даних: розробка та впровадження функцій для прийому, збагачення та трансформації, забезпечення доступності, надійності та масштабованості. Проектування системи та узгодження проекту: керуйте проектуванням системи, створюючи узгодження та техніко-економічне обґрунтування проектів teams.Full Data Stack: робота з процесами ETL, сховищами даних, візуалізацією та хмарною інфраструктурою. Управління даними та управління ними: визначте та впроваджуйте найкращі практики для забезпечення якості, безпеки та узгодженості даних. Оптимізація: розробляйте та оптимізуйте завдання Spark, блокноти, і трубопроводи в Databricks. Співпраця та наставництво: партнерство з головним архітектором, інженерами-наставниками та підтримкою DataOps культура. Комунікація із зацікавленими сторонами: повідомляйте зацікавленим сторонам про стратегії та плани даних у всій організації. Необхідні навички та досвід. Розробка даних: понад 5 років у проектуванні та реалізації конвеєрів даних за допомогою Databricks і Python (або PySpark). SQL та візуалізація: знання SQL та інструментів візуалізації такі як Sisense або Power BI. Хмарні платформи: досвід роботи з AWS або GCP, зосереджуючись на хмарна інженерія даних. ETL та управління даними: досвід у процесах ETL і принципах керування даними для підтримки якості та узгодженості. Обов’язково: Python, SQL, Databricks, процеси ETL AWS або GCP Інструменти візуалізації (Sisense або подібні) Airbyte або аналогічний ETL інструментиTerraform для шаблонів середовища, інструменти CI/CD (CircleCI, GitHub ActionsПриємно Мати: Kedro, Kafka та дизайн сітки даних Postgres, Terraform, CircleCI, Grafana Знання мікросервісів і моделювання даних Додаткові технічні навички: Проектування великомасштабних систем даних, баз даних SQL/NoSQL і знайомство з потоковими службами, такими як Kafka. Навички програмного забезпечення: Сильна клієнтська взаємодія здібностей, стратегічного планування та управління зацікавленими сторонами. Наш технічний StackPython, SQL, Databricks, Snowflake, Airbyte, Postgres, Kafka, Sisense, CircleCI, Grafana, Kubernetes (EKS) (знання застарілих систем, таких як Druid або Datadog, є плюсом) Показати більше Показувати менше Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технологіїГалузі ІТ-послуги та ІТ Консалтинг