Ведущий инженер данных (Румыния/Украина) в AmorServ

Роль: Ведущий инженер по даннымМестоположение: Румыния, Украина (удалённо)Год опыта: 5–7 летЗарплата: $84 000–90 000 PAТребуемые навыки: Python, SQL, Databricks, Snowflake, ETL, AWS, GCP, Airbyte, Postgres, Kafka, Sisense, CircleCI , Grafana, Kubernetes (EKS)Требуемый язык: английский C1 УровеньОписание должности. Эта роль направлена ​​на создание надежных, масштабируемых и безопасных систем озера, приема и распространения данных. В качестве ключевого руководителя вы будете работать со стеком данных и сотрудничать с межфункциональными командами, устанавливая высокие стандарты в управлении данными, их качестве и безопасности. Ключевые обязанности: Озеро и конвейеры данных: проектирование и внедрение функций для приема, обогащения и преобразования обеспечение доступности, надежности и масштабируемости. Проектирование системы и согласование проектов: управление проектированием системы, создание согласованности и осуществимость проектов между командами. Полный стек данных: работа с процессами ETL, хранилищем данных, визуализацией и облачная инфраструктура. Управление данными и управление: определение и внедрение лучших практик для обеспечения качества, безопасности и согласованности данных. Оптимизация: разработка и оптимизация заданий Spark, блокнотов и конвейеров в Databricks. Сотрудничество и наставничество: партнерство с главным архитектором, наставничество инженеров. и поддерживать культуру DataOps. Коммуникация с заинтересованными сторонами: сообщать стратегии и планы данных заинтересованным сторонам во всей организации. Требуемые навыки и опытИнжиниринг данных: более 5 лет в проектировании конвейеров данных и реализация с использованием Databricks и Python (или PySpark).SQL и визуализация: знание SQL и инструментов визуализации, таких как Sisense или Power BI.Облачные платформы: опыт работы с AWS или GCP с упором на облачную инженерию данных.ETL и управление данными: экспертные знания в процессах ETL и принципах управления данными для поддержания качества и согласованности. Необходимо иметь: Python, SQL, Databricks, процессы ETL, инструменты AWS или GCVisualization. (Sisense или аналогичные)Airbyte или аналогичные инструменты ETLTerraform для создания шаблонов среды, инструменты CI/CD (CircleCI, GitHub ActionsНеплохо иметь: Kedro, Kafka и дизайн сетки данныхPostgres, Terraform, CircleCI, GrafanaЗнание микросервисов и моделирования данныхДополнительные навыкиТехнические навыки: проектирование крупных масштабируемые системы данных, базы данных SQL/NoSQL и знание потоковых сервисов, таких как Kafka.Soft Skills: сильные навыки работы с клиентами, стратегическое планирование и управление заинтересованными сторонами. Наш Tech StackPython, SQL, Databricks, Snowflake, Airbyte, Postgres, Kafka, Sisense, CircleCI, Grafana, Kubernetes (EKS) (знание устаревших систем, таких как Друид или Датадог будет плюсом) Показать больше Показать меньше Посадовый ровень Старший середний рівень Тип занятости Повний рабочий день Посадовые обвязки Информационные технологииОтрасли ИТ-услуги и ИТ Консалтинг