Główny inżynier danych (Rumunia / Ukraina) w AmorServ

Rola: Główny inżynier danych Lokalizacja: Rumunia, Ukraina (zdalnie) Lata doświadczenia: 5-7 lat Zapłata: 84 000–90 000 USD Wymagana umiejętność: Python, SQL, Databricks, Snowflake, ETL, AWS, GCP, Airbyte, Postgres, Kafka, Sisense, CircleCI , Grafana, Kubernetes (EKS)Wymagany język: Angielski C1 Poziom Opis stanowiskaTa rola kładzie nacisk na tworzenie solidnych, skalowalnych i bezpiecznych systemów jezior danych, pozyskiwania i dystrybucji. Jako kluczowy lider będziesz pracować na stosie danych i współpracować z zespołami wielofunkcyjnymi, ustanawiając wysokie standardy w zakresie zarządzania danymi, jakości i bezpieczeństwa. Kluczowe obowiązki Data Lake i Pipelines: Projektowanie i wdrażanie funkcji do pozyskiwania, wzbogacania i transformacji, zapewnianie dostępności, niezawodności i skalowalności. Projektowanie systemu i dostosowywanie projektów: projektowanie systemów napędowych, tworzenie zgodności i wykonalności projektów w różnych zespołach. Pełny stos danych: praca w procesach ETL, hurtownia danych, wizualizacja i infrastruktura chmurowa. Zarządzanie danymi i zarządzanie: definiowanie i wdrażanie najlepszych praktyk w celu zapewnienia jakości, bezpieczeństwa i spójności danych. Optymalizacja: tworzenie i optymalizacja zadań, notatników i potoków Spark w Databricks. Współpraca i mentoring: partner z głównym architektem , inżynierów mentorów i wspiera kulturę DataOps. Komunikacja z interesariuszami: Przekazywanie strategii i planów dotyczących danych interesariuszom w całej organizacji. Wymagane umiejętności i doświadczenie Inżynieria danych: ponad 5 lat w projektowaniu i wdrażaniu potoków danych przy użyciu Databricks i Python (lub PySpark).SQL i wizualizacja: Biegłość w SQL i narzędziach do wizualizacji, takich jak Sisense lub Power BI. Platformy chmurowe: Doświadczenie z AWS lub GCP, ze szczególnym naciskiem na inżynierię danych natywną w chmurze.ETL i Data Governance: Doświadczenie w Procesy ETL i zasady zarządzania danymi w celu utrzymania jakości i spójności. Must-Have: Python, SQL, Databricks, procesy ETL AWS lub GCP Narzędzia wizualizacyjne (Sisense lub podobne) Airbyte lub porównywalne narzędzia ETLTerraform do szablonowania środowisk, narzędzia CI/CD (CircleCI, GitHub ActionsMiło mieć:Kedro, Kafka i projektowanie siatki danychPostgres, Terraform, CircleCI, GrafanaZnajomość mikrousług i modelowania danychDodatkowe umiejętnościTechniczne: Projektowanie wielkoskalowych systemów danych , baz danych SQL/NoSQL oraz znajomość usług przesyłania strumieniowego, takich jak Kafka.Soft Umiejętności: Mocne umiejętności kontaktu z klientem, planowania strategicznego i zarządzania interesariuszami. Nasz stos technologiczny Python, SQL, Databricks, Snowflake, Airbyte, Postgres, Kafka, Sisense, CircleCI, Grafana, Kubernetes (EKS) (znajomość przestarzałych systemów, takich jak Druid lub Datadog będzie dodatkowym atutem ) Pokaż więcej Pokaż mniej Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технологіїPrzemysły Usługi informatyczne i doradztwo informatyczne