Наступна вакансія

Інженер DevOps (Data Warehouse/AWS) в Kasta

6 лютого

2 перегляди

Kasta

Kasta

0
0 відгуків
Без досвіду
Київ
Повний робочий день

Перекладено Google

Ми шукаємо Data Platform/Data Infrastructure Engineer у команду, яка відповідає за побудову та розвиток сучасної data?платформи. Роль передбачає роботу з AWS?інфраструктурою, S3?based Data Lake, CDC, streaming та Kubernetes у production?середовищі. Ти будеш безпосередньо впливати на якість, надійність та масштабованість даних, з якими працюють аналітика, продукт та бізнес.Технологічний стек:Контейнеризація та оркестрація Docker, containerd Kubernetes (AWS EKS). AWS та data?інфраструктура S3 (Dat
Ми шукаємо Data Platform/Data Infrastructure Engineer у команду, яка відповідає за побудову та розвиток сучасної data?платформи. Роль передбачає роботу з AWS?інфраструктурою, S3?based Data Lake, CDC, streaming та Kubernetes у production?середовищі. 
Ти будеш безпосередньо впливати на якість, надійність та масштабованість даних, з якими працюють аналітика, продукт та бізнес.

Технологічний стек:

Контейнеризація та оркестрація
  • Docker, containerd
  • Kubernetes (AWS EKS).
AWS та data?інфраструктура
  • S3 (Data Lake / DWH storage)
  • EC2, VPC, ASG, ALB
  • RDS (PostgreSQL, MySQL)
  • Amazon Redshift
  • Amazon Athena
  • AWS Glue.
Data Lake & Table Formats
  • Apache Iceberg (S3?based tables)
  • Partitioning, schema evolution, lifecycle policies.
Data ingestion, CDC та ETL
  • ETL / ELT пайплайни
  • Airbyte (batch ingestion)
  • CDC та інкрементальні завантаження
  • Debezium (CDC з PostgreSQL / MySQL)
  • Kafka (AWS MSK)
  • S3 як landing / raw / curated storage.
Infrastructure as Code та GitOps
  • Terraform
  • AWS CloudFormation (підтримка)
  • GitHub Actions
  • ArgoCD, Helm.
Моніторинг, логування та безпека
  • Prometheus, Grafana
  • ELK / Loki
  • AWS CloudWatch
  • IAM, AWS Secrets Manager
  • AWS GuardDuty, AWS Inspector.
Задачі та зона відповідальності:
  • Побудова та розвиток S3?based Data Lake / DWH
  • Робота з Athena, Glue та Redshift
  • Впровадження та підтримка Apache Iceberg
  • Забезпечення масштабованості, надійності та відмовостійкості data?платформи
  • Контроль якості даних, schema evolution, partitioning.
ETL / ELT та ingestion
  • Розробка та підтримка ETL / ELT пайплайнів
  • Інтеграція джерел даних через Airbyte
  • Робота з CDC та інкрементальними завантаженнями
  • Оркестрація data?jobs у Kubernetes.
CDC та streaming
  • Побудова CDC?пайплайнів на базі Debezium
  • Підтримка Kafka (AWS MSK)
  • Інтеграція стримінгових даних з S3 / Iceberg / DWH
  • Контроль lag, ретраїв та data consistency.
Інфраструктура та Kubernetes
  • Підтримка Kubernetes?кластерів (AWS EKS)
  • Деплой ETL, CDC та streaming?сервісів
  • Автоматизація інфраструктури через Terraform та Helm
  • GitOps?підхід до релізів (ArgoCD).
CI/CD та автоматизація
  • Побудова та підтримка CI/CD для data та infra компонентів
  • Автоматизація деплоїв, міграцій та оновлень
  • Стандартизація пайплайнів та шаблонів.
Бази даних
  • Адміністрування RDS PostgreSQL та MySQL
  • Реплікація, оптимізація продуктивності, user management
  • Підготовка БД до CDC (logical replication, permissions)
  • Бекапи та відновлення (snapshots, PITR).
Observability та стабільність
  • Моніторинг ETL / CDC / streaming процесів
  • Побудова алертів для data?pipeline’ів
  • Аналіз інцидентів та performance?проблем.
FinOps
  • Оптимізація витрат на S3, Athena, Glue, Redshift
  • Контроль росту storage та lifecycle?політик
  • Оптимізація запитів, file layout та partitioning
  • Використання Spot Instances та Savings Plans.
Твій бекграунд:
  • 3+ роки досвіду у ролях DevOps / Data Platform / SRE
  • Впевнене знання AWS
  • Досвід побудови або підтримки Data Lake / Data Warehouse
  • Практичний досвід з Terraform
  • Kubernetes (AWS EKS) у production
  • Розуміння ETL / ELT процесів
  • Досвід роботи з Athena / Glue / Redshift
  • Практичний досвід або глибоке розуміння CDC та Debezium
  • Розуміння Apache Iceberg або modern table formats
  • Досвід адміністрування PostgreSQL та MySQL
  • Досвід роботи з Kafka (AWS MSK)
  • Досвід з моніторингом та логуванням.
Буде плюсом:
  • Глибокий досвід з Apache Iceberg
  • Оптимізація Athena (partitioning, file size, cost)
  • Побудова end?to?end CDC (DB > Debezium > Kafka > S3 / Iceberg)
  • Розуміння data governance та data quality
  • Робота з великими обсягами даних (TB+)
  • Практичний FinOps?досвід для data?платформ.
Що ми пропонуємо:
  • Роботу з масштабною data?платформою та реальним production?навантаженням
  • Вплив на архітектурні рішення та розвиток data?екосистеми
  • Участь у трансформації BI та data?інфраструктури
  • Сильну технічну команду та відкриту комунікацію
  • Офіційне працевлаштування, відпустки та лікарняні
  • Регулярний фідбек та план професійного розвитку.

Перекладено Google

Без досвіду
Київ
Повний робочий день
Хочете знайти підходящу роботу?
Нові вакансії у вашому Telegram
Підписатись
Ми використовуємо cookies
Прийняти