Przedstawiamy pakiet bez prowizji za zatrudnienie!
Publikuj oferty pracy
Zatrudniaj bez prowizji
Następna praca
Inżynier DevOps (hurtownia danych/AWS) w Kasta
6 lutego
4 wyświetlenia
Kasta
Brak doświadczenia
Kijów
Pełny etat
Poszukujemy zespołu Data Platform/Data Infrastructure Engineer odpowiedzialnego za budowę i rozwój nowoczesnej platformy danych. Rola ta obejmuje pracę z infrastrukturą AWS, Data Lake opartą na S3, CDC, streamingiem i Kubernetesem w środowisku produkcyjnym. Będziesz miał bezpośredni wpływ na jakość, niezawodność i skalowalność danych, z którymi współpracuje analityka, produkt i firma.Stos technologii:Konteneryzacja i orkiestracja
Doker, kontener
Kubernetes (AWS EKS).
AWS i infrastruktura danych
Poszukujemy zespołu Data Platform/Data Infrastructure Engineer odpowiedzialnego za budowę i rozwój nowoczesnej platformy danych. Rola ta obejmuje pracę z infrastrukturą AWS, Data Lake opartą na S3, CDC, streamingiem i Kubernetesem w środowisku produkcyjnym.
Będziesz miał bezpośredni wpływ na jakość, niezawodność i skalowalność danych, z którymi współpracuje analityka, produkt i firma.
Stos technologii:
Konteneryzacja i orkiestracja
Będziesz miał bezpośredni wpływ na jakość, niezawodność i skalowalność danych, z którymi współpracuje analityka, produkt i firma.
Stos technologii:
Konteneryzacja i orkiestracja
- Doker, kontener
- Kubernetes (AWS EKS).
- S3 (Data Lake / pamięć masowa DWH)
- EC2, VPC, ASG, ALB
- RDS (PostgreSQL, MySQL)
- Przesunięcie ku czerwieni Amazona
- Amazonka
- Klej AWS.
- Apache Iceberg (tabele oparte na S3)
- Podział, ewolucja schematu, zasady cyklu życia.
- Ropociągi ETL/ELT
- Airbyte (przetwarzanie zbiorcze)
- CDC i pobieranie przyrostowe
- Debezium (CDC z PostgreSQL/MySQL)
- Kafka (AWS MSK)
- S3 jako miejsce docelowe / surowe / wyselekcjonowane.
- Terraforma
- AWS CloudFormation (wsparcie)
- Działania na GitHubie
- ArgoCD, Helm.
- Prometeusz, Grafana
- ELK / Loki
- AWS CloudWatch
- IAM, menedżer sekretów AWS
- AWS GuardDuty, inspektor AWS.
- Budowanie i rozwijanie Data Lake/DWH opartego na S3
- Praca z Atheną, Glue i Redshift
- Wdrożenie i wsparcie Apache Iceberg
- Zapewnienie skalowalności, niezawodności i odporności na awarie platformy danych
- Kontrola jakości danych, ewolucja schematu, partycjonowanie.
- Rozwój i wsparcie rurociągów ETL / ELT
- Integracja źródeł danych poprzez Airbyte
- Praca z CDC i pobieraniem przyrostowym
- Orkiestracja zadań związanych z danymi w Kubernetes.
- Budowanie potoków CDC w oparciu o Debezium
- Obsługa Kafki (AWS MSK)
- Integracja danych strumieniowych z S3 / Iceberg / DWH
- Kontrola opóźnień, ponownych prób i spójności danych.
- Obsługa klastrów Kubernetes (AWS EKS)
- Wdrażanie usług ETL, CDC i przesyłania strumieniowego
- Automatyzacja infrastruktury poprzez Terraform i Helm
- Podejście GitOps do wydań (ArgoCD).
- Tworzenie i utrzymywanie CI/CD dla komponentów danych i infrastruktury
- Automatyzacja wdrożeń, migracji i aktualizacji
- Standaryzacja potoków i szablonów.
- Administracja PostgreSQL i MySQL RDS
- Replikacja, optymalizacja wydajności, zarządzanie użytkownikami
- Przygotowanie bazy danych dla CDC (replikacja logiczna, uprawnienia)
- Kopie zapasowe ti odzyskiwanie (migawki, PITR).
- Monitorowanie procesów ETL/CDC/streamingu
- Tworzenie alertów dla potoków danych
- Analiza incydentów i problemów z wydajnością.
- Optymalizacja wydatków na S3, Athena, Glue, Redshift
- Kontrola rozwoju pamięci masowej i zasady cyklu życia
- Optymalizacja zapytań, układ plików i partycjonowanie
- Korzystanie z instancji Spot i planów oszczędnościowych.
- Ponad 3 lata doświadczenia na stanowiskach DevOps / Data Platform / SRE
- Solidna znajomość AWS
- Doświadczenie w tworzeniu lub utrzymywaniu jeziora danych/hurtowni danych
- Praktyczne doświadczenie z Terraform
- Kubernetes (AWS EKS) w wersji produkcyjnej
- Zrozumienie procesów ETL/ELT
- Doświadczenie z Atheną / Klejem / Redshiftem
- Praktyczne doświadczenie lub głębokie zrozumienie CDC i Debezium
- Zrozumienie Apache Iceberg i nowoczesnych formatów tabel
- Doświadczenie w administracji PostgreSQL i MySQL
- Doświadczenie z Kafką (AWS MSK)
- Doświadczenie w monitorowaniu i logowaniu.
- Dogłębne doświadczenie z Apache Iceberg
- Optymalizacja Atheny (partycjonowanie, rozmiar pliku, koszt)
- Budowanie od końca do końca CDC (DB > Debezium > Kafka > S3 / Iceberg)
- Zrozumienie zarządzania danymi i jakości danych
- Praca z dużymi ilościami danych (TB+)
- Praktyczne doświadczenie w zakresie FinOps w zakresie platform danych.
- Praca z wielkoskalową platformą danych i prawdziwym obciążeniem produkcyjnym
- Wpływ na rozwiązania architektoniczne i rozwój ekosystemu danych
- Udział w transformacji BI i infrastruktury danych
- Silny zespół techniczny i otwarta komunikacja
- Praca służbowa, urlopy i dni chorobowe
- Regularne informacje zwrotne i plan rozwoju zawodowego.
Brak doświadczenia
Kijów
Pełny etat