Starszy inżynier danych w Cybernetic Controls Ltd

Пряме повідомлення учасника, який розмістив вакансію, з Cybernetic Controls Ltd Aqib Shah Lider rekrutacji @ Cybernetic Controls | Zdalny personel | Talent na żądanie Omówienie W Cybernetic Controls Limited (CCL) dążymy do pozycji światowego lidera w dostarczaniu innowacyjnych rozwiązań cyfrowych, które umożliwiają firmom osiągnięcie pełnego potencjału. Jako firma działająca zdalnie wierzymy w umożliwianie naszym pracownikom pracy w sposób, który najlepiej odpowiada ich indywidualnym potrzebom, promując kulturę elastyczności i zaufania. Od momentu założenia w 2020 roku z sukcesem dostarczamy wysokiej jakości zasoby naszym klientom z sektora FinTech w różnych obszarach biznesowych. Więcej informacji znajdziesz na stronie Cybernetic Controls. Nasz Klient: Jesteśmy wielokrotnie nagradzaną firmą RegTech, której misją jest zmiana jakości raportowania regulacyjnego w branży usług finansowych. Połączyliśmy wiedzę regulacyjną z zaawansowaną technologią, aby opracować nasze wiodące na rynku usługi zapewniania jakości. Nasze usługi charakteryzują się wyjątkową możliwością pełnej oceny jakości danych i są wykorzystywane przez niektóre z największych na świecie banków inwestycyjnych, zarządzających aktywami, fundusze hedgingowe i brokerów, pomagając im obniżyć koszty, poprawić jakość i zwiększyć zaufanie do ich sprawozdawczości regulacyjnej. Podsumowanie stanowiska Nasz klient poszukuje starszego inżyniera danych, który dołączy do naszego szybko rozwijającego się zespołu. Wybrany kandydat dołączy do zespołu testowego, aby pracować nad zadaniami ETL i programistycznymi. To ekscytująca i wymagająca szansa na zbudowanie nowych potoków łączących i przetwarzających duże ilości ustrukturyzowanych danych z różnych źródeł z mocą PySpark na wyciągnięcie ręki. Kluczowe obowiązki: Architektowanie i budowanie potoków przy użyciu rozwiązań chmurowych AWS, które udostępniają dane z solidnością, łatwością konserwacji, wydajnością, skalowalnością, dostępnością i bezpieczeństwem. Twórz kod w Pythonie i/lub Spark (najlepiej PySpark, ale Spark-Scala też warto mieć) kod, który implementuje złożone transformacje danych. Projektuj i utrzymuj bazy danych oraz interfejsy API do przechowywania i przesyłania danych pomiędzy aplikacjami. Monitoruj rurociągi w produkcji (i opracowuj narzędzia, które to ułatwią). Współpracuj z innymi członkami zespołu (burza mózgów, rozwiązywanie problemów i przegląd kodu). Współpraca z innymi zespołami programistycznymi, aby zapewnić integralność potoków danych. Umiejętności, wiedza i doświadczenie: Umiejętności: Doskonałe programowanie w Pythonie i PySpark (w tym ramki danych Pandas/PySpark, połączenia internetowe i bazy danych) Doskonałe zrozumienie procesów ETL w Amazon Web Services (AWS) Apache Spark, AWS Glue, Athena, S3, Step Functions, Lake Formation Najlepsze praktyki w zakresie cyklu życia oprogramowania Rozwój oparty na testach Przetwarzanie bezserwerowe (AWS Lambda, API Gateway, SQS, SNS, EventBridge, S3 itp.) Projektowanie i tworzenie baz danych SQL i NoSQL zarządzaćement (DynamoDB, MySQL) Doskonała umiejętność kodowania SQL (Spark-SQL, Presto SQL, MySQL itp.) Infrastruktura jako kod (CloudFormation) Doświadczenie w tworzeniu skryptów powłoki (najlepiej Linux) Kontrola wersji za pomocą Git/Github Zasady, procesy i narzędzia AgileDoskonała pisemna i umiejętności komunikacji werbalnej. Doświadczenie: Projektowanie, wdrażanie i zarządzanie złożonymi potokami danych produkcyjnych, które wchodzą w interakcję z wieloma źródłami danych (systemy plików, internet, baza danych, użytkownicy) Duże doświadczenie z Amazon Web Services (AWS) 5 lat pracy w dziedzinie inżynierii danych Co najmniej 2 lata doświadczenie z narzędziami danych PySpark i AWS (w szczególności Glue) Wiedza: Modelowanie danych, architektura potoku danych, implementacja Big Data. Najlepsze praktyki w zakresie cyklu życia oprogramowania. Znajomość finansów będzie atutem. Kwalifikacje/szkolenia: stopień licencjata lub jego odpowiednik w dziedzinie informatyki lub przedmiotu pokrewnego. Pokaż więcej Pokaż mniej Тип зайнятості Повний робочий день