Inżynier danych (zdalnie) w PulsePoint

Trochę o nas: PulsePoint to wiodąca firma technologiczna, która wykorzystuje dane ze świata rzeczywistego w czasie rzeczywistym, aby zoptymalizować skuteczność kampanii i zrewolucjonizować proces podejmowania decyzji zdrowotnych. Wykorzystując zastrzeżone zbiory danych i metodologię, PulsePoint jest skierowany do pracowników służby zdrowia i pacjentów z niespotykanym dotąd poziomem dokładności, dostarczając niezrównane wyniki klientom, których obsługujemy. Firma jest obecnie częścią Internet Brands, spółki portfelowej KKR i właściciela WebMD Health Corp. Inżynier danych Zespół inżynierii danych PulsePoint odgrywa kluczową rolę w naszej firmie technologicznej, która doświadcza wykładniczego wzrostu. Nasz potok danych przetwarza ponad 80 miliardów wyświetleń dziennie (> 20 TB danych, 220 TB bez kompresji). Dane te służą do generowania raportów, aktualizacji budżetów i obsługi naszych silników optymalizacyjnych. Robimy to wszystko, przestrzegając niezwykle napiętych umów SLA i dostarczając statystyki i raporty w czasie możliwie najbardziej zbliżonym do rzeczywistego. Najbardziej ekscytującą częścią pracy w PulsePoint jest ogromny potencjał rozwoju osobistego i zawodowego. Zawsze poszukujemy nowych i lepszych narzędzi, które pomogą nam sprostać wyzwaniom, takim jak wdrażanie sprawdzonych technologii open source, aby nasza infrastruktura danych była bardziej zwinna, skalowalna i solidna. Niektóre z najnowocześniejszych technologii, które niedawno wdrożyliśmy, to Kafka, Spark Streaming, Presto, Airflow i Kubernetes. Czym będziesz się zajmował: Projektowanie, budowanie i utrzymywanie niezawodnych i skalowalnych rozproszonych systemów przetwarzania danych transakcyjnych na poziomie przedsiębiorstwa w celu skalowania istniejący biznes i wspieranie nowych inicjatyw biznesowychOptymalizuj zadania, aby w najbardziej efektywny sposób wykorzystać zasoby Kafka, Hadoop, Presto, Spark i KubernetesMonitoruj i zapewniaj przejrzystość jakości danych w różnych systemach (dokładność, spójność, kompletność itp.)Zwiększ dostępność i efektywność danych (współpraca z analitykami, analitykami danych i programistami w celu tworzenia/wdrażania narzędzi i zbiorów danych pasujących do ich przypadków użycia) Współpraca w małym zespole o zróżnicowanym doświadczeniu technologicznym Zapewnienie mentoringu i wskazówek młodszym członkom zespołu Obowiązki zespołu: Pozyskiwanie, sprawdzanie i przetwarzanie danych wewnętrznych i zewnętrznych dataTworzenie, utrzymywanie i monitorowanie przepływów danych w platformach Spark, Hive, SQL i Presto pod kątem spójności, dokładności i czasu opóźnieńUtrzymywanie i ulepszanie struktury zadań (głównie agregowanie zadań w Spark i Hive)Tworzenie różnych konsumentów danych w Kafce przy użyciu Spark Streaming do agregacji w krótkim czasie ocena/wybór/wdrożenie Kopie zapasowe/przechowywanie/wysoka dostępność/planowanie wydajnościPrzegląd/zatwierdzenie — DDL dla bazy danych, zadań Hive Framework i Spark Streaming, aby upewnić się, że spełniają nasze standardy Technologie, których używamy:Airflow — do planowania zadańDocker — spakowany obraz kontenera ze wszystkimi zależnościamiGraphite/Beacon - do monitorowania przepływów danychHive - warstwa hurtowni danych SQL dla danych w HDFSKafka - rozproszone przechowywanie logów zatwierdzeńKubernetes - rozproszony menedżer zasobów klastraPresto - szybka równoległa hurtownia danych i warstwa federacji danychSpark Streaming - agregacja w czasie bliskim SQL Server - niezawodny OLTP RDBMSGCP BQWymagania: ponad 5 lat danych doświadczenie inżynieryjne. Duże doświadczenie w Spark. Doświadczenie na poziomie premium. Biegła znajomość Pythona, doświadczenie w Scali/Java jest ogromnym atutem.plus (preferowany programista poliglota!) Biegła znajomość LinuksaDoskonała znajomość RDBMS, SQL;Pasja do inżynierii i informatyki wokół danychWiedza i kontakt z rozproszonymi systemami produkcyjnymi, np. Hadoop to ogromny plusWiedza i kontakt z migracją do chmury to plusChęć i zdolność do pracy na Wschodnim Wybrzeżu Godziny otwarcia w USA (9:00-18:00 czasu wschodniego), możesz pracować zdalnieGotowość do udziału w całodobowej rotacji telefonicznej Proces selekcji:1) Ekran początkowy (30 minut)2) Rozmowa z menedżerem ds. rekrutacji (45 minut)3) Wyzwanie techniczne4) Wywiad z zespołem (60 minut) + 3 x 45 minut) + starszy wiceprezes ds. inżynierii (15 minut)5) WebMD starszy dyrektor, DBA (30 minut) WebMD i jej spółki stowarzyszone są pracodawcą zapewniającym równość szans/akcję afirmatywną i nie dyskryminują ze względu na rasę, pochodzenie, kolor skóry, religia, płeć, płeć, wiek, stan cywilny, orientacja seksualna, tożsamość płciowa, pochodzenie narodowe, stan zdrowia, niepełnosprawność, status weterana lub jakakolwiek inna podstawa chroniona przez prawo. Pokaż więcej Pokaż mniej Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов’язки Аналітик w Інженерія Галузі Маркетингові послуги