Dateningenieur (Remote) in PulsePoint

Ein bisschen über uns: PulsePoint ist ein führendes Technologieunternehmen, das reale Daten in Echtzeit nutzt, um die Kampagnenleistung zu optimieren und die Entscheidungsfindung im Gesundheitsbereich zu revolutionieren. Mithilfe proprietärer Datensätze und Methoden richtet sich PulsePoint mit einem beispiellosen Maß an Genauigkeit an medizinisches Fachpersonal und Patienten und liefert den Kunden, die wir betreuen, beispiellose Ergebnisse. Das Unternehmen ist jetzt Teil von Internet Brands, einem KKR-Portfoliounternehmen und Eigentümer von WebMD Health Corp. Das Data EngineerPulsePoint Data Engineering-Team spielt eine Schlüsselrolle in unserem Technologieunternehmen, das ein exponentielles Wachstum erlebt. Unsere Datenpipeline verarbeitet über 80 Milliarden Impressionen pro Tag (> 20 TB Daten, 220 TB unkomprimiert). Diese Daten werden verwendet, um Berichte zu erstellen, Budgets zu aktualisieren und unsere Optimierungs-Engines anzutreiben. Wir tun dies alles unter Einhaltung extrem strenger SLAs und stellen Statistiken und Berichte so nah wie möglich in Echtzeit bereit. Das Spannendste an der Arbeit bei PulsePoint ist das enorme Potenzial für persönliches und berufliches Wachstum. Wir sind stets auf der Suche nach neuen und besseren Tools, die uns bei der Bewältigung von Herausforderungen helfen, beispielsweise durch die Einführung bewährter Open-Source-Technologien, um unsere Dateninfrastruktur flexibler, skalierbarer und robuster zu machen. Zu den Spitzentechnologien, die wir kürzlich implementiert haben, gehören Kafka, Spark Streaming, Presto, Airflow und Kubernetes. Was Sie tun werden: Entwerfen, erstellen und warten Sie zuverlässige und skalierbare verteilte Transaktionsdatenverarbeitungssysteme auf Unternehmensebene zur Skalierung das bestehende Geschäft und die Unterstützung neuer Geschäftsinitiativen. Optimieren Sie Jobs, um Kafka-, Hadoop-, Presto-, Spark- und Kubernetes-Ressourcen auf die effizienteste Weise zu nutzen. Überwachen und sorgen Sie für Transparenz in der Datenqualität über Systeme hinweg (Genauigkeit, Konsistenz, Vollständigkeit usw.). Erhöhen Sie die Zugänglichkeit und Wirksamkeit von Daten (Arbeiten Sie mit Analysten, Datenwissenschaftlern und Entwicklern zusammen, um Tools und Datensätze zu erstellen/bereitzustellen, die zu ihren Anwendungsfällen passen.) Arbeiten Sie in einem kleinen Team mit unterschiedlichem Technologiehintergrund zusammen. Bieten Sie Nachwuchsteammitgliedern Mentoring und Anleitung. Verantwortlichkeiten des Teams: Interne und Dritte aufnehmen, validieren und verarbeiten DatenErstellen, pflegen und überwachen Sie Datenflüsse in Spark, Hive, SQL und Presto auf Konsistenz, Genauigkeit und Verzögerungszeit. Pflegen und verbessern Sie das Framework für Jobs (hauptsächlich aggregierte Jobs in Spark und Hive). Erstellen Sie verschiedene Verbraucher für Daten in Kafka mit Spark Streaming für die zeitnahe Aggregation. Tool Bewertung/Auswahl/ImplementierungBackups/Aufbewahrung/Hochverfügbarkeit/KapazitätsplanungÜberprüfung/Genehmigung – DDL für Datenbank-, Hive-Framework-Jobs und Spark-Streaming, um sicherzustellen, dass sie unseren Standards entsprechen. Von uns verwendete Technologien: Airflow – für Jobplanung. Docker – gepacktes Container-Image mit allen Abhängigkeiten. Graphit/Beacon - zum Überwachen von DatenflüssenHive - SQL-Data-Warehouse-Schicht für Daten in HDFSKafka-verteilter Commit-ProtokollspeicherKubernetes - Verteilter Cluster-RessourcenmanagerPresto - schnelle parallele Data-Warehouse- und DatenföderationsschichtSpark Streaming - Near-Time-AggregationSQL Server - Zuverlässiges OLTP RDBMSGCP BQAnforderungen: 5+ Jahre Daten Ingenieurserfahrung. Starke aktuelle Spark-Erfahrung. On-Prem-Erfahrung. Fließende Python-Kenntnisse, Erfahrung in Scala/Java ist enormPlus (Polyglotter Programmierer bevorzugt!) Kenntnisse in Linux. Starkes Verständnis von RDBMS, SQL; Leidenschaft für Ingenieurwesen und Informatik rund um Daten. Kenntnisse und Erfahrung mit verteilten Produktionssystemen, z. B. Hadoop, sind ein großes Plus. Kenntnisse und Erfahrung mit Cloud-Migration sind ein Plus. Bereit und in der Lage, an der Ostküste zu arbeiten Während der Öffnungszeiten in den USA (9:00–18:00 Uhr EST) können Sie aus der Ferne arbeiten. Bereitschaft zur Teilnahme an einem 24x7-Bereitschaftsrotationsprozess + 3 x 45 Min.) + SVP of Engineering (15 Min.)5) WebMD Sr. Director, DBA (30 Min.)WebMD und seine Tochtergesellschaften setzen sich für Chancengleichheit/Fördermaßnahmen ein und diskriminieren nicht aufgrund von Rasse, Abstammung, Hautfarbe, Religion, Geschlecht, Geschlecht, Alter, Familienstand, sexuelle Orientierung, Geschlechtsidentität, nationale Herkunft, Gesundheitszustand, Behinderung, Veteranenstatus oder jede andere gesetzlich geschützte Grundlage. Mehr anzeigen Weniger anzeigen Посадовий рівень Starrer Wochentag Typ зайнятості Erster Robotertag Weitere Informationen Analysieren in Indonesien Galuzi Marketingmöglichkeiten