Інженер даних (віддалений) в PulsePoint

Трохи про нас: PulsePoint є провідною технологічною компанією, яка використовує реальні дані в режимі реального часу для оптимізації ефективності кампанії та революції в прийнятті рішень щодо здоров’я. Використовуючи запатентовані набори даних і методологію, PulsePoint орієнтується на медичних працівників і пацієнтів із безпрецедентним рівнем точності, надаючи неперевершені результати клієнтам, яких ми обслуговуємо. Зараз компанія є частиною Internet Brands, портфельної компанії KKR і власника WebMD Health Corp. Команда інженерів даних PulsePoint відіграє ключову роль у нашій технологічній компанії, яка переживає експоненційне зростання. Наш конвеєр даних обробляє понад 80 мільярдів показів на день (> 20 ТБ даних, 220 ТБ без стиснення). Ці дані використовуються для створення звітів, оновлення бюджетів і керування нашими механізмами оптимізації. Ми робимо все це, дотримуючись надзвичайно жорстких угод про рівень обслуговування, і надаємо статистику та звіти якомога ближче до реального часу. Найбільш захоплюючим у роботі в PulsePoint є величезний потенціал для особистого та професійного зростання. Ми завжди шукаємо нові та кращі інструменти, які допоможуть нам вирішувати такі виклики, як впровадження перевірених технологій з відкритим кодом, щоб зробити нашу інфраструктуру даних більш гнучкою, масштабованою та надійною. Деякі з передових технологій, які ми нещодавно впровадили, це Kafka, Spark Streaming, Presto, Airflow і Kubernetes. Що ви будете робити: проектувати, створювати та підтримувати надійні та масштабовані розподілені системи обробки даних корпоративного рівня для масштабування. існуючий бізнес і підтримка нових бізнес-ініціатив. Оптимізуйте робочі місця для найефективнішого використання ресурсів Kafka, Hadoop, Presto, Spark і Kubernetes. Відстежуйте та забезпечуйте прозорість якості даних у системах (точність, послідовність, повнота тощо) Підвищуйте доступність і ефективність даних. (робота з аналітиками, дослідниками даних і розробниками для створення/розгортання інструментів і наборів даних, які відповідають їхнім сценаріям використання) Співпраця в невеликій команді з різноманітним технологічним досвідом Забезпечення наставництва та керівництва для молодших членів команди Обов’язки команди: Введення, перевірка та обробка внутрішніх і сторонніх розробників даніСтворюйте, обслуговуйте та відстежуйте потоки даних у Spark, Hive, SQL і Presto для забезпечення узгодженості, точності та часу затримки. Підтримуйте та вдосконалюйте структуру для завдань (головним чином об’єднуйте завдання в Spark і Hive) Створюйте різних споживачів даних у Kafka за допомогою Spark Streaming для агрегації у найближчий час оцінка/вибір/впровадженняРезервне копіювання/Зберігання/Висока доступність/Планування потужностей Перевірка/Схвалення - DDL для бази даних, завдань Hive Framework і Spark Streaming, щоб переконатися, що вони відповідають нашим стандартам. Технології, які ми використовуємо: Airflow - для планування завдань Docker - Упаковане зображення контейнера з усіма залежностями Graphite/Beacon - для моніторингу потоків даних Hive - Рівень сховища даних SQL для даних у HDFSKafka - Розподілене зберігання журналу комітів Kubernetes - Менеджер ресурсів розподіленого кластера Presto - Швидке паралельне сховище даних і рівень об'єднання данихSpark Streaming - Агрегація найближчого часу SQL Server - Надійний OLTP RDBMSGCP Вимоги BQ: 5+ років даних інженерний досвід. Нещодавній сильний досвід Spark. Досвід роботи на преміум-класі Вільне володіння Python, досвід Scala/Java є величезнимплюс (Бажано програміст-поліглот!) Досконале розуміння Linux RDBMS, SQL; Пристрасть до інженерії та інформатики навколо даних Знання та знайомство з розподіленими виробничими системами, наприклад Hadoop, є величезним плюсом Знання та досвід міграції в хмару є плюсом Бажання та здатність працювати Східне узбережжя Години роботи в США (з 9:00 до 18:00 за східним стандартним часом), ви можете працювати віддалено. Бажання брати участь у чергуванні 24 години на добу, без вихідних. Процес відбору: 1) Початковий екран (30 хвилин) 2) Співбесіда з менеджером з найму (45 хвилин) 3) Технічне завдання 4) Співбесіда з командою (60 хвилин) + 3 x 45 хв.) + Старший віце-президент з інженерії (15 хв.)5) Старший директор WebMD, DBA (30 хв.) WebMD та його філії є роботодавцем із рівними можливостями/позитивними діями та не дискримінують на основі раси, походження, колір шкіри, релігія, стать, стать, вік, сімейний стан, сексуальна орієнтація, гендерна ідентичність, національне походження, стан здоров’я, інвалідність, статус ветеранів або будь-яка інша ознака, захищена законом. Показати більше Показувати менше Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов’язки Аналітика та Інженерія Галузі Маркетингові послуги