Інженер даних в Lyft

Наша місія Lyft — покращити життя людей за допомогою найкращого транспорту у світі. Для цього ми починаємо з нашої власної спільноти, створюючи відкриту, інклюзивну та різноманітну організацію. Тут, у Lyft, Data — це єдиний спосіб приймати рішення. Це суть нашого бізнесу, яка допомагає нам створювати досвід транспортування для наших клієнтів і забезпечує уявлення про ефективність запуску наших продуктів і функцій. Як інженер даних у Lyft, ви станете частиною команди на ранніх стадіях, яка будує транспортування, збір і зберігання даних, а також надає послуги, які роблять дані першокласним громадянином у Lyft. Ми шукаємо Data Engineer для створення масштабованої платформи даних. Ви будете проактивно пропонувати нові ідеї, оцінювати численні підходи та вибирати найкращий на основі основних якостей і підтверджуючих даних. Повідомляйте про надзвичайно технічні проблеми, працюючи разом із нашою міжфункціональною командою. Ви матимете право власності на наш основний конвеєр даних, який забезпечує основні показники Lyft; Ви також будете використовувати знання даних, щоб допомогти розвивати моделі даних у кількох компонентах стеку даних; Ви допоможете розробити, побудувати та запустити масштабовані конвеєри даних для підтримки зростаючих потреб Lyft у обробці даних і аналітиці. Ваші зусилля дозволять отримати доступ до інформації про бізнес і поведінку користувачів, використовуючи величезні обсяги даних Lyft для підтримки різних команд, таких як Analytics, Data Science, Engineering та багато інших. потік обробки даних для задоволення швидкого зростання даних у моделі даних і схемі даних LyftEvolve на основі бізнес-потреб і інженерних потреб. Впроваджувати та адаптувати системи відстеження якості та узгодженості даних. Пропонувати та розробляти інструменти, що підтримують керування конвеєром даних із самообслуговуванням (ETL), налаштування завдань SQL і MapReduce для покращення. Ефективність обробки даних Створюйте технологічну дорожню карту команди DE та узгоджуйте її з командою та зацікавленими сторонами Створюйте добре продуманий, добре перевірений, читабельний код, який можна підтримувати, враховуючи вартість інфраструктури даних і масштабованість Брати участь у перевірці коду, щоб забезпечити якість коду та поширювати знання Брати участь у ротація дзвінків для забезпечення високої доступності та надійності робочих процесів і даних. Розблокування, підтримка та спілкування з внутрішніми та зовнішніми партнерами для досягнення результатів. Досвід: 5+ років відповідного професійного досвіду. Значний досвід роботи з SparkExperience з Hadoop (або подібною) екосистемою, S3, DynamoDB, MapReduce, Yarn , HDFS, Hive, Spark, Presto, Pig, HBase, Parquet Сильні навички мови сценаріїв (Python, Bash тощо) Досвід створення складних моделей даних і конвеєрів Володіння принаймні однією з мов SQL (MySQL, PostgreSQL тощо) Понад 4 роки досвіду роботи з інструментами керування робочим процесом (Airflow або подібні) Досвід безпосередньої роботи з міжфункціональними аналітиками даних, спеціалістами з обробки даних та командами інженерів для поєднання бізнес-цілей Lyft із розробкою даних Бажаний досвід створення та підтримки таблиць даних, пов’язаних із обслуговуванням клієнтів, як інженер даних для великих організацій. Переваги: ​​професійне та стабільне робоче середовище. Найновіші технології та обладнання, які вам потрібні. Заняття з англійської з носіями мови. Potential to work remotely, including out of country (dependent on work authorizations).28 calendar days for vacation and up to 5 paid days off.18 weeks of paid parental leave. Biological, adoptive and foster parents are all eligible.Mental health benefits.Family building benefits.This role is fully remote in Ukraine, candidates for this role must be based in Ukraine. Show more Show less Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології Галузі Наземні пасажирські перевезення