Инженер данных в Lyft

Наша миссия в Lyft — улучшать жизнь людей с помощью лучшего в мире транспорта. Для этого мы начинаем с собственного сообщества, создавая открытую, инклюзивную и разнообразную организацию. В Lyft данные — единственный способ принятия решений. Это основа нашего бизнеса, которая помогает нам создавать транспортные услуги для наших клиентов и дает представление об эффективности запуска и функций наших продуктов. Будучи инженером по обработке данных в Lyft, вы будете частью команды на ранней стадии, которая создает системы транспортировки, сбора и хранения данных, а также предоставляет услуги, которые делают данные первоклассными в Lyft. Мы ищем Data Engineer для создания масштабируемой платформы данных. Вы будете активно предлагать новые идеи, оценивать различные подходы и выбирать лучший на основе фундаментальных качеств и подтверждающих данных. Обсуждайте высокотехнологичные проблемы, работая вместе с нашей межфункциональной командой. Вы будете владеть нашим основным конвейером данных, который обеспечивает основные показатели Lyft; Вы также будете использовать свой опыт работы с данными, чтобы помочь в развитии моделей данных в нескольких компонентах стека данных; Вы поможете спроектировать, построить и запустить масштабируемые конвейеры данных для удовлетворения растущих потребностей Lyft в обработке и аналитике данных. Ваши усилия позволят получить доступ к информации о бизнесе и поведении пользователей, используя огромные объемы данных Lyft для поддержки различных команд, таких как аналитика, обработка данных, инженерия и многие другие. Обязанности: Владеть основным конвейером данных компании, отвечать за масштабирование. поток обработки данных для удовлетворения быстрого роста данных в Lyft. Развивайте модель и схему данных на основе бизнес- и инженерных потребностей. Внедряйте и внедряйте системы отслеживания качества и согласованности данных. Предлагайте и разрабатывайте инструменты, поддерживающие управление конвейером данных самообслуживания (ETL). SQL и Map. Сократите настройку заданий для улучшения. Производительность обработки данных Разработайте техническую дорожную карту команды DE и согласуйте ее с командой и заинтересованными сторонами. Создавайте хорошо продуманный, хорошо протестированный, читаемый и поддерживаемый код с учетом затрат на инфраструктуру данных и масштабируемости. Участвуйте в проверках кода, чтобы гарантировать качество кода и распространять знания. ротация звонков для обеспечения высокой доступности и надежности рабочих процессов и данных. Разблокировка, поддержка и общение с внутренними и внешними партнерами для достижения результатов. Опыт: более 5 лет соответствующего профессионального опыта. Большой опыт работы с Spark. Опыт работы с экосистемой Hadoop (или аналогичной), S3, DynamoDB, MapReduce, Yarn. , HDFS, Hive, Spark, Presto, Pig, HBase, Parquet. Хорошие навыки владения языком сценариев (Python, Bash и т. д.). Опыт управления созданием сложных моделей данных и конвейеров. Знание хотя бы одного из языков SQL (MySQL, PostgreSQL и т. д.). Более 4 лет опыта работы с инструментами управления рабочими процессами (Airflow или аналогичными).Опыт непосредственной работы с кросс-функциональными аналитиками данных, специалистами по обработке данных и инженерными командами для достижения бизнес-целей Lyft с инженерией данных. Предпочтительный опыт создания и поддержки таблиц данных, связанных с обслуживанием клиентов, как Data Engineer для крупных организаций. Преимущества: Профессиональная и стабильная рабочая среда. Новейшие технологии и необходимое оборудование. Занятия английским языком с носителями языка.Вполне трудом работают, включая из страны (dependent on work authorizations). Biological, adoptive and foster parents are all eligible.Mental health benefits.Family building benefits.This role is fully remote in Ukraine, candidates for this role must be based in Ukraine. Show more Show less Должностный уровень Старший средний уровень Тип занятости Полный рабочий день Должностные обязанности Информационные технологии Отрасли Наземные пассажирские перевозки