Data Engineer in MEGOGO

Ищем Senior Data Engineer, которого не пугает работа с сотнями миллионов событий, и ответственность за создание инструментов и процессов обработки данных для поддержки создания моделей машинного обучения и проведение экспериментов, которые будут определять развитие одного из крупнейших ведеосервисов СНГ. Мы идем по пути data driven и у вас есть возможности реализовать свои навыки и умения в нашей команде. **Что мы ждем:** * 5+ лет опыта проектирования, разработки, тестирования, развёртывания и поддержки Data Lake/Data Warehouse решений. * Экспертные знания Python в контексте создания ETL data pipelines. * Экспертные знания PySpark: преобразования, агрегации, оконные функции, написание и оптимизация UDF. * Экспертные знания SQL/NoSQL баз данных: MySQL, PostgreSQL, MongoDB. * Опыт практической эксплуатации Big Data стека: Hadoop, Hive, Kafka, Spark, Cassandra. * Опыт создания комплексных аналитических систем. * Умение находить и быстрые решения для экспериментов и стабильные production-ready в зависимости от обстоятельств. **Будет плюсом:** * Опыт работы с AWS (EC2, EMR, ECS, Kinesis, S3). * Опыт программирования на Java/Scala. * Опыт работы с аналитическими базами данных: Vertica, Exasol, Teradata, Redshift, BigQuery, Druid, Clickhouse. * Навыки разработки в Docker/Kubernetes окружении. * Незабытые университетские знания линейки, матана и статистики. * Опыт создания продуктов с использованием machine learning. * Создание и валидация идей для построения data driven в компании. **Что нужно делать:** * Создание и валидация идей для построения data driven в компании. * Разработка архитектуры и выбор технических решений. * Разработка и поддержка корпоративного DWH. * Разработка ETL data pipelines: загрузка из различных источников, очистка, преобразование, обогащение внешними данными, нормализация/денормализация, сохранение с учётом нюансов и ограничений, покрытие тестами, мониторинг, эксплуатация. **Что мы предлагаем:** * Работу в стабильной компании — мы более восьми лет на медиарынке. * Возможность поучаствовать в создании видеосервиса будущего. * Конкурентный уровень заработной платы. * Крутые корпоративы. Например, всей командой на Atlas Weekend:) * Отношения, построенные на доверии. * Активный отдых: играй в футбол или настольный теннис. У нас есть своя футбольная команда, а наш тренер по пинг-понгу всему научит, он всегда в офисе. Выбирай, что тебе по душе, и участвуй в соревнованиях! Если очень хочется, даже есть возможность исполнить свою детскую мечту, если хотелось стать спортивным комментатором. * Всегда свежие фрукты в офисе и собственный бариста. * Возможности для развития. * Бесплатные уроки английского языка в офисе. * Чувствуешь, что твои навыки соответствуют требованиям? Хочешь стать частью нашей крутой команды? Скорее отправляй свое резюме! Ответив на вакансию и отправив свое резюме в Компанию (ООО «МЕГОГО»), зарегистрированную и действующую в соответствии с законодательством Украины, регистрационный номер 38347009, адрес местонахождения: Украина, г. Киев, ул. Новоконстантиновская, 18 В (далее «Компания»), вы подтверждаете и соглашаетесь с тем, что Компания обрабатывает ваши личные данные, представленные в вашем резюме, в соответствии с Законом Украины «О защите персональных данных» и правилами GDPR.