Инженер по большим данным в MGID

Описание вакансииMGID — это глобальная рекламная платформа, помогающая брендам охватить уникальную местную аудиторию в больших масштабах. В MGID мы предоставляем брендам и издателям возможность прозрачно работать вместе с помощью нашей технологии таргетинга, ориентированной на конфиденциальность, что позволяет рекламодателям повышать эффективность и узнаваемость, а издателям — сохранять и монетизировать свою аудиторию. Сегодня мы создаем уникальные технологии и с вашей помощью стремимся еще выше. MGID — это: — Собственный сервис Highload, который доставляет 185 миллиардов рекламных объявлений 850 миллионам уникальных пользователей на более чем 70 языках; — Победитель множества Награды AdTech за инновации и качество продукции; — Более 600 сотрудников, работающих в офисах в США, Европе и Азии; — Страсть к передовым технологиям и целостная вертикальная структура, которая позволяет региональным командам обмениваться навыками и развиваться. практики. Мы ищем инженера по большим данным, который сможет эффективно работать с большими наборами данных и поддерживать нашу команду по науке о данных в разработке, совершенствовании и доставке наших решений и алгоритмов ML и AI. Если вы увлечены созданием масштабируемых решений для обработки данных и не отстаете от работы. -Мы хотим услышать ваше мнение о последних тенденциях и технологиях отрасли! Требования Подтвержденный опыт разработки и оптимизации приложений PySpark. Уверенное знание принципов и концепций распределенных вычислений. Практический опыт работы с большими наборами данных с использованием таких технологий, как Hadoop, Spark, ClickHouse. Знание языков программирования, таких как Python, SQL. Опыт работы с интерфейсом командной строки Linux/Unix. Знание инструментов визуализации данных и дашбордов. Сильные коммуникативные навыки и способность эффективно работать в удаленной командной среде. Отличные навыки решения проблем и внимание к деталям. Будет плюсом: степень бакалавра или магистра в области компьютерных наук или смежной области. Практический опыт работы с ClickHouse. Практический опыт работы с системами потоковой обработки и обмена сообщениями, такими как Kafka. Практический опыт работы с базами данных NoSQL (например MongoDB), особенно Aerospike. Знание предметной области AdTech – понимание интернет-рекламы, RTB. Знакомство с технологиями контейнеризации, такими как Docker и Kubernetes, платформами облачных вычислений. Знание лучших практик управления данными и обеспечения безопасности. Знание концепций и инфраструктур машинного обучения. Обязанности: Сотрудничать с учеными, аналитиками данных и другими заинтересованными сторонами для понимания потребностей в данных и разработки решений. Проектируйте, разрабатывайте и оптимизируйте приложения PySpark для обработки и анализа больших наборов структурированных и неструктурированных данных. Мониторинг и оценка данных для обеспечения точности и целостности, устранения неполадок и отладки кода PySpark. Создавайте и обслуживайте конвейеры данных для приема, обработки и хранения данных, оптимизируя производительность и масштабируемость. Разрабатывайте и обслуживайте информационные панели и отчеты для визуализации данных, позволяющие получать ценную информацию и принимать решения. Создавайте и поддерживайте инструменты и библиотеки для эффективной обработки данных. Будьте в курсе отраслевых тенденций и новых технологий, чтобы постоянно улучшать возможности обработки данных.Show more Show less Должностный уровень Помощник Тип занятости Полный рабочий день Должностные обязанности Информационные технологии Отрасли Профессиональные услуги