Senior Data Engineer в AgileEngine

Cardlytics делает маркетинг более актуальным и измеримым с помощью своей платформы Purchase Intelligence ™. Сотрудничая с финансовыми учреждениями (ФИ) для реализации своих программ банковских вознаграждений, Cardlytics имеет надежное представление о том, где и когда потребители тратят свои деньги. Применяя расширенную аналитику к этому массивному агрегированию данных о покупках, Cardlytics делает его действенным, помогая маркетологам / рекламодателям выявлять, охватывать и влиять на потенциальных покупателей в масштабе, а также измерять истинное влияние их маркетинговых расходов на продажи.

От имени Cardlytics AgileEngine ищет опытного старшего инженера по данным Scala, занимающегося серверной частью и разработкой данных, который присоединился бы к нашей команде на постоянной основе. Вы будете нести основную ответственность за разработку и кодирование новых функций и приложений, улучшение существующих продуктов и внедрение новых технологий, парадигм и практик для предоставления наилучших решений нашим клиентам. Это включает в себя техническое проектирование и разработку текущих и будущих систем Cardlytics в рамках команды других инженеров по обработке данных, а также других инженерных и бизнес-групп. Старший инженер по обработке данных также будет отвечать за внедрение организационных и отраслевых стандартов и передовых практик для обеспечения совместимости, надежности, отказоустойчивости, масштабируемости, производительности и ремонтопригодности.

Что требуется?

• Более 4 лет опыта в инженерии данных с использованием Scala, Apache Spark
• Практический опыт работы с Apache Spark (пакетная и потоковая передача)
• Имеет опыт создания высокопроизводительных, масштабируемых, наблюдаемых, надежных и расширяемых конвейеров данных, которые обрабатывают большие объемы данных как в пакетах, так и в потоках.
• Практический опыт проектирования и использования систем Data Lakes и MPP DW (Snowflake, Yellowbrik, Vertica)
• Использование журналов, инструментов и других данных для методического выявления проблем (производительности, окружающей среды и т. Д.)
• Получение и передача данных через API
• Хорошо разбирается в различных технологиях Spark, Kafka, RDBS и других технологиях больших данных.
• Целеустремленный и самоуправляемый, с сильными организаторскими способностями
• Навыки командного лидерства и опыт настройки процесса на проекте
• Отличный английский и коммуникативные навыки

Что ты будешь делать:

• Разрабатывать новые приложения и функции в рамках scrum-команды, предоставляющей данные и сервисы данных для предприятия, других инженерных групп, специалистов по обработке и анализу данных, аналитиков, продуктов, менеджеров / руководителей и других бизнес-команд.
• Создавайте высокопроизводительные и масштабируемые платформы данных для поддержки нескольких конвейеров данных для максимально быстрого и надежного приема и доставки данных.
• Внедрять новые технологии и практики, чтобы предоставлять нашим клиентам лучшие решения.
• Разрабатывать и поддерживать решения в наших средах технического стека (Spark Streaming, Spark, Kafka, Vertica, SQL Server и т. Д.)
• Работайте с бизнес-командами над созданием технических требований и поставкой в срок и в рамках
• Помогите разработать членов команды с помощью анализа кода, обеспечения соблюдения стандартов, передовых практик, политик и процессов.
• Выполнять функциональное тестирование, сквозное тестирование, тестирование производительности и UAT приложений и кода, написанных самим собой и другими членами команды.

Что мы предлагаем:

• Отличный компенсационный пакет, самые высокие зарплаты на рынке
• Гибкий график работы
• Дружелюбный и очень квалифицированный коллектив с отличной корпоративной культурой и наставничеством (посетите нас и убедитесь в этом сами)
• Возможности для самореализации, профессионального и карьерного роста
• Прикольные мероприятия и командные мероприятия
• Профессиональные семинары и обучение, высокая инженерная культура