Старший инженер данных в Cybernetic Controls Ltd

Прямое сообщение участника, который объявил о вакансии, с Cybernetic Controls Ltd. Акиб Шах Руководитель отдела подбора персонала @ Кибернетический контроль | Удаленный подбор персонала | Талант по требованию Обзор В Cybernetic Controls Limited (CCL) мы стремимся стать мировым лидером в предоставлении инновационных цифровых решений, которые позволяют предприятиям полностью раскрыть свой потенциал. Будучи компанией, ориентированной в первую очередь на удаленную работу, мы верим в то, что мы должны предоставить нашим сотрудникам возможность работать так, чтобы они наилучшим образом соответствовали их индивидуальным потребностям, формируя культуру гибкости и доверия. С момента нашего основания в 2020 году мы успешно предоставляем высококачественные ресурсы нашим клиентам в секторе FinTech в различных сферах бизнеса. Подробную информацию можно найти на веб-сайте Cybernetic Controls. Наш клиент: Мы — отмеченная множеством наград компания RegTech, миссия которой заключается в изменении качества нормативной отчетности в отрасли финансовых услуг. Мы объединили опыт регулирования с передовыми технологиями для разработки наших лидирующих на рынке услуг по обеспечению качества. Наши услуги, уникальные в плане возможности полной оценки качества данных, используются некоторыми крупнейшими в мире инвестиционными банками, управляющими активами, хедж-фондами и брокерами, помогая им сократить расходы, улучшить качество и повысить доверие к их нормативной отчетности. Краткое описание вакансии Наш клиент ищет старшего инженера по обработке данных, который присоединится к нашей быстрорастущей команде. Успешный кандидат присоединится к команде тестирования для работы над ETL и задачами разработки. Это захватывающая и интересная возможность построить новые конвейеры, объединяющие и обрабатывающие большие объемы структурированных данных из различных источников, используя возможности PySpark . Основные обязанности: Проектирование и создание конвейеров с использованием решений облачных вычислений AWS, которые делают данные доступными. надежность, ремонтопригодность, эффективность, масштабируемость, доступность и безопасность. Разработайте код Python и/или Spark (предпочтительно PySpark, но также полезно иметь Spark-Scala), который реализует сложные преобразования данных. Проектируйте и обслуживайте базы данных и API для хранения и передачи данных между приложениями. Мониторинг конвейеров в производстве (и разработка инструментов для облегчения этого). Работайте совместно с другими членами команды (мозговой штурм, устранение неполадок и проверка кода). Взаимодействие с другими командами разработчиков для обеспечения целостности конвейеров данных. Навыки, знания и опыт: Навыки: Отличное программирование на Python и PySpark (включая фреймы данных Pandas/PySpark, подключения к сети и базам данных). Отличное понимание процессов ETL в Amazon Web Services (AWS). Apache Spark, AWS Glue, Athena, S3, Step Functions, Lake Formation. Лучшие практики жизненного цикла разработки программного обеспечения. Разработка через тестирование. Бессерверные вычисления (AWS Lambda, API Gateway, SQS, SNS, EventBridge, S3 и т. д.). Проектирование баз данных SQL и NoSQL. управлять(DynamoDB, MySQL) Сильные навыки кодирования SQL (Spark-SQL, Presto SQL, MySQL и т. д.) Инфраструктура как код (CloudFormation) Опыт написания сценариев оболочки (предпочтительно Linux) Контроль версий с помощью Git/Github Принципы, процессы и инструменты AgileОтлично написано и навыки устного общения. Опыт: Проектирование, развертывание и управление сложными конвейерами производственных данных, которые взаимодействуют с различными источниками данных (файловые системы, Интернет, базы данных, пользователи). Большой опыт работы с Amazon Web Services (AWS). 5 лет работы в области инженерии данных. Не менее 2 лет. опыт работы с инструментами обработки данных PySpark и AWS (в частности, Glue).Знания: моделирование данных, архитектура конвейера данных, реализация больших данных. Лучшие практики жизненного цикла разработки программного обеспечения. Финансовые знания будут преимуществом. Квалификация/обучение: степень бакалавра или ее эквивалент в области компьютерных наук или смежного предмета. Показать больше Показывай меньше Тип занятости Повний рабочий день