Старший інженер з даних в Cybernetic Controls Ltd

Пряме повідомлення учасника, який розмістив вакансію, від Cybernetic Controls Ltd Акіб Шах Керівник підбору персоналу @ Cybernetic Controls | Віддалений персонал | Талант на вимогу Огляд Cybernetic Controls Limited (CCL) прагне стати світовим лідером у наданні інноваційних цифрових рішень, які дозволяють підприємствам повністю розкрити свій потенціал. Як дистанційна компанія, ми віримо в розширення можливостей наших співробітників для роботи таким чином, який найкраще відповідає їхнім індивідуальним потребам, сприяючи розвитку культури гнучкості та довіри. З моменту заснування в 2020 році ми успішно надаємо високоякісні ресурси нашим клієнтам у секторі FinTech у різних сферах бізнесу. Докладніше на веб-сайті Cybernetic Controls. Наш клієнт: Ми є компанією RegTech, відзначеною багатьма нагородами, яка прагне покращити якість нормативної звітності в галузі фінансових послуг. Ми об’єднали нормативний досвід із передовими технологіями, щоб розробити наші лідируючі на ринку послуги із забезпечення якості. Завдяки можливості повної оцінки якості даних наші послуги використовуються одними з найбільших у світі інвестиційних банків, менеджерів активів, хедж-фондів і брокерів, допомагаючи їм зменшити витрати, підвищити якість і підвищити довіру до їх нормативної звітності. Опис вакансії Наш клієнт шукає старшого інженера з обробки даних, щоб приєднатися до нашої команди, яка швидко зростає. Успішний кандидат приєднається до команди тестування для роботи над ETL і завданнями розробки. Це захоплююча й складна можливість побудувати нові конвеєри, поєднуючи й обробляючи великі обсяги структурованих даних із різноманітних джерел із потужністю PySpark у ваших руках. Основні обов’язки: Архітектор і створення конвеєрів за допомогою рішень хмарних обчислень AWS, які роблять дані доступними з надійністю, ремонтопридатністю, ефективністю, масштабованістю, доступністю та безпекою. Розробіть код на Python та/або Spark (бажано PySpark, але також добре мати Spark-Scala), який реалізує складні перетворення даних. Розробка та підтримка баз даних і API для зберігання та передачі даних між програмами. Відстежуйте конвеєри у виробництві (і розробляйте інструменти для полегшення цього). Працюйте разом з іншими членами команди (мозковий штурм, усунення несправностей і перегляд коду). Підтримуйте зв’язок з іншими командами розробників, щоб забезпечити цілісність каналів даних. Навички, знання та досвід: Навички: чудове програмування на Python і PySpark (включаючи фрейми даних Pandas/PySpark, підключення до Інтернету та бази даних) Чудове розуміння процесів ETL у Amazon Web Services (AWS) Apache Spark, AWS Glue, Athena, S3, Step Functions, Lake Formation Рекомендації щодо життєвого циклу розробки програмного забезпечення Тестована розробка Безсерверні обчислення (AWS Lambda, API Gateway, SQS, SNS, EventBridge, S3 тощо) Дизайн баз даних SQL і NoSQL керement (DynamoDB, MySQL) Досконалі навички кодування SQL (Spark-SQL, Presto SQL, MySQL тощо) Інфраструктура як код (CloudFormation) Досвід роботи зі сценаріями оболонки (бажано Linux) Керування версіями за допомогою Git/Github Принципи, процеси та інструменти AgileЧудовий написаний та навички вербального спілкування. Досвід: Розробка, розгортання та керування складними конвеєрами виробничих даних, які взаємодіють із різними джерелами даних (файловими системами, Інтернетом, базами даних, користувачами) Великий досвід роботи з Amazon Web Services (AWS) 5 років роботи в галузі інженерії даних Принаймні 2 роки досвід роботи з інструментами обробки даних PySpark і AWS (зокрема, Glue) Знання: моделювання даних, архітектура конвеєра даних, впровадження Big Data. Найкращі практики життєвого циклу розробки програмного забезпечення. Фінансові знання були б активом. Кваліфікація/підготовка: ступінь бакалавра або еквівалент у галузі комп’ютерних наук або суміжного предмету. Показати більше Показувати менше Тип зайнятості Повний робочий день