Інженер даних в Proxet

13 серпня 2024 р

Data Engineer

Київ, Вроцлав (Польща)

Project Tech Stack: AWS, Python, Scala, Apache Spark, Spark Streaming, Kafka, Elastic MapReduce, Redshift, Spectrum, Athena, MySQL.

Про посаду:

Ми шукаємо висококваліфікованого інженера з даних штату, щоб приєднатися до нашої інноваційної команди. Ідеальний кандидат матиме великий досвід роботи на великомасштабних виробничих системах і відповідатиме за керівництво дизайном, розробкою та оптимізацією платформи даних та інфраструктури нашого клієнта.

Про проект:

Наш клієнт – це онлайн-база даних і пошукова система, яка дозволяє користувачам шукати та ділитися короткими циклічними відео без звуку, схожими на анімовані GIF файли. Це найкраще та найповніше у світі місце для пошуку, відкриття, обміну та створення анімованої графіки. Платформа підтримує кілька інтеграцій API із більшістю месенджерів, таких як iMessage, Facebook, Instagram, Snapchat, Twitter, Tinder, Slack, WhatsApp та багато інших, що забезпечує ефективне вираження на глобальній комунікаційній платформі.

Кваліфікація та навички:

• 5+ років професійного досвіду в ролі розробки даних, що демонструє значний досвід надання високоякісних послуг дані рішення;
• 3+ роки професійного досвіду роботи з GitHub і найкращими методами керування версіями;
• високе знання Scala та Python із підтвердженою здатністю розробляти та підтримувати масштабовані рішення для даних за допомогою цих мов;
• Глибоке розуміння Apache Spark і Elastic MapReduce (EMR), включаючи досвід оптимізації завдань Spark для підвищення продуктивності, надійності та масштабованості;
• Досвід роботи з Spark Streaming і Kafka;
• Досвід роботи з системами оркестровки даних, зокрема Luigi, щоб керувати складними робочими процесами даних;
• Глибоке знання екосистем Redshift, Spectrum, Athena, MySQL і AWS;
• Глибоке знання найкращих загальних практик у моделюванні, зберіганні та пошуку даних (тобто стовпчасте/стиснуте зберігання, збереження даних, матеріалізовані перегляди тощо);
• Досвід роботи з розподіленими системами в масштабі, що перевищує прості ETL;
• Знайомство з автоматизованою синхронізацією даних (зокрема, AWS DMS) із кількох джерел у сховище даних;
• Досвід роботи з такими інструментами CI/CD, як Jenkins або Spinnaker;
• Досвід роботи з Docker і Kubernetes;
• Знайомство з Databricks, зокрема його використання для виявлення проблем із розбіжностями даних і визначення джерела проблем.

Приємно мати:

• Знайомство з Google Analytics/GBQ.
• Знайомство з Tableau.

Обов'язки:

• Створення, оптимізація та підтримка масштабованих конвеєрів даних за допомогою таких технологій, як Spark і Python.
• Керуйте та оптимізуйте сховища даних, озера даних та хмарну інфраструктуру (AWS).
• Забезпечення цілісності, узгодженості та якості даних протягом життєвого циклу даних.
• Розробляйте ефективні моделі даних і впроваджуйте стратегії для оптимального зберігання та пошуку.
• Розробляти та керувати складними даними workflows за допомогою інструментів оркестровки, таких як Luigi.
• Виявляйте та вирішуйте проблеми з даними, оптимізуйте продуктивність конвеєра та внесіть свій внесок у найкращі методи розробки даних.