Data Engineer в MEGOGO

Шукаємо Senior Data Engineer, якого не лякає робота з сотнями мільйонів подій, і відповідальність за створення інструментів і процесів обробки даних для підтримки створення моделей машинного навчання та проведення експериментів, які будуть визначати розвиток одного з найбільших ведеосервісов СНД. Ми йдемо по шляху data driven і у вас є можливість реалізувати свої навички і вміння в нашій команді. ** Що ми чекаємо: ** * 5 + років досвіду проектування, розробки, тестування, розгортання і підтримки Data Lake / Data Warehouse рішень. * Експертні знання Python в контексті створення ETL data pipelines. * Експертні знання PySpark: перетворення, агрегації, віконні функції, написання та оптимізація UDF. * Експертні знання SQL / NoSQL баз даних: MySQL, PostgreSQL, MongoDB. * Досвід практичної експлуатації Big Data стека: Hadoop, Hive, Kafka, Spark, Cassandra. * Досвід створення комплексних аналітичних систем. * Уміння знаходити і швидкі рішення для експериментів і стабільні production-ready в залежності від обставин. ** Буде плюсом: ** * Досвід роботи з AWS (EC2, EMR, ECS, Kinesis, S3). * Досвід програмування на Java / Scala. * Досвід роботи з аналітичними базами даних: Vertica, Exasol, Teradata, Redshift, BigQuery, Druid, Clickhouse. * Навички розробки в Docker / Kubernetes оточенні. * Незабутих університетські знання лінійки, мату і статистики. * Досвід створення продуктів з використанням machine learning. * Створення та валідація ідей для побудови data driven в компанії. ** Що потрібно робити: ** * Створення та валідація ідей для побудови data driven в компанії. * Розробка архітектури та вибір технічних рішень. * Розробка та підтримка корпоративного DWH. * Розробка ETL data pipelines: завантаження з різних джерел, очищення, перетворення, збагачення зовнішніми даними, нормалізація / денормализация, збереження з урахуванням нюансів і обмежень, покриття тестами, моніторинг, експлуатація. ** Що ми пропонуємо: ** * Роботу в стабільній компанії - ми більше восьми років на медіаринку. * Можливість взяти участь в створенні відеосервісу майбутнього. * Конкурентний рівень заробітної плати. * Круті корпоративи. Наприклад, всією командою на Atlas Weekend :) * Відносини, побудовані на довірі. * Активний відпочинок: грай у футбол або настільний теніс. У нас є своя футбольна команда, а наш тренер з пінг-понгу всьому навчить, він завжди в офісі. Вибирай, що тобі до душі, і візьми участь в змаганнях! Якщо дуже хочеться, навіть є можливість виконати свою дитячу мрію, якщо хотілося стати спортивним коментатором. * Завжди свіжі фрукти в офісі і власний бариста. * Можливості для розвитку. * Безкоштовні уроки англійської мови в офісі. * Відчуваєш, що твої навички відповідають вимогам? Хочеш стати частиною нашої крутий команди? Швидше відправляй своє резюме! Відповівши на вакансію і відправивши своє резюме в Компанію (ТОВ «Мегого»), зареєстровану і діючу відповідно до законодавства України, реєстраційний номер 38347009, адреса місцезнаходження: Україна, м Київ, вул. Новокостянтинівська, 18 В (далі «Компанія»), ви підтверджуєте та погоджуєтеся з тим, що Компанія обробляє ваші особисті дані, представлені в вашому резюме, відповідно до Закону України «Про захист персональних даних» та правилами GDPR.