Старший инженер данных в N-iX

Обзор должности: Как инженер по данным, вы будете играть решающую роль в построении и оптимизации нашего конвейера данных, который имеет решающее значение для надежности и производительности нашей платформы. Вы будете отвечать за проектирование и поддержание эффективных потоков данных, а также за интеграцию новейших технологий с особым упором на обработку сложных событий (CEP) для поддержки наших стратегических целей и создания надежной экосистемы инженерии данных. Инжиниринг данных и потоковая обработка: Архитектор, разрабатывайте и обслуживайте масштабируемые конвейеры данных с использованием таких сервисов AWS, как Kinesis, Firehose, Glue, Lambda и Redshift. Внедряйте и оптимизируйте решения потоковой обработки с помощью таких платформ, как Apache Flink и Kafka, для поддержки приема данных в реальном времени, анализа и обработки сложных событий. (CEP). Проектируйте и создавайте системы CEP для обнаружения и реагирования на интересующие закономерности в потоках данных в реальном времени. Разрабатывайте, оптимизируйте и поддерживайте конвейер потоков, чтобы обеспечить эффективную, надежную и масштабируемую обработку данных. Обеспечьте качество и надежность данных с помощью внедрение надежных сред проверки данных, обработки ошибок и мониторинга. Мониторинг, наблюдаемость и оптимизация: используйте Apache Flink для обработки потоков в реальном времени и мониторинга для эффективной обработки сложных событий и преобразований данных. Используйте такие инструменты, как Prometheus и Grafana, для наблюдения и обеспечения работоспособность и производительность конвейера данных. Постоянно отслеживайте, устраняйте неполадки и оптимизируйте производительность конвейера данных для обработки миллиардов событий в месяц. Сотрудничество и интеграция: тесно сотрудничайте с межфункциональными командами, включая фронтенд-разработчиков и специалистов по обработке данных, для создания надежная платформа данных, отвечающая текущим и будущим потребностям бизнеса. Участвуйте в проектировании и архитектуре масштабируемых систем данных, интеграции новых источников данных и оптимизации существующих процессов обработки данных. Написание кода производственного уровня на Kotlin и Python для создания приложений обработки данных и сценариев автоматизации. и логика CEP. Квалификация: степень бакалавра в области компьютерных наук или смежной области или эквивалентный опыт. Более 3 лет опыта работы в сфере обработки данных или аналогичной должности. Хорошее знание сервисов AWS, таких как Kinesis, Glue, Firehose, Lambda и Redshift. Опыт работы со средами потоковой обработки, такими как Apache Flink и Kafka. Опыт проектирования и внедрения решений комплексной обработки событий (CEP) для потоков данных в реальном времени. Солидный опыт программирования на Kotlin; знание Python или других языков программирования является плюсом. Подтвержденный опыт разработки, оптимизации и обслуживания конвейеров потоковой передачи данных в крупномасштабных средах. Подтвержденная способность создавать, оптимизировать и поддерживать сложные конвейеры данных, которые обрабатывают миллиарды событий в месяц. Сильный аналитические навыки и навыки решения проблем, способность управлять несколькими сложными проектами и сроками. Хорошие коммуникативные навыки, способность эффективно работать в межфункциональных командах, а также опыт работы с методологиями управления проектами Agile. Предпочтительные навыки: Опыт работы с решениями для облачной инфраструктуры данных. в AWS. Опыт работы с платформами распределенной обработки данных, такими как Apache Spark или аналогичные. Знакомство.с базами данных OLAP, такими как Snowflake или Redshift. Знание ядра C#/.NET или разработка и поддержка конкретных приложений для обработки данных. Знакомство с инструментами интеграции данных, такими как Metillion, и опыт работы с крупномасштабными средами данных. Способность работать совместно и адаптироваться к динамическим условиям. потребности проекта. Мы предлагаем: Гибкий формат работы - удаленно, в офисе или гибкий. Конкурентоспособную заработную плату и хороший компенсационный пакет. Персонализированный карьерный рост. Инструменты профессионального развития (программа наставничества, технические переговоры и тренинги, центры передового опыта и т. д.). Активные технологические сообщества с регулярным обменом знаниями. Образование. Возмещение расходовПамятные подарки к юбилеюКорпоративные мероприятия и тимбилдингДругие преимущества, зависящие от региона Показать больше Показать меньше Посадовый ровень Старший середний рівень Тип занятости Повний рабочий день Посадочные обвязки Информационные технологии Галузи Технологии, информация и интернет