Старший инженер по большим данным в N-iX

N-iX ищет старшего инженера по большим данным в нашу команду! Наш клиент — ведущий поставщик технических услуг, предоставляющий как стандартное, так и индивидуальное программное обеспечение и прикладные системы для интрасети и Интернета. В связи с растущим спросом на собственные цифровые проекты клиент стремится передать определенные задачи разработки на аутсорсинг стратегическим партнерам. Клиент стремится построить стратегические долгосрочные отношения с ведущими партнерами по развитию, чтобы ускорить рост бизнеса за счет высококачественных и экономичных решений. эффективная разработка программного обеспечения. Выбранные партнеры будут поддерживать разработку надежных и масштабируемых потребительских и корпоративных приложений. Обязанности: Проектирование и разработка конвейеров данных и процессов ETL с использованием таких инструментов, как Apache Airflow, NiFi и dbt. Внедрение крупномасштабных распределенных данных и управление ими. Платформы обработки данных. Тесно сотрудничайте с учеными, работающими с данными, чтобы обеспечить доступность и качество данных для моделей машинного обучения. Оптимизация производительности решений для хранения данных, включая базы данных SQL/реляционные (PostgreSQL, Oracle) и NoSQL (MongoDB, Redis). Работа с технологиями потоковой передачи и CDC. такие как Kafka и Debezium, для облегчения обработки данных в реальном времени. Участвуйте на всех этапах SDLC от концептуализации до развертывания, уделяя особое внимание принципам CI/CD с использованием Docker, Kubernetes и GitLab. Настраивайте и управляйте решениями для хранения данных (Postgres, Oracle, Clickhouse). ) для поддержки аналитических требований. Предоставить технические знания и лучшие практики для решений по инженерии данных, включая управление данными и безопасность. Требования: Подтвержденный опыт (5+ лет) в качестве инженера по большим данным или аналогичной должности. Большой опыт работы с инструментами ETL: Apache Airflow, NiFi, Huawei ETL, ODI и dbt. Опыт работы с инструментами потоковой передачи и сбора измененных данных: Kafka, Debezium. Знание баз данных SQL и NoSQL, включая PostgreSQL, Oracle, MongoDB и Redis. Опыт работы с решениями для хранилищ данных, такими как Clickhouse, Postgres, и Oracle. Знакомство с облачными средами обработки данных и инструментами контейнеризации, такими как Docker и Kubernetes. Отличные навыки решения проблем и аналитические навыки с вниманием к деталям. Степень бакалавра в области компьютерных наук, информационных систем или смежных областей. Уровень выше среднего. Уровень английского.Приятно иметь:Опыт работы с настройками частного облака.Знакомство с фреймворками для анализа данных и машинного обучения, такими как TensorFlow, PyTorch.Знание инструментов визуализации данных: QlikView, Tableau, Apache Superset, Grafana.Мы предлагаем:Гибкий формат работы - удаленно. Конкурентоспособная заработная плата и хороший компенсационный пакет. Персонализированный карьерный рост. Инструменты профессионального развития (программа наставничества, технические переговоры и тренинги, центры передового опыта и т. д.). Активные технологические сообщества с регулярным обменом знаниями. Компенсация за образование. Памятные подарки к годовщине. Корпоративные мероприятия и создание команды. Другие преимущества, зависящие от местоположения. Показать больше Показать меньше Посадовый ровеньне применяется Тип занятости Полный рабочий день Должностные обязанности Инженерия Отрасли Услуги по питанию и напиткам, Производство продуктов питания и напитков