Старший инженер-программист (парсинг) в Competera

Старший инженер-программист (скрапинг) Виддалено В Competera мы создаем место, где можно легко принимать оптимальные ценовые решения. Мы верим, что технологии искусственного интеллекта вскоре будут определять все сложные решения и способны помочь людям стать лучше. Сейчас мы ищем старшего инженера-программиста, который поможет нам превратить бизнес-идеи в передовые технологические решения, которые будут двигать продукт и компанию в стратегическом направлении. Наш стек: Языки программирования: Python. Технический стек: PostgreSQL, asyncio, FastAPI, Apache Kafka, ClickHouse, BigQuery, GCS, Scrapy, Selenium, Pyppeteer. Инфраструктура: Kubernetes, Helm, ArgoCD, Grafana, Prometheus, Sentry, OpsGenie. Вы можете идеально подойти на эту должность, если хотите: Разработать и внедрить масштабируемые и эффективные сервисы для системы парсинга веб-страниц с использованием Python и соответствующих библиотек. Возглавьте команду разработчиков, преодолевая меры защиты от скрапинга, такие как CAPTCHA, ограничение скорости и динамическую загрузку контента. Наставляйте и направляйте младших инженеров в команде, способствуя их росту и развитию. Автоматизируйте существующие процессы разработки парсеров, используя инструменты и платформы, чтобы повысить эффективность и удобство обслуживания. Контролируйте производительность системы и заранее выявляйте и устраняйте любые проблемы. Спроектируйте и внедрите архитектуру микросервисов, обеспечивающую модульность и масштабируемость. Применяйте принципы доменно-ориентированного проектирования (DDD), чтобы обеспечить чистый и удобный в сопровождении код. Будьте в курсе последних достижений и лучших практик парсинга веб-страниц. У вас есть: Более 5 лет опыта работы в качестве инженера-программиста с большим опытом работы в веб-скрапинге. Подтвержденный опыт работы с Python и соответствующими библиотеками, такими как Scrapy, Selenium, Pyppeteer, Playwright. Глубокое понимание веб-протоколов и принципов работы современной сети (SSL, прокси, файлы cookie, заголовки, браузеры). Опыт работы с методами обнаружения и обхода анти-скрейпинга. Опыт работы с Kafka, Redis и микросервисной архитектурой. Знакомство с принципами доменно-ориентированного проектирования (DDD). Eng — временная + Приятные дополнения: Опыт работы с облачными платформами типа AWS или GCP. Опыт работы с качеством данных и методами очистки. Знание методов машинного обучения и анализа данных. Мягкие навыки: способность руководить и наставлять младших инженеров в решении технических проблем. Проактивный подход к выявлению и решению проблем, поиску новых возможностей. Умение работать самостоятельно и в составе команды в быстро меняющейся среде. Способность изучать новые технологии и адаптироваться к меняющимся условиям веб-скрапинга. Вам это понравится, и вот почему: богатый инновационный набор программного обеспечения, свобода выбора наиболее подходящих технологий. Идеология удаленного подхода: свобода работать из домашнего офиса или любого подходящего коворкинга. Гибкий график работы (мы начинаем с 8 до 11 утра) и отсутствие системы учета рабочего времени. Регулярные обзоры производительности и вознаграждений. Повторяющиеся встречи 1–1 и измеримые OKR. Углубленная адаптация с четкой траекторией успеха. Competera покрывает 70% стоимости вашего обучения/курса. 20 дней отпуска, 15 выходных и до одной недели оплачиваемых рождественских каникул. Больничный лист 20 рабочих дней. Частичное медицинское страхование. Мы возместим стоимость коворкинга. Внедряйте инновации с помощьютаким образом. BeaCompeterian.