Старший инженер-программист (скрапинг) в Competera

В Competera мы создаем место, где можно легко принимать оптимальные ценовые решения. Мы верим, что технологии искусственного интеллекта вскоре будут определять все сложные решения и способны помочь человечеству стать лучше. Сейчас мы ищем старшего инженера-программиста, который поможет нам превратить бизнес-идеи в передовые технологические решения, которые будут стимулировать продукт и компанию к стратегическому направлению.

< strong>Наш стек:
Языки программирования: Python.

Технический стек: PostgreSQL, asyncio, FastAPI, Apache Kafka, ClickHouse, BigQuery, GCS, Scrapy, Selenium, Pyppeteer

Инфраструктура: Kubernetes, Helm, ArgoCD, Grafana, Prometheus, Sentry, OpsGenie.

Вы идеально подходите на эту должность, если

Вы хотите:

• Разрабатывать и внедрять масштабируемые и эффективные сервисы для системы парсинга веб-страниц с использованием Python и соответствующих библиотек.
• Руководитель команде разработчиков в преодолении мер защиты от парсинга, таких как CAPTCHA, ограничение скорости и динамическая загрузка контента.
• Наставляйте и направляйте младших инженеров в команде, способствуя их росту и развитию.
• Автоматизируйте существующие процессы разработки парсеров с помощью инструментов и платформ для повышения эффективности и удобства обслуживания.
• Отслеживайте производительность системы, заранее выявляйте и устраняйте любые проблемы.
• Разрабатывайте и внедряйте архитектуру микросервисов с учетом модульности и масштабируемости.
• Применяйте принципы доменно-ориентированного проектирования (DDD), чтобы обеспечить чистоту и удобство обслуживания кода.
• Будьте в курсе последних достижений и передовых методов сбора веб-страниц.
>

У вас есть:

• 5+ лет опыта работы в должности инженера-программиста с большим опытом работы с веб-скрапингом.
• Подтвержденный опыт работы с Python и соответствующими библиотеками, такими как Scrapy, Selenium, Pyppeteer, Playwright.
• Глубокое понимание веб-протоколов и того, как работает современный Интернет (SSL, прокси, файлы cookie, заголовки, браузеры).
• Опыт работы с методами обнаружения и обхода анти-скрапинга.
• Опыт работы с Kafka, Redis и архитектурой микросервисов.
• Знакомство с доменно-ориентированным дизайном (DDD). принципы.
• Английский — временный +

Приятные дополнения:

• Опыт работы с облачными платформами, такими как AWS или GCP.
• Опыт работы с методами качества и очистки данных.
• Знание методов машинного обучения и анализа данных.

Мягкие навыки :

• Способность руководить и наставлять младших инженеров в решении технических проблем.
• Активный подход к выявлению и решению проблем, поиску новых возможностей.
>
• Способность работать независимо и в составе команды в быстро меняющейся среде.
• Способность изучать новые технологии и адаптироваться к меняющимся условиям веб-парсинга.

• Богатый инновационный стек программного обеспечения, свобода выбора наиболее подходящих технологий.
• Идеология «сначала удаленность»: свобода работать из домашнего офиса или любого подходящего коворкинга.
• Гибкий график работы (мы начинаем с 8 до 11 утра) и никаких систем учета рабочего времени .
• Регулярные проверки производительности и вознаграждения.< /li>
• Периодические встречи «один-один» и измеримые OKR.
• Углубленное обучение и четкий путь к успеху.
• Competera покрывает 70 % стоимости вашего обучения/курсов.< /li>
• 20 дней отпуска, 15 выходных дней и до одной недели оплачиваемых рождественских каникул.
• 20 рабочих дней отпуска по болезни.
• Частичное медицинское страхование.
• Мы компенсируем расходы на коворкинг.

Внедряйте инновации вместе с нами. Будьте конкурентом.