Старший програміст (скрейпінг) в Competera

У Competera ми створюємо місце, де можна легко приймати оптимальні цінові рішення. Ми віримо, що технології штучного інтелекту незабаром керуватимуть усіма складними рішеннями та зможуть допомогти людям стати кращими. Зараз ми шукаємо старшого інженера-програміста, який допоможе нам перетворити бізнес-ідеї на передові технологічні рішення, які чітко спрямовують продукт і компанію до стратегічного напрямку. Технологічний стек: Python, PostgreSQL, asyncio, FastAPI, Apache Kafka, ClickHouse, BigQuery, GCS, Scrapy, Selenium, PyppeteerІнфраструктура: Kubernetes, Helm, ArgoCD, Grafana, Prometheus, Sentry, OpsGenie. Ви можете ідеально підійти для цієї посади, якщо хочете: Розробляти та впроваджувати масштабовані й ефективні служби для системи веб-збирання використовуючи Python і відповідні бібліотеки. Очолюйте команду розробників у подоланні заходів запобігання скрапінгу, таких як CAPTCHA, обмеження швидкості та динамічне завантаження вмісту. Наставляйте та направляйте молодших інженерів у команді, сприяючи їхньому росту та розвитку. Автоматизуйте існуючі процеси розробки скребків за допомогою інструментів і фреймворки для підвищення ефективності та зручності обслуговування. Відстежуйте продуктивність системи та завчасно виявляйте та вирішуйте будь-які проблеми. Розробляйте та впроваджуйте архітектуру мікросервісів для модульності та масштабованості. Застосовуйте принципи проектування, орієнтованого на домен (DDD), щоб забезпечити чистий код, який можна підтримувати. Будьте в курсі ознайомтеся з останніми досягненнями та найкращими практиками веб-скрапінгу. У вас є: понад 5 років досвіду роботи інженером-програмістом із значним послужним списком у веб-скрапінгу. Перевірені знання Python і відповідних бібліотек, таких як Scrapy, Selenium, Pyppeteer, Playwright.In - глибоке розуміння веб-протоколів і того, як працює сучасний Інтернет (SSL, проксі-сервери, файли cookie, заголовки, браузери). Досвід виявлення антискребків і методів обходу. Досвід роботи з Kafka, Redis і архітектурою мікросервісів. Знайомство з доменно-керованим дизайном ( DDD) principes.Eng — interm +Приємні додаткові переваги:Досвід роботи з хмарними платформами, такими як AWS або GCP.Досвід роботи з якістю даних і техніками очищення.Знання машинного навчання та методів аналізу даних.Програмні навички:Здатність керувати та наставляти молодших інженерів у подоланні технічних виклики. Проактивний підхід до виявлення та вирішення проблем, пошук нових можливостей. Здатність працювати самостійно та як частина команди в динамічному середовищі. Здатність вивчати нові технології та адаптуватися до мінливих ландшафтів веб-збирання. Вам сподобається це, і ось чому: багатий інноваційний пакет програмного забезпечення, свобода вибору найкращих відповідних технологій. Ідеологія дистанційного керування: свобода працювати з домашнього офісу чи будь-якого відповідного коворкінгу. Гнучкий робочий час (ми починаємо з 8 до 11 ранку) і без увімкнено системи відстеження часу. Регулярні перевірки продуктивності та винагороди. Періодичні оцінки 1-1 і вимірювані OKR. Поглиблене навчання з чітким відстеженням успіху. Competera покриває 70% плати за навчання/курс. 20 днів відпустки, 15 вихідних і більше до одного тижня оплачуваних різдвяних канікул. 20 робочих днів лікарняного. Часткове медичне страхування. Ми відшкодовуємо вартість коворкінгу. Розвивайте інновації разом з нами. Будь конкурентом.