Разработчик Python: парсинг веб-страниц. лоскутный в iPublisher

Python Developer: Web Scraping. Scrapy удаленно iPublisher продолжает развитие. Мы перезапускаем проект Clever mobile real estate. Это CRM для управления работой брокеров недвижимости. Часть этого проекта — это сбор данных с сайтов недвижимости. Сейчас мы хотим расширить этот проект на другие города. Как часть команды будете выработать над сбором, хранением, обработкой и анализом огромных наборов данных. Главной задачей будет развивать парсер. Стек технологий: Python; Zennoposter знать scrapy (собственно тулза для парсинга) Django; Celery; MySQL; Докер. О роли: Как Python инженер ты присоединишься к команде, которая увлечена своим делом, и вместе вы будете воплощать передовые технологии в простое в использовании приложение. У нас эмобильное приложение и парсеры. Нам нужно починить часть сломанных парсеров (например олх), затем увеличить количество сайтов, откуда парcим данные. Что вы будете делать: -создание и устранение неисправностей инструментов веб-сбора; —расширение сайтов сбора данных (парсинг); обход защиты от парсинга - совершенствование алгоритмов парсинга; починка сломанных парсеров — анализ целевых веб-сайтов, включая обратное проектирование, выявление средств защиты и использование наилучших подходов для получения данных; - создание и поддержка решений для хранения собранной информации; — анализ полученных вами данных, выделение именуемых объектов, выполнение классификаций, сравнительный анализ и т.д. Наша цель — собирать данные, оптимизировать их хранение и использование, а также уметь их анализировать. Условия работы: -парттайм; -удаленная работа; — действительно замечательный коллектив такого рода.