Python-Entwickler: Web Scraping. Scrapy in iPublisher

Python-Entwickler: Web Scraping. Scrapy Remote iPublisher entwickelt sich weiter. Wir starten das mobile Immobilienprojekt Clever neu. Dabei handelt es sich um ein CRM zur Verwaltung der Arbeit von Immobilienmaklern. Teil dieses Projekts ist die Sammlung von Daten von Immobilien-Websites. Derzeit wollen wir dieses Projekt auf andere Städte ausweiten. Als Teil des Teams arbeiten Sie an der Sammlung, Speicherung, Verarbeitung und Analyse riesiger Datensätze. Die Hauptaufgabe wird darin bestehen, den Parser zu entwickeln. Technologie-Stack: Python; Zennoposter zum Kennenlernen von Scrapy (geeignetes Tool zum Parsen) Django; Sellerie; MySQL; Docker. Über die Rolle: Als Python-Ingenieur werden Sie Teil eines Teams, das mit Leidenschaft bei der Arbeit ist, und gemeinsam werden Sie fortschrittliche Technologien in eine benutzerfreundliche Anwendung implementieren. Unas weiße Anwendung taparsera. Wir müssen einige der defekten Parser reparieren (z. B. olh) und dann die Anzahl der Websites erhöhen, von denen wir Daten analysieren. Was Sie tun werden: —Web-Assembly-Tools erstellen und Fehler beheben; — Erweiterung der Datenerfassungsseiten (Parsing); Umgehung des Parsing-Schutzes – Verbesserung der Parsing-Algorithmen; Behebung defekter Parser – Analyse der Zielwebsites, einschließlich Reverse Engineering, Erkennung von Abwehrmaßnahmen und Best Practices für die Datenerfassung; —Erstellung und Unterstützung von Lösungen zur Speicherung gesammelter Informationen; — Analyse der von Ihnen erhaltenen Daten, Auswahl benannter Objekte, Durchführung von Klassifizierungen, vergleichende Analyse usw. Unser Ziel ist es, Daten zu sammeln, deren Speicherung und Nutzung zu optimieren und sie analysieren zu können. Arbeitsbedingungen: - Teilzeit; -Heimarbeit; – ein wirklich wunderbares Kollektiv solch einer Führung.