Programista Pythona: skrobanie sieci. Scrapy w iPublisher

Programista Pythona: skrobanie sieci. Scrapy Remote iPublisher kontynuuje rozwój. Wznawiamy projekt nieruchomości mobilnych Clever. Jest to CRM służący do zarządzania pracą pośredników w obrocie nieruchomościami. Częścią tego projektu jest zbieranie danych ze stron internetowych poświęconych nieruchomościom. Obecnie chcemy rozszerzyć ten projekt na inne miasta. Jako część zespołu będziesz pracować nad gromadzeniem, przechowywaniem, przetwarzaniem i analizą ogromnych zbiorów danych. Głównym zadaniem będzie rozwój parsera. Stos technologiczny: Python; Zennoposter zna scrapy (właściwe narzędzie do parsowania) Django; Seler; MySQL; Doker. O roli: Jako inżynier Pythona dołączysz do zespołu, który pasjonuje się swoją pracą i wspólnie będziecie wdrażać zaawansowane technologie w łatwą w obsłudze aplikację. Unas biała aplikacja taparsera. Musimy naprawić niektóre zepsute parsery (na przykład olh), a następnie zwiększyć liczbę witryn, z których analizujemy dane. Co będziesz robić: —budować i rozwiązywać problemy z narzędziami do montażu sieciowego; — rozbudowa miejsc gromadzenia danych (parsowanie); obejście zabezpieczeń przed analizowaniem — udoskonalenie algorytmów analizowania; Naprawianie uszkodzonych parserów — analiza docelowych witryn internetowych, w tym inżynieria wsteczna, wykrywanie zabezpieczeń i najlepsze praktyki gromadzenia danych; —tworzenie i wspieranie rozwiązań służących przechowywaniu zebranych informacji; — analiza otrzymanych danych, wybór nazwanych obiektów, dokonanie klasyfikacji, analiza porównawcza itp. Naszym celem jest gromadzenie danych, optymalizacja ich przechowywania i wykorzystania oraz możliwość ich analizy. Warunki pracy: - pół etatu; -Praca zdalna; — naprawdę wspaniały kolektyw takiego przywództwa.