Inżynier danych / specjalista ds. skrobaka sieciowego w Smart Orange

O firmie:

Poszukujemy utalentowanego specjalisty ds. przeglądania stron internetowych i gromadzenia danych, który pomoże nam zbudować zautomatyzowany system gromadzenia informacji o firmie. Głównym celem jest zebranie bazy danych firm, ich stron internetowych i krótkich opisów z otwartych źródeł do dalszej analizy.

Główne obowiązki:

• Gromadzenie danych firmy za pomocą narzędzia D7 Lead Finder:

  • Użyj narzędzia Web Scraping lub interfejsu API (jeśli jest dostępny), aby zebrać dane firmy, takie jak nazwa, witryna internetowa, opis .
  • Skonfiguruj skrypt do prawidłowej nawigacji i uwierzytelniania w D7 Lead Finder w celu automatycznego zbierania informacji.

• Dodatkowe wyszukiwanie danych poprzez inne źródła:

  • Hunter.io API, LinkedIn API / Sales Navigator: Służy do wyszukiwania i wzbogacania danych o firmach.
  • Google Custom Search API: Zautomatyzuj wyszukiwanie firm według słów kluczowych w celu uzupełnienia bazy danych.

• Przetwarzanie i weryfikacja danych:

  • Wyczyść i połącz dane z różnych źródeł, usuń duplikaty, zapewnij poprawność i aktualność informacji.
  • Zapisz dane w formacie CSV > lub Excel do dalszej analizy.

• Dokumentacja i automatyzacja procesów:

  • Opracuj dokumentację dotyczącą konfigurowania i uruchamiania skryptów do gromadzenia danych.
  • Skonfiguruj okresowe skrypty, aby uruchamiały się co pół roku/rok lub w razie potrzeby.

  Wymagania dla kandydata:

  • Doświadczenie w web scrapingu i pracy ze stronami dynamicznymi: Znajomość Python< /strong> i Selenium, Beautiful Soup, Scrapy.
  • Umiejętności API: Doświadczenie w integracji z Hunter.io, LinkedIn, Google Custom Wyszukiwanie w celu zautomatyzowania gromadzenia danych.
  • Przetwarzanie i strukturyzowanie danych: Możliwość pracy z formatami CSV, JSON, Excel w celu czyszczenia danych i przetwarzanie.
  • Dbałość o szczegóły i weryfikacja danych: Możliwość weryfikacji otrzymanych informacji, usuwania duplikatów i poprawiania błędów.

  Chciałbym będzie zaletą:

  • Doświadczenie z narzędziami do przetwarzania danych (Pandas).
  • Zrozumienie zasad przetwarzania dużych ilości danych i ich optymalizację.
  • Umiejętność automatyzacji procesów zbierania danych i doświadczenie w parsowaniu HTML.

  Oferujemy:

  • Elastyczny grafik pracy z możliwością współpracy zdalnej.
  • Praca projektowa z perspektywą dalszej współpracy na dłuższą metę.
  • Możliwość samodzielnego doboru narzędzi i metody pracy.

  Jeśli pasjonujesz się przetwarzaniem danych, masz doświadczenie w web scrapingu i chcesz dołączyć do naszego zespołu, prześlij swoje CV