Инженер по обработке данных/Специалист по веб-скрейперам в Smart Orange

О компании:

Мы ищем талантливого специалиста по веб-скрейпингу и сбору данных, который поможет нам создать автоматизированную систему сбора информации о компаниях. Основная цель — собрать базу компаний, их веб-сайтов и краткие описания из открытых источников для дальнейшего анализа.

Основные обязанности:

• Сбор данных о компаниях через D7 Lead Finder:

  • Использовать веб-скрейпинг или API (если доступен) для сбора данных о компаниях, таких как название, веб -сайт, описание.
  • Настроить скрипт для правильной навигации и аутентификации на D7 Lead Finder для автоматического сбора информации.

• Дополнительный поиск данных через другие источники:

  • Hunter.io API, LinkedIn API / Sales Navigator: Использовать для поиска и обогащения данных о компаниях.
  • Google Custom Search API: Автоматизировать поиск компаний по ключевым словам для дополнения базы данных.

• Обработка и верификация данных:

  • Очистить и объединить данные из разных источников, удалить дубликаты, обеспечить корректность и актуальность информации.
  • Сохранить данные в формате CSV или Excel для дальнейшего анализа.

• Документирование и автоматизация процесса:

  • Разработать документацию по настройке и запуску скриптов для сбора данных.
  • Настроить периодический запуск скриптов раз в пол года/год или по необходимости.

Требования к кандидату:

• Опыт веб-скрейпинга и работы с динамическими страницами: Знание Python и библиотек Selenium, Beautiful Soup, Scrapy.
• Навыки работы с API: Опыт интеграции с Hunter.io , LinkedIn, Google Custom Search для автоматизации сбора данных.
• Обработка и структуризация данных: Умение работать с форматами CSV, JSON, Excel для очистки и обработки данных.
• Внимание к деталям и верификация данных: Способность проверять полученную информацию, удалять дубликаты и исправлять ошибки.

< strong>Будет преимуществом:

• Опыт работы с инструментами для обработки данных (Pandas).
• Понимание принципов обработки большого объема данных и их оптимизации.
• Навыки автоматизации процессов сбора данных и опыт работы с парсингом HTML.

Мы предлагаем:

• Гибкий график работы с возможностью удаленного сотрудничества.
• Проектная работа с перспективой дальнейшего сотрудничества на долгосрочной основе.
• Возможность самостоятельно выбирать инструменты и методы работы.

Если вы увлекаетесь обработкой данных, имеете опыт работы с веб-скрейпингом и хотите присоединиться к нашей команде, присылайте свое резюме