Інженер з обробки даних/фахівець із веб-скребків в Smart Orange

Про компанію:

Ми шукаємо талановитого спеціаліста з веб-скрейпінгу та збору даних, який допоможе нам створити автоматизовану систему збору інформації про компанії. Основна мета — зібрати базу компаній, їхніх веб-сайтів та коротких описів із відкритих джерел для подальшого аналізу.

Основні обов'язки:

• Збір даних про компанії через D7 Lead Finder:

  • Використовувати веб-скрейпінг або API (якщо доступний) для збору даних про компанії, такі як назва, веб-сайт, опис.
  • Налаштувати скрипт для правильної навігації та аутентифікації на D7 Lead Finder для автоматичного збору інформації.

• Додатковий пошук даних через інші джерела:

  • Hunter.io API, LinkedIn API / Sales Navigator: Використовувати для пошуку та збагачення даних про компанії.
  • Google Custom Search API: Автоматизувати пошук компаній за ключовими словами для доповнення бази даних.

• Обробка та верифікація даних:

  • Очистити та об’єднати дані з різних джерел, видалити дублікати, забезпечити коректність і актуальність інформації.
  • Зберегти дані у форматі CSV або Excel для подальшого аналізу.

• Документування та автоматизація процесу:

  • Розробити документацію щодо налаштування та запуску скриптів для збору даних.
  • Налаштувати періодичний запуск скриптів раз на пів року/рік або за потребою.

Вимоги до кандидата:

• Досвід веб-скрейпінгу та роботи з динамічними сторінками: Знання Python та бібліотек Selenium, Beautiful Soup, Scrapy.
• Навички роботи з API: Досвід інтеграції з Hunter.io, LinkedIn, Google Custom Search для автоматизації збору даних.
• Обробка та структуризація даних: Вміння працювати з форматами CSV, JSON, Excel для очищення та обробки даних.
• Увага до деталей та верифікація даних: Здатність перевіряти отриману інформацію, видаляти дублікати та виправляти помилки.

Буде перевагою:

• Досвід роботи з інструментами для обробки даних (Pandas).
• Розуміння принципів обробки великого обсягу даних та їх оптимізації.
• Навички автоматизації процесів збору даних та досвід роботи з парсингом HTML.

Ми пропонуємо:

• Гнучкий графік роботи з можливістю віддаленої співпраці.
• Проєктна робота з перспективою подальшої співпраці на довгостроковій основі.
• Можливість самостійно обирати інструменти та методи роботи.

Якщо ви захоплюєтеся обробкою даних, маєте досвід роботи з веб-скрейпінгом та бажаєте приєднатися до нашої команди, надсилайте своє резюме