速云优网络爬虫 — Функциональное описание

Скоростной облачный оптимизированный веб-паук — это программа для вертикального сбора веб-страниц с сайта, предоставляющая пользовательский интерфейс для управления сайтами для сбора и правилами сбора статей.

Сбор данных осуществляется с помощью jsoup. Заголовки и содержимое собираются с использованием селекторов. Извлечение ссылок выполняется с применением регулярных выражений. Например, http://www.runoob.com/java/[\w|\d|-]+.html представляет собой соответствие адресу, заканчивающемуся на html и содержащему любые символы после java/.

Селектор заголовков: #content>h1, что означает получение содержимого тега h1 под элементом с идентификатором content.

Селектор содержимого: #content, что означает извлечение содержимого элемента с идентификатором content. Собранные данные сохраняются в базе данных (конкретная таблица — page_info).

Для дополнительных правил извлечения страниц можно создавать собственные плагины в пакете com.suyunyou.spider.plugins.page. Для использования необходимо добавить их в метод SpiderUtil.addSiteFetcherPage(...).

Плагины для дополнительных правил извлечения ссылок можно создавать в пакете com.suyunyou.spider.plugins.link.

Извлечение информации о публичных аккаунтах WeChat осуществляется с помощью плагина LinkWeixinPlugin.

Начальная программа

Начальная программа включает создание базы данных с именем spider и учётной записью root с паролем root. Структура таблицы создаётся автоматически при запуске программы.

Соединение с базой данных настраивается в файле application.properties. Затем запускается Redis с изменением конфигурации в файле resources/application.properties. После этого выполняется скрипт doc/init.sql для инициализации тестовых данных паука.

Логин

Адрес входа: http://127.0.0.1:6080/

Логин: admin

Пароль: 123456

Страницы администрирования веб-пауком

• Страница управления веб-сайтом:

  • Изображение: https://gitee.com/uploads/images/2018/0126/104405_1a755e57_126057.jpeg «Управление веб-пауком».

• Страница управления правилами веб-сайта:

  • Изображение: https://gitee.com/uploads/images/2018/0126/104511_ac49b5ce_126057.jpeg «Правила веб-сайтов».

• Страница управления ссылками:

  • Изображение: https://gitee.com/uploads/images/2018/0126/104614_dffbc01f_126057.jpeg «Ссылки».

• Страница управления содержимым:

  • Изображение: https://gitee.com/uploads/images/2018/0126/104702_20d51416_126057.jpeg «Содержимое».

Завершённые функции

• Разработка функций управления ссылками, включая возможность массового удаления ссылок.
• Связывание статей и доменов.
• Создание предварительного просмотра списка содержимого веб-сайтов.
• Добавление веб-сайтов в управление веб-страницами.
• Определение правил извлечения содержимого.
• Определение формата извлекаемого содержимого.
• Анализ и загрузка соответствующих страниц в память на основе предоставленных ссылок.

Функции в разработке

• Распределённая обработка:
  • Перезапуск паука.
  • Распределение адресов веб-страниц.