Добро пожаловать в Gather Platform — платформу для сбора и анализа данных

Readme на английском

Присоединяйтесь к Gather Platform QQ-группе: 206264662

Подробные методы использования см. в онлайн-документации

Gather Platform — это набор инструментов для сбора данных, основанный на ядре Webmagic, который включает веб-конфигурацию задач и интерфейс управления задачами. Она обладает следующими функциями:

• Сбор данных по заданному шаблону, поддерживает Ajax-веб-страницы
• Автоматическое обнаружение текста страницы без задания шаблона, автоматическое извлечение даты публикации статьи
• Динамическое извлечение полей и статическое внедрение полей
• Управление уже собранными данными, включая: поиск, добавление, удаление, изменение, извлечение данных по новому шаблону
• Обработка собранных данных с использованием NLP, включая: извлечение ключевых слов, извлечение краткого содержания, извлечение сущностей
• Включает рекомендации по связанным статьям, анализ взаимосвязей между персонажами и местами в статьях

Установка занимает всего 5 минут, создание одного паука — 30 секунд, начните сбор данных.Без необходимости писать код можно создать мощного паука.

Поддержка Windows/Mac/Linux

Для работы системы необходимы следующие зависимости:

• JDK 8 и выше
• Tomcat 8.3 и выше

Необязательные зависимости:

• Elasticsearch 5.0

Инструкции по установке, использованию, документация для вторичной разработки, часто задаваемые вопросы и т.д. перенесены в онлайн-документацию

Связаться со мной

Электронная почта: 63388@qq.com