Laji-Collect

Введение

Laji-collect — это инструмент для сбора данных о «лацзи» (laji) по всему миру. Приглашаем всех присоединиться к сбору данных!

Разработан на основе универсального сборщика Fesiong

Универсальный сборщик

Язык разработки

golang

Примеры использования на официальном сайте

Laji-collect

Почему существует этот инструмент для сбора статей о лацзи?

• На рынке существует несколько инструментов для сбора данных, но большинство из них требуют индивидуальной настройки правил сбора для каждого сайта, чтобы получить желаемый результат. Этот сборщик включает в себя общие правила сбора, и вы можете просто добавить список статей, чтобы собрать контент.
• Этот сборщик использует многопоточность и параллельный сбор данных, что позволяет собирать больше контента одновременно.
• Сборщик фокусируется только на сборе статей и не требует настройки для сбора других типов контента, позволяя сосредоточиться на одной задаче.

Какие данные о статьях может собирать этот инструмент?

Этот сборщик может собирать следующие данные: название статьи, ключевые слова, описание, содержание, автор, дата публикации, количество просмотров.

Когда следует использовать этот инструмент для сбора статей?

Когда нам нужно собрать статьи для веб-сайта, этот сборщик будет полезен. Сборщику не требуется постоянное присутствие человека, он работает непрерывно 24 часа в сутки, автоматически просматривая список сбора каждые 10 минут и собирая ссылки на статьи. Текст можно настроить для автоматической публикации в указанной таблице статей.

Где можно использовать этот инструмент для сбора статей?

Сборщик можно использовать на Windows, Mac и Linux (Centos, Ubuntu и т. д.). Можно загрузить скомпилированный исполняемый файл или исходный код для самостоятельной компиляции.

Может ли этот инструмент использоваться для создания псевдооригинального контента?

В настоящее время сборщик не поддерживает функцию создания псевдооригинального контента, но эта функция будет добавлена позже.

Как установить и использовать

• Скачать исполняемый файл
  Пожалуйста, загрузите последнюю версию исполняемого файла из раздела Releases в соответствии с вашей операционной системой, распакуйте его и дважды щёлкните по файлу для запуска. В открывшемся браузере введите информацию о базе данных и завершите начальную настройку. Добавьте источник сбора и начните процесс сбора.
  Если вы используете сервер или программа не открывает браузер автоматически, следуйте инструкциям в командной строке, чтобы открыть браузер и ввести адрес доступа. По умолчанию это https://127.0.0.1:8088.
• Самостоятельная компиляция
  Сначала клонируйте код на свой компьютер, установите среду выполнения go и откройте командную строку в каталоге collector. Выполните следующие команды:

go env -w GOPROXY=https://goproxy.cn,direct

Затем выполните следующую команду:

go mod tidy
go mod vendor
go run main.go

После завершения компиляции запустите скомпилированный файл. Затем дважды щёлкните файл для запуска и введите информацию о базе данных в открывшемся браузере. Завершите начальную настройку, добавьте источник сбора и начните сбор.

План развития

• Добавить визуальный интерфейс для добавления ссылок на сбор, просмотра и редактирования собранных данных ✅
• Добавить функцию автоматической публикации на удалённый сервер веб-сайта ✅
• Добавить автоматическую замену ключевых слов (часть функции создания псевдооригинального контента)
• Добавить функцию автоматического разделения и реорганизации контента (в разработке)

Группа обмена информацией в WeChat

Помощь в улучшении

Приглашаем всех, кто имеет возможность и желание внести свой вклад, присоединиться к работе по улучшению этого сборщика. Пожалуйста, создайте свою ветку, внесите изменения и отправьте запрос на слияние после завершения работы.

Заявление об авторских правах

© echo_yjl_lyc, LycEcho@163.com

Выпущено под лицензией MIT