Слияние кода завершено, страница обновится автоматически
С помощью AnyProxy + JS + Java можно собрать все статьи из публичных аккаунтов в WeChat.
// Клонируем проект на локальный компьютер
git clone https://gitee.com/poet/WechatSpider.git
// Изменяем адрес базы данных в `WechatSpider/src/main/resources/application.properties`
vim ~/WechatSpider/src/main/resources/application.properties
// После внесения изменений выполняем сборку
cd ~/WechatSpider && mvn clean install -Dmaven.test.skip=true
// Устанавливаем AnyProxy
npm install -g anyproxy
// Устанавливаем npm-плагины
cd ~/WechatSpider/src/main/resources && npm install
// Запускаем AnyProxy
anyproxy --intercept --silent true --rule ~/WechatSpider/src/main/resources/spider.js
// Запускаем проект
cd ~/WechatSpider
java -jar target/WechatSplider-1.0-SNAPSHOT.jar
// Код для сбора данных на JavaScript
vim ~/WechatSpider/src/main/resources/splider.js
// Конфигурационные настройки
var config = {
host: 'http://127.0.0.1:8080', // Адрес сервера
crawlHistory: true, // Сбор данных из списка сообщений
crawlArticle: true, // Сбор данных о статьях
crawlComment: true, // Сбор комментариев
crawlLikeReadNum: true, // Сбор информации о лайках и просмотрах
autoNextScroll: true, // Автоматическое прокручивание для сбора данных
autoNextPage: true, // Автоматическая смена страниц
autoPostData: true, // Отправка данных на сервер
m: 3000, // Интервал времени для автоматического пролистывания (от m до n секунд)
n: 5000,
jumpInterval: 10, // Время ожидания перед переходом к следующей статье
saveContentType: 'html',// Формат сохранения данных: html или text
localImg: true // Возврат локальных изображений вместо изображений из публичного аккаунта
}
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Опубликовать ( 0 )