easy-node-spider

Введение

Это простой паук, основанный на request и async модулях, параметры аналогичны параметрам request.

Архитектура программного обеспечения

Описание архитектуры программного обеспечения.

Инструкция по установке

1. npm install

Использование

1. var Spider = require('easy-node-spider')
2. var esp = new Spider(paramList,limit,timer);
3. esp.run(dealcallback,callback);

Описание параметров

• paramList — массив параметров запроса request или массив URL. | Параметр | Обязательный | Значение | Примечание | | -- | -- | -- | -- | | paramList | Да | ['http://www.baidu.com'] | Массив параметров запроса или URL | | limit | Нет | 1 | Максимальное количество потоков по умолчанию равно 1 | | timer | Нет | 1000 | Время ожидания между запросами по умолчанию равно 0 | | dealcallback | Да | dealcallback(err,body,data,callback) | Функция обработки для каждого элемента данных | | callback | Да | callback(result) | Функция для обработки окончательного массива результатов.