JSpider 3.2 BETA

JSpider 3 — это фреймворк для краулеров в Chrome Devtools, который включает полную поддержку краулинга. Если у вас есть базовые знания фронтенда, вы сможете начать работу всего за три минуты!

JSpider 3 is a Chrome DevTools crawler framework that includes full crawler support. If you have a front-end foundation, you can get up and running in three minutes!

• Эффективные инструменты: JSpider поставляется с контролем параллелизма и предлагает множество удобных плагинов для обработки данных.
• Высокая степень повторного использования краулера: код JSpider можно использовать повторно, и новые задачи можно добавлять в любое время.

Официальная ссылка на учебник.

Быстрый старт

Настройка краулера

await import('https://cdn.jsdelivr.net/npm/js-spider/dist/JSpider.esm.min.js').then({JSpider}=>{
    window.JSpider = JSpider;
});

// Импорт плагинов, у JSpider есть много функциональных плагинов
const {
    Request, // Библиотека запросов
    Download, // Библиотека загрузки
} = JSpider.plugins;

let urls = ['https://.....']// Массив путей для вашего краулера

const spider = new JSpider()
spider.pipeline(
    Request(),
    Plugin((data) => {
        data
        return data;
    }),
    Download()
);
spider.crawl(urls);
spider.start();
// Подождите, пока загрузка завершится!

!> Дополнительные руководства по настройке кода

Примечания

1. CORS и CSP (Content Security Policy) могут помешать вам получить данные.

CORS и CSP являются частью политики безопасности браузера, они не связаны с JSpider, но я рекомендую вам соблюдать их. Многие веб-сайты используют эти протоколы для предотвращения нежелательных действий JavaScript в браузере, поэтому, если вы используете Chrome, вы можете искать CORS и CSP в магазине расширений Chrome и установить соответствующие расширения, чтобы отключить ошибки этих двух протоколов. Я не могу гарантировать безопасность этих расширений, поэтому не рекомендую их здесь.