node-spider (acfun) — это агрегационные сервисы.
1. Распределённое сканирование.
2. Redis.
3. Хранение данных с помощью mongoose.
4. Управление процессами с помощью pm2.
5. Логирование и управление журналами с помощью logger.
XCrawler — легковесная и простая в обслуживании PHP-фреймворк для краулеров.
Особенности:
* простота в освоении;
* наличие подробной документации и примеров;
* поддержка многопоточного сканирования;
* возможность сканирования с использованием XPath и C...
Перенесите данные своей учётной записи Douban на локальное устройство и обеспечьте возможность автономного просмотра контента от Douban, @tabris17. Этот проект больше не поддерживается.
