Настраиваемый веб-паук с простым в использовании интерфейсом WebUI.

Просто реализуйте проект по созданию краулера и затем импортируйте функции в базу данных.

NETSpider — это программное обеспечение с открытым исходным кодом для сбора данных веб-сайтов, основанное на платформе .Net.

Python, на основе фреймворка Tornado, MySQL база данных (операции с MySQL через библиотеку Peewee), встроенный сетевой паук.

Реализация очередей запросов и выполненных задач в Redis для c-сетевого краулера SimSpider в рамках крупномасштабной распределённой архитектуры.

Распределённый краулер для Twitter. Собираются данные, включающие информацию о пользователях, твиты, комментарии и ретвиты. В данный момент основное внимание уделяется сбору данных из Twitter, работа ведётся в режиме быстрой итерации. Если считаете это ...

WebMagicX — это настраиваемый фреймворк для краулеров, основанный на WebMagic.

Использование инструмента Look52pojie, переписанного на базе MONO-фреймворка под Linux (C#+Gtk#), позволяет осуществлять сбор информации о взломанных постах на форумах и получать данные об открытых регистрациях.

Веб-паук создаётся с помощью Puppeteer.