Расширяемый и лёгкий открытый исходный код фреймворка для парсинга данных Slit.

Простой, удобный, гибкий сетевой класс, spider/network для PHP, слишком просто.

Один из вариантов перевода этого текста на русский язык: Один из основанных на dotnetspider пауков для сбора данных старшей сестры.

Распределённая платформа для сбора данных.

Простой и гибкий фреймворк веб-краулера для Java. https://github.com/xbynet/crawler

Панда ТВ: краулер для сбора данных о комментариях, результаты сохраняются в Kafka.

Python, использование Scrapy фреймворка для парсинга данных с сайтов http://www.mzitu.com/ и Gank.io. Данные обновляются ежедневно. Парсинг включает в себя поиск фотографий девушек на этих сайтах.

Алгоритм автоматического извлечения основного текста веб-страницы, реализованный на JAVA.

Система сбора информации о вакансиях в сфере интернет-индустрии, основанная на данных, с функциями сканирования, анализа, визуализации и интерактивности.

Паук для сбора изображений от Baidu на основе Python 3.

Невозможно определить, является ли IRCbot реальным человеком или роботом. В то время я только начинал изучать RUBY и писал этого робота для развлечения. Проект можно классифицировать как инструмент для общения, а не как веб-паук.

Простой веб-краулер для изображений, простой в использовании, с возможностью доработки кода, высокопроизводительный сетевой инструмент для работы с изображениями на основе многопоточности и параллельных вычислений.