crawler4j is an open source web crawler for Java which provides a simple interface for crawling the Web. Using it, you can setup a multi-threaded web crawler in few minutes.

Программа для сбора данных, написанная на Java, с веб-интерфейсом управления. Автоматически генерирует поисковые URL. Реализует простой сбор данных. Поддерживает работу на нескольких устройствах. Задачи автоматически запускаются по расписанию и т. д. Пр...

Соберите данные с сайта Лагок (Lakorn) и проведите анализ данных. Это поможет определить, какой город и какая должность наиболее подходят для вашей профессиональной деятельности.

Scrapy: веб-сайт паук фреймворк библиотека, захват.

Услуги по очистке данных Дисней, предназначенные для анализа общей ситуации в парке развлечений на основе статистики данных о реальном времени ожидания в очереди Дисней.

zhihu-crawler — это проект краулера на основе Java, основная функция которого заключается в сборе основных данных пользователей Zhihu.

Мощная Java-программа для сканирования, постраничная навигация по спискам и деталям, AJAX, микроядро с высокой расширяемостью, гибкая конфигурация.

surfer [high level concurrency downloader] — это высокопроизводительный загрузчик-краулер, написанный на Go. Он имеет два ядра для загрузки: surf и phantom. Поддерживает два режима: фиксированный UserAgent с автоматическим сохранением cookie и случайный...

Данный текст предназначен для решения проблем, связанных с имитацией автоматического входа и автоматическим распознаванием проверочного кода при сборе данных с веб-сайтов, предназначенных для сканирования. Приглашаем присоединиться к разработке и улучше...

Статистика пассажиропотока пекинского метро (краулер на Python + статистическая диаграмма на JavaScript).

Полностью автоматический скрипт для сбора информации о доменных именах, легко расширяемый, с полными комментариями.

Фреймворк проекта Spring Boot, объединяющий различные открытые технологии, представляет собой платформу для персистентного хранения данных, передаваемых через Zhihu (китайская социальная сеть, похожая на Quora). Платформа предоставляет интерфейсы сообще...