crawler4j is an open source web crawler for Java which provides a simple interface for crawling the Web. Using it, you can setup a multi-threaded web crawler in few minutes.
surfer [high level concurrency downloader] — это высокопроизводительный загрузчик-краулер, написанный на Go. Он имеет два ядра для загрузки: surf и phantom. Поддерживает два режима: фиксированный UserAgent с автоматическим сохранением cookie и случайный...
Это проект по сбору данных с 1000 страниц статей из энциклопедии Python, написанный на основе фреймворка BeautifulSoup4. Проект подойдёт начинающим любителям парсинга для практики.
Программа вертикального парсинга веб-страниц сайта предоставляет интерфейс пользователя (UI) для управления парсингом сайтов и правилами сбора содержимого статей.
Для получения заголовков и контента используется библиотека jsoup, основной метод — выбо...
Сбор информации о ресторанах и блюдах с сайтов сервисов доставки еды (на данный момент только Meituan Waimai и Ele.me)
Предоставление функций составления списка покупок, автоматического разделения заказа и ручной корректировки, что упрощает процесс зак...
Фреймворк проекта Spring Boot, объединяющий различные открытые технологии, представляет собой платформу для персистентного хранения данных, передаваемых через Zhihu (китайская социальная сеть, похожая на Quora). Платформа предоставляет интерфейсы сообще...
