Простой инструмент для веб-скрейпинга, который подходит для сбора изображений и текста с не слишком сложных веб-страниц.

Основы фреймворка проекта NLP: специализированный веб-краулер для динамических веб-страниц (JS).

Лёгкий паук для Elasticsearch.

Распределённая структура для краулеров. Разработка распределённого краулера с помощью одной строки кода. Поддерживает такие функции, как многопоточность, асинхронность, динамические IP-прокси, распределение и рендеринг JS.

Python, на основе фреймворка Tornado, MySQL база данных (операции с MySQL через библиотеку Peewee), встроенный сетевой паук.

Фэнлиньчун — это лёгкий и эффективный инструмент для парсинга, который прост в настройке, удобен для доработки и способен извлекать данные с веб-страниц, отображаемых с помощью JavaScript. Он поддерживает сохранение снимков экрана веб-страницы и оснащён...

Использование технологий springboot, spring-data-jpa, webmagic и т. д., для периодического сбора видео с Aiqiyi и 360 Video.

Небольшой паук, написанный на Scala, использует пакеты Java HttpClient и Jsoup. Поскольку Scala основана на Java и является исходным языком для Spark, в будущем можно рассмотреть возможность запуска с использованием кластера.

Прайс-спар драгоценных металлов и сервис провайдера для поиска.