KCrawler

KCrawler — открытый облачный краулер.

Зачем это нужно?

В 2015–2016 годах я написал исполняемый файл с визуализированным краулером (https://www.bilibili.com/video/av8405354). Недавно я увидел, что его создали заново. Тогда я перенёс свой исходный код на веб-страницу.

Видеоуроки:

• https://www.bilibili.com/video/av37748401/
• Ссылки: https://www.jb51.net/list/list_3_1.htm

Ресурсы:

• Кот на странице success.html: https://blog.csdn.net/qq_32584661/article/details/55260288
• Анимация на странице loading.html: https://www.html5tricks.com/svg-spiral-loading.html
• Это всё, о чём я подумал.

Применимость:

• Подходит для различных псевдостатических страниц.
• Динамические страницы пока не поддерживаются, но могут быть реализованы в сочетании с WebDriver.

Как запустить:

1. mvn clean package
2. java -jar KCrawler.jar
3. Доступ через браузер: http://127.0.0.1:8080