Слияние кода завершено, страница обновится автоматически
Java-реализация фреймворка для краулеров
С нуля, шаг за шагом, создаём готовый к использованию фреймворк для краулинга. В ключевые моменты добавляем теги, чтобы зафиксировать процесс создания проекта.
Реализован простейший и базовый краулер, который уже можно использовать.
HttpClient используется вместо http-запросов JDK; добавлены настройки параметров HTTP.
Реализована глубокая паутина:
Реализовано сканирование очереди:
Разделение сканирования и анализа результатов в задачах Job; установка флага завершения задачи:
Добавлены логические точки отслеживания.
Поддержка динамической конфигурации:
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )