Поддерживает очередь сканирования.
jobCount поддерживает флаг остановки, а ResultFilter анализирует веб-страницы для получения легальных ссылок и помещает их в очередь.
Поддержка чтения и записи динамической конфигурационной информации.
Инициализировать базовый экземпляр паука.
Выполнять HTTP-запросы с помощью httpclient.
Глубокое сканирование веб-страниц, поддержка положительного и отрицательного фильтров, дедупликации и обратных вызовов.
