cockroach 爬虫

• httpclient дизайн всё ещё недостаточно изящный √
• httperrorhandler можно рассмотреть добавление использования исключений в режиме прокси, чтобы обеспечить унифицированное управление √

Далее:

• заменить способ печати журналов на использование log4j или logback √
• добавить метод login для получения cookie авторизации (рассмотреть необходимость)
• task приоритет √
• для IP-адресов прокси необходимо абстрагировать интерфейс, который может быть реализован для реального времени
• queue сделать постоянным
• поддерживать POST запросы
• добавить поддержку watcher для мониторинга
• повторная попытка после сбоя всё ещё слишком низкоуровневая
• необходимо перестроить httpclient

С новым годом и новыми начинаниями, давайте пересчитывать всю работу

• кажется, что httpclient всё ещё нужно переделать заново, переделали так √
• здесь срочно нужна рендеринг страницы
• регулярное выражение здесь, стоит ли продолжать?
• мониторинг watcher требует долгосрочного планирования
• IP-адреса прокси нужно выделить в отдельный сервис