ДИЗАЙН

Перед этим рефакторингом, загрузчик, селектор и пайплайн были связаны вместе, и теперь я думаю, что следует их разделить. Если кто-то хочет использовать только загрузчик и извлекать данные с помощью AngleSharp.

Загрузчик

Загрузчик — это независимый модуль, который помогает пользователю загружать данные с целевого сайта. Есть много деталей, см. ниже:

1. Два способа установки cookie: один — вызов метода AddCookie в загрузчике, который добавляет cookie в CookieContainer, влияя на каждый запрос. Установка заголовка cookie в запросе, результатом будет объединение вашего заголовка cookie и cookie в CookieContainer.
2. CookieInjector в загрузчике вызывается один раз и добавляет cookie в CookieContainer.

Расписание

Хэш запроса

1. Разные заголовки для одного и того же URL — это разные запросы, поэтому заголовки являются фактором.
2. В запросе есть свойство CycleRetryTimes, если значения различаются, то запросы различаются. Свойство Depth не является фактором.