ДИЗАЙН

Для упрощения понимания, проект разделен на несколько модулей: загрузчик, веб-клиент и модуль извлечения данных. Загрузчик и веб-клиент используются для загрузки данных с целевых веб-сайтов, а модуль извлечения данных используется для парсинга и извлечения информации. В частности, загрузчик использует Downloader, WebClientApi и HttpHelper, а модуль извлечения данных использует Extraction и AngleSharp.

Загрузчик

Загрузчик — это независимый модуль, который помогает пользователю загружать данные с целевых веб-сайтов. В нем много деталей, см. ниже:

1. Два способа установки cookie: один — вызов метода AddCookie в загрузчике, который добавляет cookie в CookieContainer, влияя на каждый запрос. Второй — установка заголовка cookie в запросе, результатом чего является объединение заголовка cookie и cookie в CookieContainer.
2. CookieInjector в загрузчике вызывается один раз и добавляет cookie в CookieContainer.

Расписание

Хэш запроса

1. Разные заголовки для одного и того же URL — это разные запросы, поэтому заголовки являются фактором.
2. В запросе есть свойство CycleRetryTimes, если значения различаются, то запросы различаются. Свойство Depth не является фактором.