Мицзути-скрапер

1. Описание

Просто для развлечения, во время изучения colly я решил попробовать свои силы. В процессе парсинга я вел переговоры с администратором сайта, что было довольно забавно. Если скорость парсинга слишком высока, IP-адрес может быть заблокирован. Также, если при загрузке изображений не указать referer, вы скачаете изображение с надписью "не крадите ссылки".

2. Архитектура

В этом проекте используется colly для парсинга. Colly — это популярная библиотека для создания пауков на языке Go. Go имеет преимущества в области высокой конкуренции и распределённых систем, что соответствует требованиям к паукам. Основные характеристики colly — это легкость, скорость и элегантный дизайн. Распределённое использование и расширение также очень просты.

3. Инструкции по использованию

1. Скачивание, компиляция и выполнение самостоятельно

git clone https://github.com/pwh19920920/go-colly-mzitu
go mod init mzitu
go mod vendor

Если установка зависимостей происходит медленно, вы можете обратиться к следующей статье

Использование goproxy для решения проблем с go get, медленной загрузкой пакетов с GitHub

2. Использование уже скомпилированного файла

mzitu-linux
mzitu-mac
mzitu-windows.exe

4. Результаты парсинга

#### 5. Обучающие материалы по colly

1. Go-паук: colly от базы до продвинутого уровня
2. Обучающие материалы по colly: от базы до продвинутого уровня#### 6. Особые условия использования Этот паук предназначен только для образовательных целей и не должен использоваться коммерческими пользователями.