Введение

Проект COLL-MZ в основном используется для сбора данных с сайтов, таких как Xiuren, FlyG и других, а также для отображения собранных данных в браузере.

Специальное заявление

Этот проект был разработан в качестве первого опыта программирования на Golang. Пожалуйста, не используйте этот проект в незаконных целях.

Особенности

• Предназначен для программистов, интересующихся аниме;
• Собирает данные о различных аниме-персонажах;
• Сбор данных может осуществляться вручную или автоматически каждые два часа;
• Позволяет быстро просматривать собранные данные в браузере;
• Может организовывать локальные файлы, видео, комиксы, текст и другие данные;
• Использует открытую базу данных sqlite3, которую можно самостоятельно настроить для удобства дальнейшей разработки;
• Можно использовать для создания программ сбора данных для других сайтов;
• Реализован на чистом Golang.

Интерфейс

Браузерный интерфейс

Интерфейс сбора данных

Использование

1. Загрузите проект на свой компьютер.
2. Запустите файл collmz-server-.exe.
3. Вы можете получить доступ к проекту через браузер по адресу http://localhost:8888. Порт можно изменить в файле ./config/config.json.
4. Начальное имя пользователя: admin@admin.com, пароль: adminadmin.

Компиляция и настройка среды

1. Установите среду выполнения Golang и настройте переменные окружения.
2. Установите компилятор GCC и настройте переменные окружения, рекомендуется использовать mingw (https://sourceforge.net/projects/mingw-w64/).
3. Установите сторонние библиотеки Golang:
   • goquery (github.com/PuerkitoBio/goquery);
   • sqlite3 (github.com/mattn/go-sqlite3);
   • session (github.com/gorilla/sessions).
4. Скачайте код проекта и поместите его в каталог Golang на вашем компьютере, рекомендуется использовать Git для клонирования.
5. Проект был разработан и протестирован только на Windows 10 x64, поэтому его работа на других платформах не гарантируется.

Адрес проекта GitHub: https://github.com/fotomxq/coll-mz OSChina: https://git.oschina.net/fotomxq/collmz

Лицензия проекта Apache License Version 2.0, January 2004 http://www.apache.org/licenses/

Часто задаваемые вопросы

1. Можно ли использовать проект без развёртывания кода? Можно, просто скачайте весь проект и запустите exe-файл. Папку controller можно удалить.

2. Что делать, если компиляция не удалась? Основные проблемы возникают при работе с sqlite3, так как эта библиотека написана на C и требует использования компилятора GCC, такого как mingw. Ошибки могут возникнуть из-за неправильной установки или настройки переменных окружения. Для 64-битных систем необходимо использовать 64-битный GCC.

3. Как создать другие сборщики на основе этой структуры? В папке controller есть файлы coll-children-...go, которые содержат код для соответствующих сборщиков. Вы можете использовать эти файлы в качестве примера для создания своих собственных проектов.

Вы можете использовать готовые фреймворки. Сначала зарегистрируйте сборщик в coll.go. Это позволит вам получить доступ к нему через браузер. Затем создайте новый файл Go и напишите свой код.

Обратите внимание, что если вы разрабатываете новый проект, CollChildren.dev должен быть равен true, чтобы содержимое было легко различимо на стороне браузера.

CollOperate.Auto...() — это методы, которые выполняют большую часть работы по сбору данных. Они могут значительно упростить процесс сбора.

4. Какова скорость сбора данных? Поскольку sqlite3 не поддерживает многопоточность, один сборщик может обрабатывать только одну операцию одновременно. Если вы обнаружите, что сбор данных повторяется или данные отображаются во время сбора, сбор будет автоматически остановлен.

Каждый сборщик имеет свой собственный поток.

5. Почему некоторые сборщики не работают? Некоторые сборщики могут не работать из-за ограничений локальных сетей в Китае. Вам придётся решить эту проблему самостоятельно.

Кроме того, некоторые веб-сайты используют динамическую загрузку через JavaScript и различные функции, препятствующие сбору данных, поэтому эта проблема будет решена после улучшения ваших навыков разработки. Эти сборщики помечены как dev, и вы можете увидеть их в интерфейсе сбора данных.

6. Как изменить начальное имя пользователя и пароль? Когда я писал этот текст, я понял, что забыл сделать эту страницу. На данный момент вы можете изменить данные в таблице user базы данных ./content/database/coll-mz.sqlite с помощью инструмента sqlite.