Проект

С самого начала я хотел написать простого бота для знайка, реализовать его постоянное хранение и на этой основе периодически собирать вопросы и ответы знайки, а также информацию о пользователях, совершенствовать модули архивации, классификации и поиска. Однако в процессе реализации я постепенно обнаружил, что мои навыки сбора информации недостаточны, и у меня возникла идея создать платформу постоянного хранения данных для передачи информации знайки. Я решил предоставить интерфейсы HTML+JSON и RabbitMQ, чтобы заинтересованные партнёры могли разрабатывать и использовать знакомые им языковые среды для сбора информации и её постоянного сохранения в этом проекте, тем самым достигая первоначальной цели разработки.

Основы проекта

1. Разработка проекта, ориентированного на поток данных: преобразование того, какие данные мне нужны, в то, какую функциональность я могу предоставить, чтобы вы предоставили мне нужные данные. Реализация функций сбора, хранения, отображения и поиска данных.
2. Разработка проекта на основе интерфейсов: использование интерфейсов HTML+JSON и RabbitMQ для облегчения вызова гетерогенных систем, обеспечения идеальной развязки, чёткого разделения обязанностей и параллельной разработки клиента, сервера и переднего конца для отображения информации.

Развёртывание и работа проекта

Рекомендуется развёртывать проект с использованием контейнеров Docker.

1. Развёртывание проекта зависит от MySQL и RabbitMQ. После точной настройки содержимого выполните упаковку и развёртывание.
2. В корневом каталоге проекта используйте Gradle для создания файла jar.

$ gradle build
//Созданный файл jar по умолчанию находится в пути ./build/libs.

3. Скопируйте файл jar в каталог /home/zhuhu.
4. Создайте файл Dockerfile.

FROM keensoft/centos7-java8
MAINTAINER sunzc
# Установите часовой пояс на PRC
ENV TZ="Asia/Shanghai" LANG=en_US.UTF-8 PRO_ENV="prod"
ADD zhihu-spider-1.0.0.jar /home/App.jar
ENTRYPOINT java -jar /home/App.jar

5. Создайте файл start.sh для запуска программы jar и выполнения после запуска образа.

java -jar /home/App.jar

6. Создайте файл build.sh для сборки команды Dockerfile.

docker build -t cacubd-server-collector:0.0.1 .

7. С помощью Dockerfile и build.sh создайте образ Docker из файла jar.

$ sh build.sh
//Информация об образе — zhihu-spider:1.0.0

8. Запустите контейнер Docker с помощью команды docker run.

docker run --name zhihu-spider -p 8902:8080 -v /home/zhihu/logs:/home/zhihu/logs -e TZ=Asia/Shanghai -e spring.profiles.active=local --restart=always -d zhihu-spider:1.0.0
//Для получения подробной информации см. http://blog.csdn.net/sun1021873926/article/details/72862644

9. После запуска проекта проверьте журнал запуска.

$ docker logs -f zhihu-spider

10. После успешного запуска посетите страницу ресурсов swagger для проверки вызовов методов в стиле restful.

//Адрес доступа следующий:
//http://127.0.0.1:8902

11. Конечно, после упаковки в файл jar вы также можете напрямую запустить его в среде Java8 с помощью следующей команды.

$ java -jar zhihu-spider-1.0.0.jar

Направления развития проекта

1. Многоверсионная разработка клиентских приложений. На начальном этапе планируется включить функции сбора данных на языках Go, Python, Java и PHP и реализовать их постоянное сохранение через интерфейсы.
2. Параллельная разработка переднего конца для отображения и поиска информации. На начальном этапе передний конец полностью отделён, и используется интеграция Redux+Flux+webpack+Babel.
3. Реализация многоузлового микросервисного дизайна серверной части с кластерным развёртыванием на основе промежуточного программного обеспечения для повышения надёжности и стабильности производственной среды проекта.

Ссылки на документацию

zhihu-spider之Lombok — Zhihu-spider с открытым исходным кодом использует подробное объяснение технологии (часть первая)

zhihu-spider之Swagger — Zhihu-spider с открытым исходным кодом использует подробное объяснение технологии (вторая часть)

zhihu-spider之Druid — Zhihu-spider с открытым исходным кодом использует подробное объяснение технологии (третья часть)

zhihu-spider之Mybatis — Zhihu-spider с открытым исходным кодом использует подробное объяснение технологии (четвёртая часть)

zhihu-spider之RabbitMQ — Zhihu-spider с открытым исходным кодом использует подробное объяснение технологии (пятая часть)

zhihu-spider之Feign — Zhihu-spider с открытым исходным кодом использует подробное объяснение технологии (шестая часть)

zhihu-spider之Hystrix — Zhihu-spider с открытым исходным кодом использует подробное объяснение технологии (седьмая часть)