Программа анализа танковых стихотворений

1. Введение

Программа анализа танковых стихотворений основана на сборе данных с интернет-ресурсов, очистке, хранении, анализе данных и формировании отчетов.

2. Обзор

С развитием Java появились возможности потокового обработки данных (Stream) и методы работы с данными, что стало популярной областью развития в сфере информационных технологий. Изучение простого сбора, очистки, хранения и анализа данных позволяет понять базовый процесс работы с данными.

3. Цели

• Понимание базовых процессов работы с данными
• Ознакомление с методами анализа данных
• Улучшение навыков применения технологии для решения задач

4. Исходные данные

Данные собираются с сайта Классический китайский поэзия.

5. Функциональность

• Сбор, очистка и хранение данных
• Анализ данных и визуализация результатов

6. Технологии

• Потоковое обработка данных (Stream)
• Разбиение текста на слова и решение связанных задач (ansj)
• Многопоточность
• Парсинг веб-страниц (htmlunit)
• Базы данных и программирование JDBC
• Визуализация данных (HTML/CSS/JavaScript, echarts, jQuery)
• Spring Boot для быстрой разработки web приложений и управления объектами и конфигурациями

7. Реализация

8. Результаты анализа

• Количество созданных стихотворений по авторам

• Область слов для танковых стихотворений

9. Запуск программы

• Создание пакета mvn package -Dmaven.test.skip=true создаёт исполняемый файл target/tangshi-analyze-1.0.0.jar.
• Конфигурирование application.properties
• Запуск — без запуска парсера java -jar tangshi-analyze-1.0.0.jar
• Запуск — с запуском парсера java -jar tangshi-analyze-1.0.0.jar crawler-run

10. Участие в разработке

• Получение исходного кода
  • git clone https://gitee.com/secondriver/tangshi-analyze.git
  • cd tangshi-analyze
• Импорт базы данных
  • mysql -u имя_пользователя_базы_данных -p
  • source tangshi/tangshi.sql
• Настройка конфигураций
  • src/main/resources/application.properties
  • spring.datasource.username=имя_пользователя_базы_данных
  • spring.datasource.password=пароль_пользователя_базы_данных
• Разработка функциональности
  • src/main/java/com/bittech/tangshianalyze/TangshiAnalyzeApplication входная точка программы
  • src/main/java/com/bittech/tangshianalyze/crawler часть парсера
  • src/main/java/com/bittech/tangshianalyze/analyze анализ данных
  • src/main/java/com/bittech/tangshianalyze/web Web интерфейсы