Добро пожаловать!

Пользовательский образ

Постоянное обновление...

Введение

Архитектура программного обеспечения

Весь проект в целом состоит из пяти модулей:

• 1. Миграция данных
  • tags-etl
  • Написание кода для переноса данных таблиц MySQL в таблицы HBase.
• 2. Модель расписания тегов
  • tags-scheduler
  • Использование Oozie Java Client API для планирования выполнения Workflow и Coordinator.
  • Планирование с помощью Azkaban Java Api.
• 3. Инструменты
  • tags-up
  • Реализация модели планирования, в основном операции с файловой системой HDFS и использование инструментов класса Oozie Java Client API.
• 4. tags-web
  • Веб-платформа системы пользовательских тегов.
  • Оригинальная версия реализована с использованием SSM, новая версия основана на SpringBoot (в сочетании с Vue.js).
• 5. tags-model
  • Разработка модели, маркировка пользователей, разработка программы SparkApplication для каждой бизнес-метки и планирование выполнения.

Техническая архитектура

Общая схема архитектуры проекта:


Схема функциональной архитектуры проекта:


Диаграмма процесса системы тегов:


Инструкция по установке

Рекомендуется установить scala-2.11.8.

1. Развертывание tag-etl:
   • После компиляции установите, остальные модули зависят от него.
2. Развёртывание tag-web:
   • Фронтенд в tag-web представляет собой скомпилированные статические файлы, рекомендуется не изменять порт для всех файлов конфигурации бэкенда.

Руководство по использованию

Вклад участников

Если у вас есть опыт работы с фронтендом, вы также можете помочь оптимизировать интерфейс. Спасибо за участие!

1. Форк этого репозитория.
2. Создайте новую ветку.
3. Отправьте код.
4. Создайте Pull Request.

Проблемы

hbase

LoadIncrementalHFiles пакет изменился:

• hbase1.2.0: hbase-server.jar org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles
• hbase2.0.2: hbase-server.jar org.apache.hadoop.hbase.tool.LoadIncrementalHFiles

Пакет ·HFileOutputFormat2· изменился:

• hbase1.2.0: hbase-server.jar org.apache.hadoop.hbase.mapreduce.HFileOutputFormat2
• hbase2.0.2: hbase-mapreduce.jar org.apache.hadoop.hbase.mapreduce.HFileOutputFormat2

Base64

Ресурсы

Самые оригинальные виртуальные машины и ресурсы, а также видео

Ссылка: https://pan.baidu.com/s/1j8J316yyyL4-vukdh6L2rg 
Код извлечения: dsxu

Ресурсы, необходимые для этого проекта (база данных MySQL tags tbl_model)

Также можно скачать в doc/tags.zip.

Данные пользователя

Ссылка: https://pan.baidu.com/s/1TgwqFqcYcTM8XjdZO9JIvA Код извлечения: 731v