1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/jdcloud-bds-bds

Клонировать/Скачать
Внести вклад в разработку кода
Синхронизировать код
Отмена
Подсказка: Поскольку Git не поддерживает пустые директории, создание директории приведёт к созданию пустого файла .keep.
Loading...
README.md

БДС

Введение

JD Cloud Blockchain Data Service (BDS) — это сервис для сбора, анализа и визуализации данных в реальном времени из цепочечных неструктурированных данных из всех видов сторонних блокчейнов.

Splitter — ключевой модуль Blockchain Data Service (BDS), обеспечивающий возможность анализа данных.

Splitter отвечает за потребление данных блокчейна из очереди сообщений (kafka) и вставку данных в постоянные службы хранения данных (реляционная база данных, хранилище данных и т. д.) для дальнейшей обработки.

Архитектура

Архитектура

Развёртывание среды

Установка BDS

Инициализация среды

Перед компиляцией и запуском BDS необходимо установить среду компиляции go локально: go install.

Шаги по установке Splitter

  1. Задайте путь проекта: $GOPATH/src/github.com/jdcloud-bds/bds/
  2. Введите go build -v github.com/jdcloud-bds/bds/cmd/bds-splitter, скомпилируйте, чтобы получить исполняемый файл bds-splitter.
  3. Создайте новый файл конфигурации splitter.conf, см. шаблон файла конфигурации /config/splitter_example.conf.
  4. Запустите программу ./bds-splitter -c splitter.conf

Установите confluent и kafka

Установите kafka

См. kafka.

Измените config/server.properties
  • message.max.bytes=1048576000

Установите confluent

см. confluent

Распакуйте пакет confluent и запустите Confluent REST Proxy.

Измените /etc/kafka-rest/kafka-rest.properties
  • max.request.size = 1048576000
  • buffer.memory = 1048576000
  • send.buffer.bytes = 1048576000

База данных

В настоящее время мы поддерживаем SQL Server, PostgreSQL, вы можете выбрать один из них в качестве метода хранения данных.

SQL Server

Купите JCS For SQL Server.

PostgreSQL

Купите JCS For PostgreSQL.

После запуска базы данных вам необходимо вручную создать новую базу данных и использовать имя базы данных для инициализации splitter.conf.

Установить Grafana

См. официальный сайт Grafana.

Исходный код

Модули Splitter.

Этапы разработки

  1. Определите структуру данных сообщений Kafka.
  2. Определите структуру таблицы.
  3. Проанализируйте сообщение Kafka и сохраните данные в базе данных.

Вклад

Руководство по внесению вклада.

Лицензия

Apache License 2.0.

Демонстрация проекта

Blockchain Data Service

Комментарии ( 0 )

Вы можете оставить комментарий после Вход в систему

Введение

Анализировать данные блокчейна и сохранять результаты в базе данных/хранилище данных. Развернуть Свернуть
Apache-2.0
Отмена

Обновления

Пока нет обновлений

Участники

все

Недавние действия

Загрузить больше
Больше нет результатов для загрузки
1
https://api.gitlife.ru/oschina-mirror/jdcloud-bds-bds.git
git@api.gitlife.ru:oschina-mirror/jdcloud-bds-bds.git
oschina-mirror
jdcloud-bds-bds
jdcloud-bds-bds
master