ЭТОТ РЕПОЗИТОРИЙ БЫЛ УЧАСТРОЕН И НЕ ПРЕДНАЗНАЧЕН ДЛЯ АКТИВНОГО ОБСЛУЖИВАНИЯ

Beringei

Высокопроизводительный движок хранения временных рядов в памяти

Осенью 2015 года мы опубликовали статью "Gorilla: Быстрый масштабируемый временной рядовый базовый двигатель данных" на конференции VLDB 2015. Beringei представляет собой открытое программное обеспечение, основанное на идеях этой статьи.

Beringei — это высокопроизводительный движок хранения временных рядов. Временные ряды часто используются как представление статистических данных, счетчиков и гауссовских показателей для мониторинга производительности и здоровья системы.

Возможности

Beringei имеет следующие возможности:* Поддержка очень быстрой работы с данными в памяти, с использованием диска для обеспечения постоянства данных. Запросы к хранилищу всегда выполняются из памяти для максимальной скорости выполнения запросов, но при этом данные записываются на диск, чтобы процесс мог быть перезапущен или перемещён с минимальной потерей времени и без потери данных.

• Очень эффективный алгоритм сжатия потока данных. Наши алгоритмы сжатия потока данных способны сжимать реальные временные ряды данных более чем на 90%. Алгоритм сжатия "differencing of differencing", используемый Beringei, также является быстрым — мы видим, что одна машина может сжимать более 1,5 миллиона значений данных в секунду.
• Реализация распределенного сервиса с клиентской реализацией.
• Реализация HTTP-сервиса, которая позволяет прямую интеграцию с Grafana.## Как использовать Beringei?

Beringei можно использовать одним из двух способов.

1. Мы создали простой распределённый сервис с клиентской реализацией, который может хранить и обслуживать запросы к временным рядам.
2. Вы можете использовать Beringei как встроенную библиотеку для управления низкоуровневыми деталями эффективного хранения временных рядов. Использование Beringei таким образом аналогично RocksDB — библиотека Beringei может служить высокопроизводительной системой хранения данных для вашего решения по мониторингу производительности.

Требования

Beringei протестирован и работает на:

• Ubuntu 16.10

Мы также зависим от этих открытых проектов:

• fbthrift
• folly
• wangle
• proxygen
• gtest
• gflags

Установка Beringei

Наши инструкции предназначены для Ubuntu OnClickListener 16.10, но вы, вероятно, сможете модифицировать скрипты установки и указания, чтобы они работали с другими линуксовыми дистрибутивами.

• Выполните команду sudo ./setup_ubuntu.sh.

• Соберите Beringei.

mkdir build && cd build && cmake .. && make

• Создайте конфигурационный файл Beringei.

./beringei/tools/beringei_configuration_generator --host_names $(hostname) --file_path /tmp/beringei.json

• Запустите Beringei.

./beringei/service/beringei_main \
    -beringei_configuration_path /tmp/beringei.json \
    -create_directories \
    -sleep_between_bucket_finalization_secs 60 \
    -allowed_timestamp_behind 300 \
    -bucket_size 600 \
    -buckets $((86400/600)) \
    -logtostderr \
    -v=2
```- Отправьте данные.

```bash
while [[ 1 ]]; do
    ./beringei/tools/beringei_put \
        -beringei_configuration_path /tmp/beringei.json \
        testkey $(( RANDOM ))
        -logtostderr -v 3
    sleep 30
done

• Прочитайте данные обратно.

./beringei/tools/beringei_get \
    -beringei_configuration_path /tmp/beringei.json \
    testkey \
    -logtostderr -v 3

Лицензия

Beringei распространяется под лицензией BSD. Мы также предоставляем дополнительное патентное соглашение.