1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/mirrors-Pegasus

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Клонировать/Скачать
README.md 6.2 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
gitlife-traslator Отправлено 28.11.2024 16:19 4270a34

Apache Pegasus — это распределённая система хранения данных типа «ключ-значение», которая спроектирована так, чтобы быть:

  • горизонтально масштабируемой за счёт распределения данных с помощью хэш-секционирования;
  • строго согласованной благодаря протоколу консенсуса PacificA;
  • высокопроизводительной благодаря использованию RocksDB в качестве основного механизма хранения;
  • простой за счёт чётко определённых и удобных API.

Примечание: ветка master может находиться в нестабильном или даже нерабочем состоянии во время разработки. Пожалуйста, используйте GitHub Releases вместо ветки master, чтобы получить стабильные двоичные файлы.

Apache Pegasus нацелен на то, чтобы заполнить пробел между Redis и HBase. В отличие от первого, который является in-memory системой с низкой задержкой, но не обеспечивает строгой согласованности, Pegasus полностью написан на C++. В отличие от второго, его путь записи опирается только на локальную файловую систему.

Помимо требований к производительности, нам также нужна система хранения, которая обеспечит многоуровневую безопасность данных и поддержку быстрой миграции данных между центрами обработки данных, автоматического балансирования нагрузки и онлайн-разделения разделов.

Особенности

  • Постоянство данных: каждая запись реплицируется трёхсторонне на разные ReplicaServers перед ответом клиенту. Используя протокол PacificA, Pegasus способен обеспечивать строгую согласованность репликации и изменений членства.

  • Автоматическое балансирование нагрузки между ReplicaServers: балансировка нагрузки является встроенной функцией MetaServer, который управляет распределением реплик. Когда кластер находится в несбалансированном состоянии, администратор может вызвать простую команду перебалансировки, которая автоматически планирует миграцию реплики.

  • Холодное резервное копирование: Pegasus поддерживает расширяемый механизм резервного копирования и восстановления для обеспечения безопасности данных. Местоположением снимка может быть распределённая файловая система, такая как HDFS, или локальная файловая система. Снимок, хранящийся в файловой системе, можно дополнительно использовать для анализа на основе pegasus-spark.

  • Внутрикластерная репликация с конечной согласованностью: эта функция называется дублированием. Она позволяет изменениям, внесённым в локальный кластер, стать доступными через короткий промежуток времени для удалённого кластера. Это помогает повысить доступность вашего сервиса и улучшить производительность за счёт доступа только к локальному кластеру.

Начало работы с Pegasus

См. нашу документацию на веб-сайте Pegasus.

Клиентские драйверы

Pegasus имеет... Поддержка нескольких языков:

Свяжитесь с нами

Отправьте электронное письмо в список рассылки разработчиков Apache Pegasus: dev@pegasus.apache.org. Это место, где официально обсуждаются темы разработки, сообщества и проблем. Не забудьте подписаться на список рассылки через dev-subscribe@pegasus.apache.org.

Опубликуйте проблему на GitHub, если у вас есть идеи по улучшению Pegasus или вы столкнулись с какими-либо ошибками или проблемами.

Связанные проекты

Инструменты тестирования:

Java YCSB (https://github.com/xiaomi/pegasus-YCSB)

Инструменты импорта/экспорта данных:

DataX (https://github.com/xiaomi/pegasus-datax)

Лицензия

Copyright 2022 The Apache Software Foundation. Licensed under the Apache License, Version 2.0: http://www.apache.org/licenses/LICENSE-2.0

Опубликовать ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://api.gitlife.ru/oschina-mirror/mirrors-Pegasus.git
git@api.gitlife.ru:oschina-mirror/mirrors-Pegasus.git
oschina-mirror
mirrors-Pegasus
mirrors-Pegasus
master