Apache Pegasus — это распределённая система хранения данных типа «ключ-значение», которая спроектирована так, чтобы быть:
Примечание: ветка master может находиться в нестабильном или даже нерабочем состоянии во время разработки. Пожалуйста, используйте GitHub Releases вместо ветки master, чтобы получить стабильные двоичные файлы.
Apache Pegasus нацелен на то, чтобы заполнить пробел между Redis и HBase. В отличие от первого, который является in-memory системой с низкой задержкой, но не обеспечивает строгой согласованности, Pegasus полностью написан на C++. В отличие от второго, его путь записи опирается только на локальную файловую систему.
Помимо требований к производительности, нам также нужна система хранения, которая обеспечит многоуровневую безопасность данных и поддержку быстрой миграции данных между центрами обработки данных, автоматического балансирования нагрузки и онлайн-разделения разделов.
Постоянство данных: каждая запись реплицируется трёхсторонне на разные ReplicaServers перед ответом клиенту. Используя протокол PacificA, Pegasus способен обеспечивать строгую согласованность репликации и изменений членства.
Автоматическое балансирование нагрузки между ReplicaServers: балансировка нагрузки является встроенной функцией MetaServer, который управляет распределением реплик. Когда кластер находится в несбалансированном состоянии, администратор может вызвать простую команду перебалансировки, которая автоматически планирует миграцию реплики.
Холодное резервное копирование: Pegasus поддерживает расширяемый механизм резервного копирования и восстановления для обеспечения безопасности данных. Местоположением снимка может быть распределённая файловая система, такая как HDFS, или локальная файловая система. Снимок, хранящийся в файловой системе, можно дополнительно использовать для анализа на основе pegasus-spark.
Внутрикластерная репликация с конечной согласованностью: эта функция называется дублированием. Она позволяет изменениям, внесённым в локальный кластер, стать доступными через короткий промежуток времени для удалённого кластера. Это помогает повысить доступность вашего сервиса и улучшить производительность за счёт доступа только к локальному кластеру.
См. нашу документацию на веб-сайте Pegasus.
Pegasus имеет... Поддержка нескольких языков:
Отправьте электронное письмо в список рассылки разработчиков Apache Pegasus: dev@pegasus.apache.org. Это место, где официально обсуждаются темы разработки, сообщества и проблем. Не забудьте подписаться на список рассылки через dev-subscribe@pegasus.apache.org.
Опубликуйте проблему на GitHub, если у вас есть идеи по улучшению Pegasus или вы столкнулись с какими-либо ошибками или проблемами.
Инструменты тестирования:
Java YCSB (https://github.com/xiaomi/pegasus-YCSB)
Инструменты импорта/экспорта данных:
DataX (https://github.com/xiaomi/pegasus-datax)
Copyright 2022 The Apache Software Foundation. Licensed under the Apache License, Version 2.0: http://www.apache.org/licenses/LICENSE-2.0
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Опубликовать ( 0 )