1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/fastdfs100-FastCFS

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Клонировать/Скачать
README-zh_CN.md 12 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
Отправлено 15.03.2025 23:09 7748a78

FastCFS — высокопроизводительная распределённая файловая система с обеспечением согласованности данных

English version | Russian

1. Введение

FastCFS — это распределённая файловая система с обеспечением согласованности данных, которая характеризуется высокой производительностью, надёжностью и способна поддерживать миллиарды файлов. Она может использоваться в качестве back-end хранилища для баз данных MySQL, PostgreSQL, Oracle, а также для систем k8s, KVM, FTP, SMB и NFS.

Основные характеристики FastCFS

  • Обеспечивает высокую производительность при условии гарантии согласованности данных: превосходит Ceph по производительности;

  • Полностью совместима с POSIX файловыми интерфейсами, поддерживает блокировки файлов, 64 ГБ оперативной памяти достаточно для работы с миллиардами файлов;

  • Высокий уровень доступности: отсутствие единой точки отказа, автоматическое переключение failover;

  • Эффективная архитектура и нативная реализация, не требует использования сторонних компонентов, имеет встроенные средства управления, что делает её удобной для использования;

  • Отличная производительность случайного чтения/записи: FCFS использует trunk для последовательного выделения пространства, преобразуя случайные записи клиентов в последовательные записи.### Примеры типичных применений FastCFS

  • Базы данных: Поддерживает два типа хранения данных — обычное одиночное использование и продвинутое совместное использование, что позволяет использовать базы данных в облачных средах;

  • Хранение файлов: Например, документы, изображения, видео и т.д.; FastCFS проще интегрировать с общими программами по сравнению с объектными хранилищами;

  • Унифицированное хранение: Базы данных и файловое хранилище используют одинаковый кластер хранения, что значительно повышает эффективность использования хранилищ;

  • Высокоэффективные вычисления: Надёжная и высокопроизводительная FastCFS поддерживает RDMA, что делает её идеальной для высокоэффективных вычислений;

  • Видеонаблюдение: FastCFS использует метод последовательной записи, что позволяет использовать SATA жесткие диски для обеспечения бесперебойной записи нескольких видеотрансляций.

2. Версия: V5.3.3

Основные версии FastCFS

3. Поддерживаемые операционные системы

  • Linux: Ядро версии >= 3.10 (полная поддержка, рекомендуются версии 4.18 и выше)
  • macOS или FreeBSD (поддерживаются только серверные части, FUSE не поддерживается)

4. Зависимости* libfuse (версия 3.9.4 или выше, рекомендуется 3.10.5)

* [Python](https://python.org/) (версия 3.5 или выше)
* [Ninja](https://ninja-build.org/) (версия 1.7 или выше)
* [gcc](https://www.gnu.org/software/gcc/) (версия 4.7.0 или выше)

5. Развертывание и эксплуатацияFastCFS включает шесть установочных пакетов: libfastcommon, libserverframe, libdiskallocator, fastDIR, faststore и FastCFS.

Одноклик развертывание

Если вы хотите быстро протестировать FastCFS, можно использовать одноклик скрипт для развертывания одного узла (необходимо выполнение от имени root):

git clone https://gitee.com/fastdfs100/FastCFS.git; cd FastCFS/
./helloWorld.sh

# Внимание: helloWorld.sh изменяет конфигурационные файлы FastCFS, поэтому не выполняйте его на многонодном кластере!

После выполнения указанных команд выполните следующую команду:

df -h /opt/fastcfs/fuse | grep fuse

Вы должны видеть монтированный файловый каталог FastCFS, который можно использовать как локальный файловый системный каталог.

Дополнительные сведения об одноклик развертывании см. здесь детали одноклик развертывания.

Инструменты для управления кластерами

Рекомендуется использовать инструменты для управления кластерами FastCFS

Самостоятельное развертывание

Если вы планируете самостоятельно развернуть среду FastCFS, вы можете выбрать один из трёх методов установки:

После завершения установки FastCFS рекомендуется ознакомиться с руководством по конфигурации.

Расширение кластера

Подробности см. в руководстве по расширению кластера FastCFS.

6. Оценка производительности

Производительность FastCFS значительно превышает Ceph: последовательная запись в 6,5 раза быстрее, последовательное чтение в 2,5 раза быстрее, а случайная запись примерно в 2 раза быстрее.

7. Драйвер Kubernetes CSI

См. проект fastcfs-csi.

8. Технические статьи

См. технический блог.

9. Часто задаваемые вопросы

См. часто задаваемые вопросы FastCFS.## 10. Запланированные работы* [fstore] Восстановление данных после восстановления одного диска от однопланирового отказа (завершено)

  • [fstore] Перебалансировка мастера после восстановления машины или кратковременного сетевого сбоя (завершено)
  • [fauth & fdir & fstore] Поддержка принципа большинства при выборе лидера для предотвращения разделения системы (завершено)
  • [fauth & fdir & fstore] Реализация общего узла голосования для двойной репликации против разделения системы (завершено)
  • [fdir & fstore] Удаление дубликатов binlog и очистка исторических данных (завершено)
  • [fdir & fstore] Использование механизма подтверждения большинства для обеспечения согласованности и надежности данных при записи (завершено)
  • [fdir & fstore] Интеллектуальное использование механизма подтверждения большинства для двух реплик (завершено)
  • [fstore] Оптимизация производительности чтения и записи файлов (завершено)
  • [fdir & api] Тестирование и улучшение совместимости с POSIX (завершено)
  • [fstore] Разработка плагина хранилища slice для поддержки огромного объёма данных в ограниченной памяти (завершено)
  • [все] Адаптация RDMA сети для преодоления ограничений сети (завершено)
  • [fdir] Поддержка корзины для удалённых файлов, чтобы избежать ошибочного удаления файлов (в процессе)
  • [все] Поддержка онлайн расширения кластера См. больше TODO List, всем приветствуем участие.## 11. Коммерческая поддержка

Мы предоставляем коммерческую техническую поддержку и кастомизацию, приветствуем обращение через WeChat или электронную почту.

Электронная почта: 384681(at)qq(dot)com

12. Контакт с нами

Чтобы следить за техническими статьями FastCFS, пожалуйста, подписывайтесь на наш WeChat:

WeChat

Группа общения в WeChat:

WeChat группа

Опубликовать ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://api.gitlife.ru/oschina-mirror/fastdfs100-FastCFS.git
git@api.gitlife.ru:oschina-mirror/fastdfs100-FastCFS.git
oschina-mirror
fastdfs100-FastCFS
fastdfs100-FastCFS
master