OSCHINA-MIRROR/mirrors-Alluxio

Что такое Alluxio

Alluxio (ранее известный как Tachyon) — это виртуальная распределенная система хранения. Она соединяет разработки в области вычислений и систем хранения, позволяя вычислительным приложениям подключаться к множеству систем хранения через общий интерфейс. Подробнее о Обзоре Alluxio.

Проект Alluxio зародился из исследовательского проекта под названием Tachyon в AMPLab, Университет Калифорнии, Беркли, который был слоем данных в стеке аналитики данных Беркли (BDAS). Для получения дополнительной информации обратитесь к диссертации доктора философии Хаоюана Ли Alluxio: Виртуальная распределенная файловая система.## Кто использует Alluxio

Alluxio используется в производственных условиях для управления петабайтами данных в ведущих компаниях, с крупнейшим развертыванием, превышающим 3000 узлов. Вы можете найти больше примеров использования на Powered by Alluxio или посетить нашу первую конференцию сообщества (Data Orchestration Summit) для изучения опыта других участников сообщества!

Кто владеет и управляет проектом Alluxio

Фонд Alluxio Open Source является владельцем проекта Alluxio. Управление проектом осуществляется Комитетом по управлению проектом Alluxio (PMC). Дополнительные детали можно найти в структуре комитета и информации о том, как присоединиться к Alluxio PMC здесь.

Сообщество и мероприятия

Для связи с членами сообщества используйте следующие ресурсы:* Канал Slack сообщества Alluxio: задавайте здесь свои вопросы, если вам требуется помощь по общим вопросам или проблемам использования Alluxio.

Специализированные группы интересов (SIG) для пользователей и разработчиков Alluxio
Мероприятия сообщества: ближайшие онлайн часы работы, встречи и вебинары
Группы встреч: Глобальная онлайн встреча, Встреча в Бэй-Аре, Встреча в Нью-Йорке, Встреча в Пекине, Встреча в Остине
Twitter Alluxio; Канал YouTube Alluxio; Почтовый список Alluxio## Скачать Alluxio

Бинарная версия

Предварительно скомпилированные бинарные файлы доступны для загрузки по адресу https://www.alluxio.io/download.

Docker

Загрузите и запустите Alluxio master и worker. Подробнее можно узнать в документации.

# Создайте сеть для подключения контейнеров Alluxio
$ docker network create alluxio_nw
# Создайте том для хранения данных ufs
$ docker volume create ufs
# Запустите Alluxio master
$ docker run -d --net=alluxio_nw \
    -p 19999:19999 \
    --name=alluxio-master \
    -v ufs:/opt/alluxio/underFSStorage \
    alluxio/alluxio master
# Запустите Alluxio worker
$ export ALLUXIO_WORKER_RAMDISK_SIZE=1G
$ docker run -d --net=alluxio_nw \
    --shm-size=${ALLUXIO_WORKER_RAMDISK_SIZE} \
    --name=alluxio-worker \
    -v ufs:/opt/alluxio/underFSStorage \
    -e ALLUXIO_JAVA_OPTS="-Dalluxio.worker.ramdisk.size=${ALLUXIO_WORKER_RAMDISK_SIZE} -Dalluxio.master.hostname=alluxio-master" \
    alluxio/alluxio worker

MacOS Homebrew

$ brew install alluxio

Быстрый старт

Для запуска простого примера с использованием Alluxio следуйте руководству по началу работы.

Отправка отчета о баге

Чтобы отправить отчет о баге, предложить улучшения или создать новые запросы на функции, пожалуйста, открыть Github Issue. Если вы не уверены, сталкиваетесь ли вы с багами или просто имеете общие вопросы по поводу Alluxio, задайте свои вопросы на канале Alluxio Slack.

Зависимость от Alluxio

Проект Alluxio предоставляет несколько различных клиентских артефактов для внешних проектов, чтобы зависеть от клиента Alluxio:- Артефакт alluxio-shaded-client рекомендуется использовать в проекте в общем случае для доступа к клиенту Alluxio. JAR этого артефакта является самодостаточным (включая все зависимости в заштрихованной форме для предотвращения конфликтов зависимостей), и поэтому он больше по размеру, чем следующие два артефакта.

Артефакт alluxio-core-client-fs предоставляет API Java файловой системы Alluxio для доступа ко всем специфическим функциям Alluxio. Этот артефакт включен в alluxio-shaded-client.
Артефакт alluxio-core-client-hdfs предоставляет API файловой системы, совместимой с HDFS. Этот артефакт включен в alluxio-shaded-client.

Вот примеры для объявления зависимости на alluxio-shaded-client с помощью Maven:

<dependency>
  <groupId>org.alluxio</groupId>
 <artifactId>alluxio-shaded-client</artifactId>
  <version>2.6.0</version>
</dependency>

ВкладВклады через pull requests GitHub с радостью принимаются от их оригинального автора. Вместе с каждым pull request, пожалуйста, укажите, что вклад является вашим оригинальным произведением и что вы лицензируете работу под открытой лицензией исходного кода проекта. Независимо от того, указываете ли вы это явно, отправляя любую защищённую авторским правом работу через pull request, электронную почту или другими способами, вы соглашаетесь лицензировать работу под открытой лицензией исходного кода проекта и гарантируете, что у вас есть юридическое право это делать.

Для более подробного пошагового руководства, пожалуйста, прочитайте как вносить вклад в Alluxio. Для новых вкладчиков, пожалуйста, выполните два задания для новых вкладчиков. Для запросов на продвинутые функции и вклады, команда Alluxio core проводит регулярные онлайн-встречи с пользователями и разработчиками сообщества для улучшения проекта в двух специализированных группах интересов:* Alluxio и работы с ИИ: например, запуск TensorFlow, PyTorch на Alluxio через POSIX API. Просмотрите протоколы встреч

Alluxio и работы с Presto: например, запуск Presto на Alluxio. Просмотрите протоколы встреч

Подпишитесь на наш публичный календарь для участия в наших встречах.