Что такое Alluxio Open Source

Alluxio Open Source (ранее известный как Tachyon) — это распределенная платформа кэширования для больших данных. Она соединяет вычислительные фреймворки и системы хранения, позволяя вычислительным приложениям подключаться к различным системам хранения через общую интерфейсную среду.

Этот репозиторий GitHub представляет собой открытую версию Alluxio, предназначенную для аналитических нагрузок. Он обеспечивает кэширование и ускорение структурированных данных для аналитики и широко используется с вычислительными системами, такими как Presto, Spark и Trino.Проект Alluxio зародился в исследовательском проекте под названием Tachyon в AMPLab, Университет Калифорнии, Беркли, который был слоем данных в стеке аналитики Беркли (BDAS). Для получения более подробной информации обратитесь к диссертации доктора Хаоюана Ли Alluxio: Виртуальная распределенная файловая система.## Все о открытой версии Alluxio и корпоративных версиях

Открытая версия Alluxio предназначена для аналитических нагрузок. Она ускоряет структурированные данные для аналитики и масштабируется до управления до 100 миллионов файлов. Эта версия Alluxio Open Source доступна бесплатно без поддержки и рекомендована для тестирования, разработки и малых производственных сред.

Для задач с использованием ИИ и машинного обучения, включая обучение моделей, их распространение и выводы на больших объемах данных, Alluxio Enterprise Edition предлагает фундаментально отличающуюся архитектуру с децентрализованной службой метаданных. В результате, она горизонтально масштабируется для поддержки десятков миллиардов файлов и обеспечивает более высокую производительность, а также интеграцию на основе FUSE с POSIX для совместимости с популярными ИИ-фреймворками, такими как PyTorch, TensorFlow и Ray.

Для получения дополнительной информации о Alluxio Enterprise Edition посетите: https://www.alluxio.io/enterprise-ai. Для получения более подробной информации о различиях между изданиями посетите https://www.alluxio.io/editions.

Кто является владельцем и управляющим Alluxio Open Source Project

Alluxio Open Source Foundation является владельцем проекта Alluxio. Управление проектом осуществляется Alluxio Project Management Committee (PMC). Вы можете узнать больше о его структуре и том, как присоединиться к Alluxio PMC здесь.## Сообщество и события

Пожалуйста, используйте следующие ресурсы для связи с членами сообщества:

• Alluxio Community Slack Channel: задавайте свои вопросы здесь, если вы ищете помощь по общим вопросам или проблемам использования Alluxio.
• События сообщества: будущие онлайн-технические доклады, встречи и вебинары.
• Alluxio Twitter; Alluxio Youtube Channel; Alluxio Linkedin.

Скачать Alluxio

Бинарная версия

Предварительно скомпилированные бинарные файлы доступны для скачивания по адресу https://www.alluxio.io/download.

Docker

Скачайте и запустите Alluxio master и worker. Дополнительные детали можно найти в документации.```console

Создайте сеть для подключения контейнеров Alluxio

$ docker network create alluxio_nw

Создайте том для хранения данных UFS

$ docker volume create ufs

Запустите Alluxio master

$ docker run -d --net=alluxio_nw
-p 19999:19999
--name=alluxio-master
-v ufs:/opt/alluxio/underFSStorage
alluxio/alluxio master

Запустите Alluxio worker

$ export ALLUXIO_WORKER_RAMDISK_SIZE=1G $ docker run -d --net=alluxio_nw
--shm-size=${ALLUXIO_WORKER_RAMDISK_SIZE}
--name=alluxio-worker
-v ufs:/opt/alluxio/underFSStorage
-e ALLUXIO_JAVA_OPTS="-Dalluxio.worker.ramdisk.size=${ALLUXIO_WORKER_RAMDISK_SIZE} -Dalluxio.master.hostname=alluxio-master"
alluxio/alluxio worker

```console
$ brew install alluxio

Быстрый старт

Пожалуйста, следуйте руководству для начала работы для запуска простого примера с использованием Alluxio.## Отчет о багах

Чтобы сообщить о багах, предложить улучшения или создать новые запросы на функции, пожалуйста, откройте GitHub Issue. Если вы не уверены, столкнулись ли вы с багами или просто имеете общие вопросы относительно Alluxio, задайте свои вопросы на канале Slack Alluxio.

Зависимость от Alluxio

Проект Alluxio предоставляет несколько различных клиентских артефактов для внешних проектов, чтобы зависеть от клиента Alluxio:

• Артефакт alluxio-shaded-client рекомендуется в целом для проекта, который использует клиента Alluxio. JAR этого артефакта является самодостаточным (включает все зависимости в защищенном виде для предотвращения конфликтов зависимостей), и поэтому он больше по размеру, чем следующие два артефакта.
• Артефакт alluxio-core-client-fs предоставляет API Java файловой системы Alluxio для доступа ко всем специфическим функциям Alluxio. Этот артефакт включен в alluxio-shaded-client.
• Артефакт alluxio-core-client-hdfs предоставляет API совместимой с HDFS файловой системы. Этот артефакт включен в alluxio-shaded-client.

Вот примеры объявления зависимости на alluxio-shaded-client с использованием Maven:

<dependency>
  <groupId>org.alluxio</groupId>
  <artifactId>alluxio-shaded-client</artifactId>
  <version>2.6.0</version>
</dependency>
```## Вклады через pull requests на GitHub с радостью принимаются от их оригинального автора. Вместе с любыми pull requests, пожалуйста, укажите, что данная вклад является вашей оригинальной работой и что вы лицензируете работу под открытым лицензионным соглашением проекта. Независимо от того, указали ли вы это явно, подачей любых материалов с авторским правом через pull requests, электронную почту или другими способами вы соглашаетесь лицензировать материалы под открытым лицензионным соглашением проекта и гарантируете, что у вас есть юридическое право это сделать.

Для более подробного пошагового руководства, пожалуйста, прочитайте [как внести вклад в Alluxio](https://docs.alluxio.io/os/user/stable/ru/contributor/Contributor-Getting-Started.html).

Для новых участников, пожалуйста, выполните два [задания для новых участников](https://github.com/Alluxio/new-contributor-tasks).

## Полезные ссылки

- [Документация](https://documentation.alluxio.io/os-en)
- [Начало работы](https://documentation.alluxio.io/os-en/overview-1/getting-started)
- [Руководство для вкладчиков](https://documentation.alluxio.io/os-en/contributor/contributor-getting-started)
- [Сайт Alluxio](https://www.alluxio.io/)