Закончено, отобразите список промежуточных сохранённых путей.

• Worker Metrix: отобразите информацию об использовании ресурсов каждого рабочего. Как показано ниже:

4 Совместимость с кодом нативных фреймворков

За исключением автоматического построения ClusterSpec в распределённом режиме TensorFlow, программа в автономном режиме TensorFlow и других фреймворках глубокого обучения может быть выполнена непосредственно в XLearning.

Инструкции по компиляции и развёртыванию

1 Требования к среде компиляции

— JDK >= 1.7; — Maven >= 3.3.

2 Метод компиляции

Выполните следующую команду в корневом каталоге исходного кода:

mvn package. После компиляции в target в корневом каталоге будет создан дистрибутивный пакет с именем xlearning-1.1-dist.tar.gz. Распаковав дистрибутивный пакет, в корневом каталоге будут созданы следующие подкаталоги:

— bin: скрипты для фиксации приложения; — lib: jar-файлы для XLearning и зависимостей; — conf: файлы конфигурации; — sbin: скрипты для службы истории; — data: данные и файлы для примеров; — examples: примеры XLearning.

3 Требования к среде развёртывания

— CentOS 7.2; — Java >= 1.7; — Hadoop = 2.6, 2.7, 2.8; — [необязательно] Зависимая среда для фреймворков глубокого обучения на узлах кластера, таких как TensorFlow, numpy, Caffe.

4 Руководство по развёртыванию клиента XLearning

В каталоге «conf» распакованного дистрибутивного пакета $XLEARNING_HOME настройте связанные файлы:

— xlearning-env.sh: установите переменные среды, такие как:

• JAVA_HOME;
• HADOOP_CONF_DIR;

— xlearning-site.xml: настройте соответствующие свойства. Обратите внимание, что свойства, связанные со службой истории, должны соответствовать тому, что было настроено при запуске службы истории. Для получения более подробной информации см. часть «Конфигурация» (./doc/configure.md).

— log4j.properties: настройте уровень журнала.

5 Способ запуска службы истории XLearning [Необязательно]

— Запустите $XLEARNING_HOME/sbin/start-history-server.sh.

Быстрый старт

Используйте $XLEARNING_HOME/bin/xl-submit, чтобы отправить приложение в кластер на клиенте XLearning. Вот пример отправки для приложения TensorFlow.

1 Загрузите данные в HDFS

Загрузите каталог «data» в корне распакованного дистрибутива в HDFS:

cd $XLEARNING_HOME
hadoop fs -put data /tmp/

2 Отправьте

cd $XLEARNING_HOME/examples/tensorflow
$XLEARNING_HOME/bin/xl-submit \
   --app-type "tensorflow" \
   --app-name "tf-demo" \
   --input /tmp/data/tensorflow#data \
   --output /tmp/tensorflow_model#model \
   --files demo.py,dataDeal.py \
   --launch-cmd "python demo.py --data_path=./data --save_path=./model --log_dir=./eventLog --training_epochs=10" \
   --worker-memory 10G \
   --worker-num 2 \
   --worker-cores 3 \
   --ps-memory 1G \
   --ps-num 1 \
   --ps-cores 2 \
   --queue default \

Значение параметров следующее:

Для получения дополнительной информации установите часть «Параметры отправки» (./doc/submit.md). Авторы

XLearning разработан, создан, проверен и протестирован командой на GitHub:

• @Yuance Li,
• @Wen OuYang,
• @Runying Jia,
• @YuHan Jia,
• @Lei Wang.

Свяжитесь с нами

Почта: g-xlearning-dev@360.cn QQ группа: 588356340