1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/basebit-ai-XFL

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Клонировать/Скачать
usage.md 5.5 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
gitlife-traslator Отправлено 28.11.2024 17:18 886dbbe

Базовый туториал по XFL

Мы предлагаем два способа начать работу с XFL: через Docker или Conda.

Предварительные требования

  • Python: 3.9

  • ОС: MacOS, Linux (поддерживается большинство дистрибутивов, в этом руководстве используется CentOS 7)

  • Процессор/память: рекомендуется конфигурация с минимум 8 ядрами и 16 ГБ памяти

  • Redis

Клонирование репозитория

git clone https://github.com/paritybit-ai/XFL
cd XFL

Использование Docker

Запуск redis-сервера

# Получить образ redis
docker pull redis:7.0.3

# запустить сервер redis и убедиться, что порт 6379 открыт
docker run --name my_redis -p 6379:6379 -d redis:7.0.3

Начало работы с XFL

Запустите образ XFL как контейнер

# получить образ
docker pull basebit/xfl:1.2.0

# начать работу с XFL
docker run -it --entrypoint /bin/bash \
--network container:my_redis \
-v $PWD/demo:/opt/app/xfl/demo \
-v /opt/dataset:/opt/dataset \
-v /opt/config:/opt/config \
-v /opt/log:/opt/log \
-v /opt/checkpoints:/opt/checkpoints \
basebit/xfl:1.4.0

Быстрый старт демо

Запуск внутри контейнера Docker

cd demo/vertical/logistic_regression/2party
sh run.sh

Использование Conda

Подготовка среды

Рекомендуется использовать anaconda для создания виртуальной среды.

conda create -n xfl python=3.9.7

conda activate xfl

Установите redis и другие зависимости

# Ubuntu
apt install redis-server

# CentOS
yum install epel-release
yum install redis

# MacOS
brew install redis
brew install coreutils

установите зависимости Python

# обновить pip
pip install -U pip

# установить зависимости
pip install -r requirements.txt

Быстрый запуск демо

Запуск в автономном режиме

# задать разрешение
sudo chmod 755 /opt

# войти в каталог проекта
cd demo/vertical/logistic_regression/2party

# активировать виртуальную среду
conda activate xfl

# запустить redis-сервер (пропустить, если он уже запущен)
redis-server & # для Ubuntu и MacOS

systemctl start redis # для CentOS

# запустить демонстрацию
sh run.sh

Демонстрационный туториал

Мы предоставляем различные примеры в каталоге demo проекта.

demo
├── horizontal
│   ├── logistic_regression
│   └── resnet
├── local
│   ├── normalization
│   └── standard_scaler
├── vertical
│   ├── binning_woe_iv
│   ├── feature_selection
│   ├── kmeans
│   ├── logistic_regression
│   ├── pearson
│   └── xgboost
└── ...

В каждом подкаталоге предоставляется исполняемый скрипт для демонстрации. Например, следующие команды запускают вертикальную логистическую регрессию (две стороны).

cd demo/vertical/logistic_regression/2party

sh run.sh
  • Для работы с конфигурацией по умолчанию требуются права на чтение и запись в каталог \opt. Если разрешение не может быть получено, следует изменить конфигурацию в соответствующем подкаталоге.
  • После запуска задачи автоматически назначается JOB_ID. По этому JOB_ID можно получить выходные файлы и файлы журналов задачи.
  • После выполнения задач будет напечатано сообщение журнала INFO: All Stage Successful., указывающее на успешное выполнение всех задач.

Успешно выполненная вертикальная логистическая регрессия (две партии) создаёт следующие файлы:

/opt
├── checkpoints         # путь к модели
│   ├── ...
│   └── 4               # [JOB_ID]
│       ├── node-1      # выходной каталог для узла-1 (включая файл модели)
│       │   ├── vertical_logistic_regression_guest.pt
│       │   └── ...     
│       └── node-2      # выходной каталог для узла-2 (включая файл модели)
│           ├── vertical_logistic_regression_host.pt
│           └── ...     
└── log
    └── 4               # [JOB_ID]
        └── xfl.log     # файл журнала

После завершения задачи можно очистить остаточные процессы с помощью следующего скрипта.

# очистить остаточные процессы
sh stop.sh

Опубликовать ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://api.gitlife.ru/oschina-mirror/basebit-ai-XFL.git
git@api.gitlife.ru:oschina-mirror/basebit-ai-XFL.git
oschina-mirror
basebit-ai-XFL
basebit-ai-XFL
master