1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/xinntao-BasicSR

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Клонировать/Скачать
TrainTest.md 6.4 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
Отправлено 11.03.2025 09:08 d8428c6

Обучение и тестирование

Английский | Китайский

Пожалуйста, выполните команды в корневой директории BasicSR.
Общие шаги обучения и тестирования следующие:

  1. Подготовка набора данных. Для получения более подробной информации обратитесь к DatasetPreparation.md
  2. Изменение конфигурационных файлов. Конфигурационные файлы находятся в папке options. Дополнительная информация по настройке доступна в разделе Config
  3. [Необязательно] В случае использования предварительно обученной модели для тестирования вам может потребоваться её загрузка. Информация доступна в разделе ModelZoo
  4. Выполнение команд. Используйте команды обучения или команды тестирования соответственно.

Содержание

  1. Команды обучения
    1. Одиночное обучение на одном GPU
    2. Распределённое обучение на нескольких GPU
    3. Обучение с использованием Slurm
  2. Команды тестирования
    1. Тестирование на одном GPU
    2. Распределённое тестирование на нескольких GPU
    3. Тестирование с использованием Slurm

Команды обучения

Одиночное обучение на одном GPU

PYTHONPATH="./:${PYTHONPATH}" \\
CUDA_VISIBLE_DEVICES=0 \\
python basicsr/train.py -opt options/train/SRResNet_SRGAN/train_MSRResNet_x4.yml
```### Распределённое обучение

**На 8 GPU**

```bash
PYTHONPATH="./:${PYTHONPATH}" \\
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \\
python -m torch.distributed.launch --nproc_per_node=8 --master_port=4321 basicsr/train.py -opt options/train/EDVR/train_EDVR_M_x4_SR_REDS_woTSA.yml --launcher pytorch

или

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \\
./scripts/dist_train.sh 8 options/train/EDVR/train_EDVR_M_x4_SR_REDS_woTSA.yml

На 4 GPU

PYTHONPATH="./:${PYTHONPATH}" \\
CUDA_VISIBLE_DEVICES=0,1,2,3 \\
python -m torch.distributed.launch --nproc_per_node=4 --master_port=4321 basicsr/train.py -opt options/train/EDVR/train_EDVR_M_x4_SR_REDS_woTSA.yml --launcher pytorch

или

CUDA_VISIBLE_DEVICES=0,1,2,3 \\
./scripts/dist_train.sh 4 options/train/EDVR/train_EDVR_M_x4_SR_REDS_woTSA.yml

Обучение с использованием Slurm

Введение в Slurm

На 1 GPU

PYTHONPATH="./:${PYTHONPATH}" \\
GLOG_vmodule=MemcachedClient=-1 \\
srun -p [partition] --mpi=pmi2 --job-name=MSRResNetx4 --gres=gpu:1 --ntasks=1 --ntasks-per-node=1 --cpus-per-task=6 --kill-on-bad-exit=1 \\
python -u basicsr/train.py -opt options/train/SRResNet_SRGAN/train_MSRResNet_x4.yml --launcher="slurm"

На 4 GPU

PYTHONPATH="./:${PYTHONPATH}" \\
GLOG_vmodule=MemcachedClient=-1 \\
srun -p [partition] --mpi=pmi2 --job-name=EDVRMwoTSA --gres=gpu:4 --ntasks=4 --ntasks-per-node=4 --cpus-per-task=4 --kill-on-bad-exit=1 \\
python -u basicsr/train.py -opt options/train/EDVR/train_EDVR_M_x4_SR_REDS_woTSA.yml --launcher="slurm"

На 8 GPU

PYTHONPATH="./:${PYTHONPATH}" \\
GLOG_vmodule=MemcachedClient=-1 \\
srun -p [partition] --mpi=pmi2 --job-name=EDVRMwoTSA --gres=gpu:8 --ntasks=8 --ntasks-per-node=8 --cpus-per-task=6 --kill-on-bad-exit=1 \\
python -u basicsr/train.py -opt options/train/EDVR/train_EDVR_M_x4_SR_REDS_woTSA.yml --launcher="slurm"

Команды тестирования

Одиночное тестирование с одной видеокартой (GPU)

PYTHONPATH="./:${PYTHONPATH}" \\
CUDA_VISIBLE_DEVICES=0 \\
python basicsr/test.py -opt options/test/SRResNet_SRGAN/test_MSRResNet_x4.yml
```### Распределённое тестирование

**8 видеокарт (GPU)**

> PYTHONPATH="./:${PYTHONPATH}" \\
> CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \\
> python -m torch.distributed.launch --nproc_per_node=8 --master_port=4321 basicsr/test.py -opt options/test/EDVR/test_EDVR_M_x4_SR_REDS.yml --launcher pytorch

или

> CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \\
> ./scripts/dist_test.sh 8 options/test/EDVR/test_EDVR_M_x4_SR_REDS.yml

**4 видеокарты (GPU)**

> PYTHONPATH="./:${PYTHONPATH}" \\
> CUDA_VISIBLE_DEVICES=0,1,2,3 \\
> python -m torch.distributed.launch --nproc_per_node=4 --master_port=4321 basicsr/test.py -opt options/test/EDVR/test_EDVR_M_x4_SR_REDS.yml --launcher pytorch

или

> CUDA_VISIBLE_DEVICES=0,1,2,3 \\
> ./scripts/dist_test.sh 4 options/test/EDVR/test_EDVR_M_x4_SR_REDS.yml

### Тестирование с использованием Slurm

[Обзор Slurm](https://slurm.schedmd.com/quickstart.html)

**1 видеокарта (GPU)**

> PYTHONPATH="./:${PYTHONPATH}" \\
> GLOG_vmodule=MemcachedClient=-1 \\
> srun -p [partition] --mpi=pmi2 --job-name=test --gres=gpu:1 --ntasks=1 --ntasks-per-node=1 --cpus-per-task=6 --kill-on-bad-exit=1 \\
> python -u basicsr/test.py -opt options/test/SRResNet_SRGAN/test_MSRResNet_x4.yml --launcher="slurm"

**4 видеокарты (GPU)**

> PYTHONPATH="./:${PYTHONPATH}" \\
> GLOG_vmodule=MemcachedClient=-1 \\
> srun -p [partition] --mpi=pmi2 --job-name=test --gres=gpu:4 --ntasks=4 --ntasks-per-node=4 --cpus-per-task=4 --kill-on-bad-exit=1 \\
> python -u basicsr/test.py -opt options/test/EDVR/test_EDVR_M_x4_SR_REDS.yml --launcher="slurm"

**8 видеокарт (GPU)**

> PYTHONPATH="./:${PYTHONPATH}" \\
> GLOG_vmodule=MemcachedClient=-1 \\
> srun -p [partition] --mpi=pmi2 --job-name=test --gres=gpu:8 --ntasks=8 --ntasks-per-node=8 --cpus-per-task=6 --kill-on-bad-exit=1 \\
> python -u basicsr/test.py -opt options/test/EDVR/test_EDVR_M_x4_SR_REDS.yml --launcher="slurm"

Опубликовать ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://api.gitlife.ru/oschina-mirror/xinntao-BasicSR.git
git@api.gitlife.ru:oschina-mirror/xinntao-BasicSR.git
oschina-mirror
xinntao-BasicSR
xinntao-BasicSR
master