Каталог моделей и базовых линий

English | Русский

Скачивание: ⏬ Google Drive: Предобученные модели | Переобученные эксперименты ⏬ Baidu Netdisk: Предобученные модели | Переобученные эксперименты

📈 Кривые обучения в WandB

Мы предоставляем:

1. Официальные модели, преобразованные непосредственно из официально выпущенных моделей
2. Переобученные модели с использованием BasicSR. Предобученные модели и примеры логов предоставляются

Вы можете поместить скачанные модели в папку experiments/pretrained_models.

[Скачать официальные предобученные модели] (Google Drive, Baidu Netdisk)

Вы можете использовать скрипт для скачивания предобученных моделей с Google Drive.

python scripts/download_pretrained_models.py ESRGAN
# метод может быть ESRGAN, EDVR, StyleGAN, EDSR, DUF, DFDNet, dlib

[Скачать переобученные модели и логи] (Google Drive, Baidu Netdisk)

Кроме того, мы загружаем процесс обучения и кривые обучения в WandB.

Кривые обучения в WandB

Содержание

1. Изображение сверхразрешения
   1. Официальные модели изображения сверхразрешения
   2. Переобученные модели изображения сверхразрешения
2. Видео сверхразрешения

Изображение сверхразрешения

При оценке:

• Мы вырезаем scale пикселей границы со всех сторон
• Оценивается на каналах RGB

Официальные модели изображения сверхразрешения

Переобученные модели для увеличения разрешения изображений

Конвенция названий экспериментов указана в Config.md.|Имя эксперимента | Set5 (PSNR/SSIM) | Set14 (PSNR/SSIM) | DIV2K100 (PSNR/SSIM) | | :--------------------- | :-----------: | :-----------: |:-----------: | | 001_MSRResNet_x4_f64b16_DIV2K_1000k_B16G1_wandb | 30.2468 / 0.8651 | 26.7817 / 0.7451 | 28.9967 / 0.8195 | | 002_MSRResNet_x2_f64b16_DIV2K_1000k_B16G1_001pretrain_wandb | 35.7483 / 0.9442 | 31.5403 / 0.8937 | 34.6699 / 0.9377 | | 003_MSRResNet_x3_f64b16_DIV2K_1000k_B16G1_001pretrain_wandb | 32.4038 / 0.9032 | 28.4418 / 0.8106 | 30.9726 / 0.8743 | | 004_MSRGAN_x4_f64b16_DIV2K_400k_B16G1_wandb | 28.0158 / 0.8087 | 24.7474 / 0.6623 | 26.6504 / 0.7462 | | | | | | | 201_EDSR_Mx2_f64b16_DIV2K_300k_B16G1_wandb | 35.7395 / 0.944 | 31.4348 / 0.8934 | 34.5798 / 0.937 | | 202_EDSR_Mx3_f64b16_DIV2K_300k_B16G1_201pretrain_wandb | 32.315 / 0.9026 | 28.3866 / 0.8088 | 30.9095 / 0.8731 | | 203_EDSR_Mx4_f64b16_DIV2K_300k_B16G1_201pretrain_wandb | 30.1726 / 0.8641 | 26.721 / 0.743 | 28.9506 / 0.818 | | 204_EDSR_Lx2_f256b32_DIV2K_300k_B16G1_wandb | 35.9792 / 0.9453 | 31.7284 / 0.8959 | 34.9544 / 0.9399 | | 205_EDSR_Lx3_f256b32_DIV2K_300k_B16G1_204pretrain_wandb | 32.6467 / 0.9057 | 28.6859 / 0.8152 | 31.2664 / 0.8793 | | 206_EDSR_Lx4_f256b32_DIV2K_300k_B16G1_204pretrain_wandb | 30.4718 / 0.8695 | 26.9616 / 0.7502 | 29.2621 / 0.8265 |## Увеличение разрешения видео

Оценка

При оценке мы используем все входные кадры и не вырезаем никаких пикселей с границ, если это не указано явно.
Мы не используем стратегию самосборки (тестирование с отражением) и любые другие методы послепроцессинга.

EDVR

Конвенция названий

EDVR_(набор данных обучения)_(название трека)_(сложность модели)- название трека. В НТИРЕ 2019 Challenge по восстановлению и улучшению видео есть четыре трека:

• SR: сверхразрешение с фиксированной функцией понижения разрешения (часто используется MATLAB bicubic downsampling kernel). Большинство предыдущих методов сверхразрешения видео сосредоточены на этом наборе задач.
• SRblur: входные данные также повреждены движением.
• deblur: стандартное удаление движения (движение).
• deblurcomp: движение + артефакты сжатия видео.
• сложность модели
  • L (Большая): количество каналов = 128, количество обратных блоков Residual = 40. Этот набор используется в нашем конкурсе.
  • M (Средняя): количество каналов = 64, количество обратных блоков Residual = 10.

Модели второго этапа для соревнования NTIRE19

DUF

Модели были преобразованы из официально выпущенных моделей.

¹ Y или RGB указывают на оценку по каналу Y (луминанса) или RGB.

² Официальные результаты получены путём запуска официальных кодов и моделей.

³ В отличие от официальных кодов, где используется нулевое заполнение для краевых кадров, мы используем стратегию new_info.

⁴ Y или RGB указывают на оценку по каналу Y (луминанса) или RGB.

TOFМодели были преобразованы из официально выпущенных моделей.

¹ Официальные результаты получены путём запуска официального кода и моделей. Обратите внимание, что TOFlow не предоставляет стратегию восстановления границ кадров, а мы просто используем стратегию replicate для границ кадров.
² Преобразованная модель имеет немного отличающиеся результаты из-за различий в реализации. Мы используем стратегию new_info для границ кадров.
³ Y или RGB указывают на оценку по каналу Y (луминосность) или каналам RGB.