SwinIR: модель для восстановления изображений на основе Swin Transformer

1. Введение

Структура SwinIR относительно проста. Если вы видели Swin-Transformer, то трудностей не возникнет. Авторы представляют структуру Swin-T для задач низкоуровневого зрения, включая реконструкцию суперразрешения изображения, удаление шума и артефактов сжатия изображения. Сеть SwinIR состоит из модуля извлечения неглубоких признаков, модуля извлечения глубоких признаков и модуля реконструкции. Модуль реконструкции использует разные структуры для разных задач.

Извлечение неглубоких признаков представляет собой свёрточный слой 3×3. Извлечение глубоких признаков состоит из k блоков RSTB и свёрточного слоя плюс остаточные соединения. Каждый блок RSTB (Res-Swin-Transformer-Block) состоит из L STL и слоя свёртки плюс остаточных соединений. Структура модели показана на следующем рисунке:

Для более подробного ознакомления с моделью обратитесь к оригинальной статье «SwinIR: Image Restoration Using Swin Transformer», PaddleGAN в настоящее время предоставляет вес задачи удаления шума.

2. Как использовать

2.1 Быстрый старт

После установки PaddleGAN можно выполнить команду для создания восстановленного изображения:

python applications/tools/swinir_denoising.py --images_path ${PATH_OF_IMAGE}

Где PATH_OF_IMAGE — это путь к изображению, которое необходимо восстановить, или путь к папке, где находятся изображения.

2.2 Подготовка набора данных

Обучающий набор данных

DIV2K (800 обучающих изображений) + Flickr2K (2650 изображений) + BSD500 (400 обучающих и тестовых изображений) + WED (4744 изображения).

Данные, которые были отсортированы: поместите их в Ai Studio.

Обучающие данные находятся в data/trainsets/trainH.

Тестовый набор данных

Тестовые данные — CBSD68: поместите его в Ai Studio.

Распакуйте в: data/triansets/CBSD68.

2.3 Обучение

Пример обучения для удаления шума. Если вы хотите обучить для других задач, вы можете изменить набор данных и файл конфигурации.

python -u tools/main.py --config-file configs/swinir_denoising.yaml

2.4 Тест

Модель теста:

python tools/main.py --config-file configs/swinir_denoising.yaml --evaluate-only --load ${PATH_OF_WEIGHT}

3. Результаты

Удаление шума

4. Скачать

Литература

• SwinIR: Image Restoration Using Swin Transformer

@article{liang2021swinir,
    title={SwinIR: Image Restoration Using Swin Transformer},
    author={Liang, Jingyun and Cao, Jiezhang and Sun, Guolei and Zhang, Kai and Van Gool, Luc and Timofte, Radu},
    journal={arXiv preprint arXiv:2108.10257},
    year={2021}
}