НАФНэт: простые базовые схемы для восстановления изображений

1. Введение

НАФНэт предлагает ультрапростую базовую схему, Базовую, которая не только эффективна в вычислительном отношении, но и превосходит предыдущую схему SOTA; полученный Базовый вариант дополнительно упрощается, чтобы дать НАФНэт: нелинейные блоки активации удалены, а производительность ещё больше улучшена. Предлагаемое решение обеспечивает новую производительность SOTA как для задач уменьшения шума SIDD, так и для задач дезавуирования GoPro со значительным сокращением вычислительных усилий. Дизайн сети и функции показаны на рисунке ниже, с использованием UNet со сквозными соединениями в качестве общей архитектуры, модификацией модуля Transformer в блоке Restormer и устранением функции активации, принятием более простого и эффективного дизайна simplegate и применением более простого механизма внимания к каналу.

Для более подробного ознакомления с моделью см. оригинальную статью «Простые базовые схемы для восстановления изображения», PaddleGAN в настоящее время предоставляет вес задачи шумоподавления.

2. Как использовать

2.1 Быстрый старт

После установки PaddleGAN вы можете запустить команду следующим образом, чтобы создать восстановленное изображение.

python applications/tools/nafnet_denoising.py --images_path ${PATH_OF_IMAGE}

Где PATH_OF_IMAGE — это путь к изображению, которое необходимо уменьшить шум, или путь к папке, где находится изображение. Если вам нужно использовать собственные веса модели, выполните следующую команду, где PATH_OF_MODEL — путь к весам модели.

python applications/tools/nafnet_denoising.py --images_path ${PATH_OF_IMAGE}  --weight_path ${PATH_OF_MODEL}

2.2 Подготовка набора данных

Набор данных для обучения шумоподавлению — SIDD, набор данных для шумоподавления изображений, содержащий 30 000 зашумлённых изображений из 10 различных условий освещения, который можно загрузить с веб-сайтов наборы данных для обучения и наборы тестовых данных. После загрузки распакуйте его в каталог данных. После распаковки структура SIDDdataset выглядит следующим образом:

SIDD
├── train
│   ├── input
│   └── target
└── val
    ├── input
    └── target

Пользователи также могут использовать данные SIDD на AI studio, но необходимо переименовать папки input_crops и gt_crops в input и target.

2.3 Обучение

Пример — обучение шумоподавлению. Если вы хотите обучить другим задачам, вы можете изменить набор данных и настроить файл конфигурации.

python -u tools/main.py --config-file configs/nafnet_denoising.yaml

2.4 Тест

Модель теста:

python tools/main.py --config-file configs/nafnet_denoising.yaml --evaluate-only --load ${PATH_OF_WEIGHT}

3. Результаты

Шумоподавление

4. Скачать

Ссылки

• Простые базовые схемы для восстановления изображения