1 AnimeGANv2

1.1 Введение

AnimeGAN улучшил работу CartoonGAN, представленную на конференции CVPR, в основном для решения проблемы чрезмерной стилизации и цветовых артефактов. Для получения более подробной информации вы можете обратиться к статье на Zhihu, написанной автором статьи. На основе AnimeGAN в AnimeGANv2 добавлен член потерь total variation в потери генератора.

1.2 Как использовать

1.2.1 Быстрый старт

После установки PaddleGAN вы можете запустить код Python следующим образом, чтобы сгенерировать стилизованное изображение. Где PATH_OF_IMAGE — это путь к вашему исходному изображению.

from ppgan.apps import AnimeGANPredictor
predictor = AnimeGANPredictor()
predictor.run(PATH_OF_IMAGE)

Или выполните следующую команду, чтобы получить тот же результат:

python applications/tools/animeganv2.py --input_image ${PATH_OF_IMAGE}

1.2.2 Подготовка набора данных

Мы загружаем набор данных, предоставленный автором, отсюда (https://github.com/TachibanaYoshino/AnimeGAN/releases/tag/dataset-1). Затем распакуйте его в каталог data.

wget https://github.com/TachibanaYoshino/AnimeGAN/releases/download/dataset-1/dataset.zip
cd PaddleGAN
unzip YOUR_DATASET_DIR/dataset.zip -d data/animedataset

Например, структура animedataset выглядит следующим образом:

animedataset
├── Hayao
│   ├── smooth
│   └── style
├── Paprika
│   ├── smooth
│   └── style
├── Shinkai
│   ├── smooth
│   └── style
├── SummerWar
│   ├── smooth
│   └── style
├── test
│   ├── HR_photo
│   ├── label_map
│   ├── real
│   ├── test_photo
│   └── test_photo256
├── train_photo
└── val

1.2.3 Обучение

Пример обучения стилизации Хаяо.

1. Чтобы убедиться, что генератор может генерировать исходное изображение, необходимо прогреть модель:

python tools/main.py --config-file configs/animeganv2_pretrain.yaml

2. После прогрева мы начинаем обучение GAN: Примечание: вы должны сначала изменить параметр configs/animeganv2.yaml > pretrain_ckpt! Убедитесь, что GAN может повторно использовать модель генератора прогрева. Установите batch size=4 и learning rate=0,0002. Обучите 30 эпох на графическом процессоре GTX2060S, чтобы воспроизвести результат. Для других гиперпараметров обратитесь к configs/animeganv2.yaml.

python tools/main.py --config-file configs/animeganv2.yaml

3. Измените целевой стиль Измените параметр style в configs/animeganv2.yaml, теперь поддерживаются варианты выбора из Hayao, Paprika, Shinkai, SummerWar. Если вы хотите использовать свой собственный набор данных, вы можете изменить его на свой собственный в файле конфигурации.

Примечание: после изменения целевого стиля сначала вычислите среднее значение набора данных целевого стиля, и необходимо изменить параметр transform_anime->Add->value в configs/animeganv2.yaml.

Следующий пример показывает, как получить среднее значение стиля Hayao:

python tools/animegan_picmean.py --dataset data/animedataset/Hayao/style
image_num: 1792
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1792/1792 [00:04<00:00, 444.95it/s]
RGB mean diff
[-4.4346957 -8.665916  13.100612 ]

1.2.4 Тестирование

Протестируйте модель на data/animedataset/test/HR_photo

python tools/main.py --config-file configs/animeganv2.yaml --evaluate-only --load ${PATH_OF_WEIGHT}

1.3 Результаты

оригинальное изображение	стилизованное изображение