StarGAN V2

1 Введение

StarGAN V2 — это модель перевода изображений в изображения, опубликованная на CVPR2020. Хорошая модель перевода изображений должна изучать отображение между различными визуальными областями, удовлетворяя следующим свойствам: 1) разнообразие сгенерированных изображений и 2) масштабируемость для множества областей. Существующие методы решают либо одну из проблем, имея ограниченное разнообразие или несколько моделей для всех областей. StarGAN v2 представляет собой единую структуру, которая решает обе проблемы и показывает значительно улучшенные результаты по сравнению с базовыми моделями. Эксперименты на CelebA-HQ и новом наборе данных с лицами животных (AFHQ) подтверждают превосходство StarGAN v2 с точки зрения визуального качества, разнообразия и масштабируемости.

2 Как использовать

2.1 Подготовка набора данных

Набор данных CelebAHQ, используемый StarGAN V2, можно скачать здесь, а набор данных AFHQ — здесь. Затем разархивируйте набор данных в каталог PaddleGAN/data.

Структура набора данных следующая:

├── data
    ├── afhq
    |   ├── train
    |   |   ├── cat
    |   |   ├── dog
    |   |   └── wild
    |   └── val
    |       ├── cat
    |       ├── dog
    |       └── wild
    └── celeba_hq
        ├── train
        |   ├── female
        |   └── male
        └── val
            ├── female
            └── male

2.2 Обучение/тестирование

В примере используется набор данных AFHQ. Если вы хотите использовать набор данных CelebAHQ, вы можете изменить файл конфигурации.

Обучение модели:

python -u tools/main.py --config-file configs/starganv2_afhq.yaml

Тестирование модели:

python tools/main.py --config-file configs/starganv2_afhq.yaml --evaluate-only --load ${PATH_OF_WEIGHT}

3 Результаты

4 Загрузка модели

Ссылки

• 1. StarGAN v2: Diverse Image Synthesis for Multiple Domains

  @inproceedings{choi2020starganv2,
  title={StarGAN v2: Diverse Image Synthesis for Multiple Domains},
  author={Yunjey Choi and Youngjung Uh and Jaejun Yoo and Jung-Woo Ha},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  year={2020}
  }