1. U-GAT-IT

1.1 Принцип работы

Подобно CycleGAN, U-GAT-IT (https://arxiv.org/abs/1907.10830) использует непарные изображения для перевода изображений: вводятся два разных изображения с разными стилями, и автоматически выполняется перенос стиля. В отличие от других методов, U-GAT-IT представляет собой новый метод для неконтролируемого перевода «изображение в изображение», который включает в себя новый модуль внимания и новую обучаемую функцию нормализации в сквозном режиме.

1.2 Как использовать

1.2.1 Подготовка наборов данных

Набор данных selfie2anime, используемый U-GAT-IT, можно скачать по ссылке https://www.kaggle.com/arnaud58/selfie2anime. Вы также можете использовать свой собственный набор данных. Структура набора данных выглядит следующим образом:

├── dataset
    └── YOUR_DATASET_NAME
        ├── trainA
        ├── trainB
        ├── testA
        └── testB

1.2.2 Обучение/тестирование

Наборы данных, используемые в примере, — это selfie2anime; вы можете заменить его своим собственным набором данных в файле конфигурации.

Обучите модель:

python -u tools/main.py --config-file configs/ugatit_selfie2anime_light.yaml

Протестируйте модель:

python tools/main.py --config-file configs/ugatit_selfie2anime_light.yaml --evaluate-only --load ${PATH_OF_WEIGHT}

1.3 Результаты

.4 Загрузка модели

Ссылки

• 1. U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation.

  @article{kim2019u,
  title={U-GAT-IT: unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation},
  author={Kim, Junho and Kim, Minjae and Kang, Hyeonwoo and Lee, Kwanghee},
  journal={arXiv preprint arXiv:1907.10830},
  year={2019}
  }