Фото в мультфильм

1 Принцип

Цель стилизации портрета под мультфильм — преобразовать реальные фотографии в изображения с мультяшным стилем, сохранив информацию об идентичности и детали текстуры. Мы используем метод генеративно-состязательной сети для сопоставления картинки с мультфильмом. Учитывая сложность получения парных данных и несоответствие формы ввода и вывода, мы применяем метод непарного перевода изображений.

Недавно Ким и др. предложили новую функцию нормализации (AdaLIN) и модуль внимания в статье «U-GAT-IT» и достигли превосходных результатов в преобразовании селфи в аниме. В отличие от преувеличенного стиля аниме, наш мультяшный стиль более реалистичен и содержит однозначную информацию об идентичности.

Мы предлагаем метод Soft Adaptive Layer-Instance Normalization (Soft-AdaLIN), который объединяет статистику кодирующих и декодирующих признаков при стандартизации.

На основе U-GAT-IT мы ввели два модуля песочных часов перед энкодером и после декодера, чтобы постепенно улучшить производительность.

В исходном проекте мы добавили потерю Face ID (косинусное расстояние между признаками ID входного изображения и изображения мультфильма), чтобы достичь инвариантности идентичности (потеря Face ID не добавлена в этом репозитории, пожалуйста, обратитесь к photo2cartoon).

Также мы предварительно обрабатываем данные по фиксированному шаблону, чтобы облегчить оптимизацию. Подробнее см. ниже.

2 Как использовать

2.1 Тест

from ppgan.apps import Photo2CartoonPredictor

p2c = Photo2CartoonPredictor()
p2c.run('test_img.jpg')

2.2 Тренировка

Подготовка наборов данных:

Тренировочные данные содержат портретные фотографии (домен A) и мультяшные изображения (домен B), которые можно скачать с baidu driver(пароль: fo8u). Структура набора данных следующая:

├── data
    └── photo2cartoon
        ├── trainA
        ├── trainB
        ├── testA
        └── testB

Обучение:

python -u tools/main.py --config-file configs/ugatit_photo2cartoon.yaml

3 Результаты

4 Скачать

Ссылки

• U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation

  @inproceedings{Kim2020U-GAT-IT:,
    title={U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation},
    author={Junho Kim and Minjae Kim and Hyeonwoo Kang and Kwang Hee Lee},
    booktitle={International Conference on Learning Representations},
    year={2020}
  }

Авторы

minivision-ai、haoqiang