StyleGAN V2

Введение в StyleGAN V2

Задача StyleGAN V2 — генерация изображений. По заданному вектору определённой длины генерируется изображение, соответствующее этому вектору. Это обновлённая версия StyleGAN, которая решает проблему артефактов, создаваемых StyleGAN.

StyleGAN V2 может смешивать многоуровневые векторы стилей. Его ядро — адаптивное разделение стилей.

По сравнению со StyleGAN его основное улучшение:

• качество сгенерированного изображения значительно лучше (более высокий показатель FID, меньше артефактов);
• предложен новый метод замены прогрессивного обучения с более совершенными деталями, такими как зубы и глаза;
• улучшено смешивание стилей;
• более плавная интерполяция;
• обучение происходит быстрее.

Как использовать

Генерация

Пользователь может генерировать разные результаты, заменяя значение семени или удаляя его. Используйте следующую команду для генерации изображений:

cd applications/
python -u tools/styleganv2.py \
       --output_path <DIRECTORY TO STORE OUTPUT IMAGE> \
       --weight_path <YOUR PRETRAINED MODEL PATH> \
       --model_type ffhq-config-f \
       --seed 233 \
       --size 1024 \
       --style_dim 512 \
       --n_mlp 8 \
       --channel_multiplier 2 \
       --n_row 3 \
       --n_col 5 \
       --cpu

Параметры:

• output_path: каталог, в котором хранятся сгенерированные изображения;
• weight_path: путь к предварительно обученной модели;
• model_type: внутренний тип модели в PaddleGAN. Если вы используете существующий тип модели, weight_path не будет иметь никакого эффекта. В настоящее время доступны: ffhq-config-f, animeface-512;
• seed: случайное числовое семя;
• size: параметры модели, разрешение выходного изображения;
• style_dim: параметры модели, размеры стиля z;
• n_mlp: параметры модели, количество слоёв восприятия для стиля z;
• channel_multiplier: параметры модели, произведение каналов, влияет на размер модели и качество генерируемых изображений;
• n_row: количество строк выбранного изображения;
• n_col: количество столбцов выбранного изображения;
• cpu: использовать ли вывод на CPU, если нет, удалите его из команды.

Обучение

Подготовка наборов данных

Вы можете получить набор данных ffhq здесь.

Для удобства мы предоставляем images256x256.tar.

Структура данных StyleGAN выглядит следующим образом:

PaddleGAN
├── data
    ├── ffhq
        ├──images1024x1024
            ├── 00000.png
            ├── 00001.png
            ├── 00002.png
            ├── 00003.png
            ├── 00004.png
    └──custom_data
        ├── img0.png
        ├── img1.png
        ├── img2.png
        ├── img3.png
        ├── img4.png
        ...

Обучите модель:

python tools/main.py -c configs/stylegan_v2_256_ffhq.yaml

Вывод

Когда вы закончите обучение, вам нужно использовать tools/extract_weight.py для извлечения соответствующих весов.

python tools/extract_weight.py output_dir/YOUR_TRAINED_WEIGHT.pdparams --net-name gen_ema --output YOUR_WEIGHT_PATH.pdparams

Затем используйте applications/tools/styleganv2.py, чтобы получить результаты.

python tools/styleganv2.py --output_path stylegan01 --weight_path YOUR_WEIGHT_PATH.pdparams --size 256

Примечание: значение параметра --size должно совпадать с вашим файлом конфигурации.

Результаты

Случайные выборки:

Смешивание случайных стилей:

= {2020} }