ЛапСтайл

Этот репозиторий содержит официальные коды статьи «Составление и редактирование: сеть Лапласовой пирамиды для быстрой высококачественной художественной стилизации», которая была принята на конференции CVPR 2021.

1 Введение в статью

Художественная стилизация направлена на перенос стиля с примера изображения на основное изображение. В настоящее время методы, основанные на оптимизации, достигли высокого качества стилизации, но высокая стоимость времени ограничивает их практическое применение. Между тем, методы прямого распространения всё ещё не могут синтезировать сложные стили, особенно когда существуют целостные глобальные и локальные паттерны. Вдохновлённые общим процессом рисования — сначала набросок, а затем доработка деталей, в этой статье представлен новый метод прямого распространения — сеть Лапласовых пирамид (ЛапСтайл). ЛапСтайл сначала переносит глобальный стиль в низком разрешении с помощью чертёжной сети. Затем он дорабатывает локальные детали в высоком разрешении с помощью редакционной сети, которая галлюцинирует остаточное изображение в соответствии с черновиком и текстурами изображения, извлечёнными с помощью фильтрации Лапласа. Более высокие уровни детализации можно легко создать, объединив редакционные сети с несколькими уровнями Лапласовой пирамиды. Окончательное стилизованное изображение получается путём объединения результатов всех уровней пирамиды. Мы также представляем патч-дискриминатор для лучшего изучения локальных паттернов. Эксперименты показывают, что наш метод может синтезировать высококачественные стилизованные изображения в реальном времени, где целостные паттерны стиля передаются должным образом.

2 Быстрый опыт

Вот четыре изображения стилей: | StarryNew | Stars | Ocean | Circuit|

python applications/tools/lapstyle.py --content_img_path ${PATH_OF_CONTENT_IMG} --style_image_path ${PATH_OF_STYLE_IMG}

Параметры

• --content_img_path (str): путь к изображению контента.
• --style_image_path (str): путь к изображению стиля.
• --output_path (str): путь к каталогу выходного изображения, значение по умолчанию: output_dir.
• --weight_path (str): путь к пути веса модели, если weight_path равен None, предварительно обученная модель будет загружена автоматически, значение по умолчанию: None.
• --style (str): стиль выходного изображения, если weight_path равно None, style можно выбрать из starrynew, circuit, ocean и stars, значение по умолчанию: starrynew.

3 Как использовать

3.1 Подготовка наборов данных

Для обучения ЛапСтайла мы используем набор данных COCO в качестве набора изображений контента. Вы можете выбрать одно изображение стиля из starrynew, ocean, stars или circuit. Или вы можете выбрать любое изображение стиля, которое вам нравится. Перед обучением или тестированием не забудьте изменить путь к изображению стиля в файле конфигурации.

3.2 Обучение

Наборы данных, используемые в примере, — это COCO, вы также можете изменить его на свой собственный набор данных в файле конфигурации. Обратите внимание, что обучение модели лапстайл в настоящее время не поддерживает систему Windows. (1) Обучите чертёжную сеть ЛапСтайла при разрешении 128*128:

python -u tools/main.py --config-file configs/lapstyle_draft.yaml

(2) Затем обучите редакционную сеть ЛапСтайла при разрешении 256*256:

python -u tools/main.py --config-file configs/lapstyle_rev_first.yaml --load ${PATH_OF_LAST_STAGE_WEIGHT}

(3) Далее вы можете обучить...