Улучшение лица

1. Введение в улучшение лица

Восстановление лица (BFR) по сильно деградированным изображениям лиц в реальных условиях является очень сложной задачей. Из-за высокой сложности проблемы и сложного неизвестного ухудшения прямое обучение глубокой нейронной сети (DNN) обычно не может привести к приемлемым результатам. Существующие методы, основанные на генеративно-состязательных сетях (GAN), могут давать лучшие результаты, но имеют тенденцию генерировать чрезмерно сглаженные реставрации. Здесь мы представляем модель GPEN.

GPEN была предложена путём первоначального обучения GAN для генерации высококачественных изображений лиц и встраивания её в U-образную DNN в качестве предварительного декодера, а затем тонкой настройки предварительно встроенного DNN с набором синтезированных низкокачественных изображений лиц. Блоки GAN предназначены для обеспечения того, чтобы скрытый код и входной шум в GAN могли быть соответственно сгенерированы из глубоких и поверхностных признаков DNN, контролируя глобальную структуру лица, локальные детали лица и фон реконструированного изображения.

Предлагаемая сеть с встроенным приоритетом GAN (GPEN) проста в реализации и может генерировать визуально фотореалистичные результаты. Эксперименты показали, что предлагаемый GPEN достигает значительно лучших результатов по сравнению с современными методами BFR как количественно, так и качественно, особенно для восстановления сильно деградированных изображений лиц в реальных условиях.

Как использовать

Улучшение лица

Пользователь может использовать следующую команду для улучшения лица и выбрать локальное изображение в качестве входных данных:

import paddle
from ppgan.faceutils.face_enhancement import FaceEnhancement

faceenhancer = FaceEnhancement()
img = faceenhancer.enhance_from_image(img)

Примечание: пожалуйста, преобразуйте изображение в тип float, в настоящее время не поддерживается тип int8.

Обучение (TODO)

В будущем будут добавлены обучающие сценарии, чтобы пользователи могли обучать больше типов GPEN.

Результаты

Ссылка

@inproceedings{inproceedings, author = {Yang, Tao and Ren, Peiran and Xie, Xuansong and Zhang, Lei}, year = {2021}, month = {06}, pages = {672-681}, title = {GAN Prior Embedded Network for Blind Face Restoration in the Wild}, doi = {10.1109/CVPR46437.2021.00073} }