GFPGAN (CVPR 2021)

1. Colab Demo for GFPGAN ; (Another Colab Demo for the original paper model).
2. Онлайн-демо: Huggingface (возвращает только обрезанное лицо).
3. Онлайн-демо: Replicate.ai (может потребоваться авторизация, возвращает всё изображение).
4. Мы предоставляем чистую версию GFPGAN, которая может работать без расширений CUDA. Таким образом, она может работать в Windows или в режиме CPU.

Благодарим за интерес к нашей работе. Вы также можете ознакомиться с нашими новыми обновлениями о миниатюрных моделях для аниме-изображений и видео в Real-ESRGAN

GFPGAN направлен на разработку практического алгоритма для восстановления лиц в реальных условиях. Он использует богатые и разнообразные априорные данные, заключённые в предварительно обученной GAN для лица (например, StyleGAN2), для слепого восстановления лица.

Обновления

• Интегрирован с Huggingface Spaces с помощью Gradio. Смотрите веб-демо Gradio.
• Поддержка улучшения нелицевых областей (фона) с помощью Real-ESRGAN.
• Мы предоставляем чистую версию GFPGAN, которой не требуются расширения CUDA.
• Мы предлагаем обновлённую модель без раскрашивания лиц.

Если GFPGAN полезен для ваших фотографий/проектов, пожалуйста, помогите поставить этому репозиторию или порекомендуйте его своим друзьям. Спасибо! Другие рекомендуемые проекты: Real-ESRGAN: практический алгоритм для общего восстановления изображений. BasicSR: набор инструментов с открытым исходным кодом для восстановления изображений и видео. facexlib: коллекция, предоставляющая полезные функции, связанные с лицами. HandyView: программа просмотра изображений на основе PyQt5, удобная для просмотра и сравнения.

GFP-GAN: На пути к восстановлению лиц в реальном мире с использованием генеративного лицевого приоритета

[Paper]   [Project Page]   [Demo]
Xintao Wang, Yu Li, Honglun Zhang, Ying Shan
Applied Research Center (ARC), Tencent PCG

Зависимости и Установка

• Python >= 3.7 (рекомендуется использовать Anaconda или Miniconda).
• PyTorch >= 1.7.
• Опционально: NVIDIA GPU + CUDA.
• Опционально: Linux.

Установка

Мы предоставляем чистую версию GFPGAN, которая не требует специализированных расширений CUDA.
Если вы хотите использовать оригинальную модель из нашей статьи, см. PaperModel.md для установки.

1. Клонируйте репозиторий.

   git clone https://github.com/TencentARC/GFPGAN.git
   cd GFPGAN

2. Установите зависимые пакеты.

   # Установите basicsr — https://github.com/xinntao/BasicSR
   # Мы используем BasicSR как для обучения, так и для вывода
   pip install basicsr
   
   # Установите facexlib — https://github.com/xinntao/facexlib
   # В пакете facexlib мы используем функции обнаружения лиц и восстановления лиц
   pip install facexlib
   
   pip install -r requirements.txt
   python setup.py develop
   
   # Если вы хотите улучшить фон (не лица) с помощью Real-ESRGAN,
   # вам также необходимо установить пакет realesrgan
   pip install realesrgan

Быстрый вывод

Скачайте предварительно обученные модели: GFPGANCleanv1-NoCE-C2.pth (https://github.com/TencentARC/GFPGAN/releases/download/v0.2.0/GFPGANCleanv1-NoCE-C2.pth).

wget https://github.com/TencentARC/GFPGAN/releases/download/v0.2.0/GFPGANCleanv1-NoCE-C2.pth -P experiments/pretrained_models

Вывод!

python inference_gfpgan.py --upscale 2 --test_path inputs/whole_imgs --save_root results

Если вы хотите использовать исходную модель из нашей статьи, см. PaperModel.md для установки и вывода.

Зоопарк моделей

• GFPGANCleanv1-NoCE-C2.pth: не требуется раскраска; не требуются расширения CUDA. Всё ещё находится в обучении. Обучен на большем количестве данных с предварительной обработкой.
• GFPGANv1.pth: модель из статьи, с раскраской.

Вы можете найти больше моделей (например, дискриминаторы) здесь: [Google Drive], ИЛИ [Tencent Cloud 腾讯微云]

Обучение

Мы предоставляем обучающие коды для GFPGAN (использованные в нашей статье).
Вы можете улучшить его в соответствии со своими потребностями.

Советы

1. Больше качественных лиц может улучшить качество восстановления.
2. Возможно, вам потребуется выполнить некоторую предварительную обработку, например, косметический макияж.

Процедуры

(Вы можете попробовать простую версию (options/train_gfpgan_v1_simple.yml), которая не требует ориентиров компонентов лица.)

1. Подготовка набора данных: FFHQ (https://github.com/NVlabs/ffhq-dataset).

2. Скачайте предварительно обученные модели и другие данные. Поместите их в папку experiments/pretrained_models.

   1. Предварительно обученная модель StyleGAN2: StyleGAN2_512_Cmul1_FFHQ_B12G4_scratch_800k.pth (https://github.com/TencentARC/GFPGAN/releases/download/v0.1.0/StyleGAN2_512_Cmul1_FFHQ_B12G4_scratch_800k.pth)
   2. Ориентиры компонентов FFHQ: FFHQ_eye_mouth_landmarks_512.pth (https://github.com/TencentARC/GFPGAN/releases/download/v0.1.0/FFHQ_eye_mouth_landmarks_512.pth)
   3. Простая модель ArcFace: arcface_resnet18.pth (https://github.com/TencentARC/GFPGAN/releases/download/v0.1.0/arcface_resnet18.pth)

3. Измените файл конфигурации options/train_gfpgan_v1.yml соответствующим образом.

4. Обучение

python -m torch.distributed.launch --nproc_per_node=4 --master_port=22021 gfpgan/train.py -opt options/train_gfpgan_v1.yml --launcher pytorch

Лицензия и признание

GFPGAN выпущен под лицензией Apache версии 2.0.

BibTeX

@InProceedings{wang2021gfpgan,
    author = {Xintao Wang and Yu Li and Honglun Zhang and Ying Shan},
    title = {Towards Real-World Blind Face Restoration with Generative Facial Prior},
    booktitle={The IEEE Conference on Компьютерное зрение и распознавание образов (CVPR),

year = {2021}

Contact

Если у вас есть какие-либо вопросы, пожалуйста, напишите на адрес электронной почты xintao.wang@outlook.com или xintaowang@tencent.com.