PaddleGAN

PaddleGAN — это набор инструментов для разработки и обучения генеративно-состязательных сетей (GAN). Он предоставляет разработчикам возможность создавать, обучать и развёртывать GAN для различных целей, включая научные исследования, развлечения и промышленные приложения.

GAN были названы «одной из самых интересных идей в области машинного обучения за последние десять лет» Яном Лекуном, известным как «отец свёрточной нейронной сети». Они представляют собой глубокое обучение, которое в последнее время активно используется в сфере искусственного интеллекта.

Последние события

• 8 декабря 2021 года: AI Quick Lane: видео суперразрешение и отраслевые приложения. Курс доступен по ссылке: https://aistudio.baidu.com/aistudio/education/group/info/25179.

• С 15 по 22 апреля 2021 года: семидневная битва GAN, присоединяйтесь к Baidu Research, чтобы начать работу с GAN! Прямые трансляции и материалы курса доступны по ссылке: https://aistudio.baidu.com/aistudio/course/introduce/16651.

• 10 декабря 2020 года: «Большая долина Spitzer учит вас восстанавливать старые изображения Пекина столетней давности» Список победителей розыгрыша B-Station доступен по ссылке: PaddleGAN Список победителей розыгрыша прямых трансляций. Видео прямой трансляции доступно по ссылке: https://www.bilibili.com/video/BV1GZ4y1g7xc.

Динамика продукта

• Инструмент редактирования лица: StyleGAN V2 редактирование атрибутов лица — инструмент для изменения возраста, который позволяет легко превращать людей в пожилых или молодых. Полное онлайн-руководство доступно по ссылке: https://aistudio.baidu.com/aistudio/projectdetail/3251280?channelType=0&channel=0.

• 👀 Видео суперразрешение SOTA алгоритм PP-MSVSR: одна команда превращает «пиксельное» изображение в «высокое разрешение». Полное онлайн-руководство доступно по ссылке: https://aistudio.baidu.com/aistudio/projectdetail/3205183.

• 😍 Инструмент для редактирования лиц: StyleGAN V2 Редактирование атрибутов лица, изменение пола — не бойтесь одиночества, поговорите с самим собой! Полное онлайн-руководство доступно по ссылке: https://aistudio.baidu.com/aistudio/projectdetail/2565277?contributionType=1.

• 👩‍🚀 Руководство по космическому путешествию: LapStyle — перенос стиля, позволяющий вам испытать «погружение» в космическое путешествие. Полное онлайн-руководство доступно по ссылке: https://aistudio.baidu.com/aistudio/projectdetail/2343740?contributionType=1.

• 🧙‍♂️ Новые творческие проекты: создайте свой собственный анимированный образ Хогварта. Полное онлайн-руководство доступно по ссылке: https://aistudio.baidu.com/aistudio/projectdetail/2288888?channelType=0&channel=0.

• ⭐ Добавлена способность слияния лиц, сочетающаяся с новой версией Frirst Order Motion, для достижения идеального слияния лиц с богатыми выражениями. Полное онлайн-руководство доступно по ссылке: https://aistudio.baidu.com/aistudio/projectdetail/2254031.

• Добавлена новая версия First Order Motion с разрешением 512, обеспечивающая более чёткие детали лица. Подробности см. в руководстве.

• Добавлено преобразование реальных фотографий в картины маслом. Полный код вывода и руководство см.: https://github.com/wzmsltw/PaintTransformer.

Документация и учебные пособия

Установка

• Зависимости среды:
  • PaddlePaddle >= 2.1.0
  • Python >= 3.6
  • CUDA >= 10.1
• Полное руководство по установке доступно по ссылке: https://docs.paddlegan.com/zh_CN/install.md.

Вводное руководство

• Быстрый старт доступен по ссылке: https://docs.paddlegan.com/zh_CN/get_started.md.
• Подготовка данных доступна по ссылке: https://docs.paddlegan.com/zh_CN/data_prepare.md.
• API-интерфейс использования документации доступен по ссылке: https://docs.paddlegan.com/zh_CN/apis/apps.md.
• Использование файла конфигурации / Config доступно по ссылке: https://docs.paddlegan.com/zh_CN/config_doc.md.

Библиотека моделей

• Перевод изображений:

  • Стиль переноса: Pixel2Pixel.
  • Перенос стиля: CycleGAN.
  • Преобразование художественного стиля изображения: LapStyle. Перенос стиля и другие методы обработки изображений

• Перенос стиля: PSGAN, AnimeGANv2, U-GAT-IT, Photo2Cartoon, StarGANv2.

• Перенос действий: First Order Motion Model, Wav2Lip.

Генеративно-состязательные сети (GAN)

• DCGAN, WGAN.

• Генерация лиц: StyleGAN2, Pixel2Style2Pixel, FaceEnhancement, FaceParsing.

• Восстановление лиц: GFPGan, GPEN.

Повышение разрешения

• Одно изображение: RealSR, ESRGAN, LESRCNN, PAN, DRN.

• Видео: PP-MSVSR, EDVR, BasicVSR, BasicVSR++.

Восстановление изображений и видео

• MPR Net, SwinIR, InvDN, NAFNet.

• EDVR.

• PReNet.

• AOT-GAN.

Промышленные приложения

• Интеллектуальное восстановление видео.

Онлайн-курсы

Вы можете попробовать некоторые функции PaddleGAN на онлайн-платформе AI Studio. Вот несколько примеров:

Демонстрация результатов

Слияние лиц

Перенос стиля

Восстановление старых видео

Перенос действия

Повышение разрешения

Перенос макияжа

Анимация лица

Реалистичное изображение в стиле мультфильма

Фотоанимация

Синхронность губ

Версия 2.1.0 (2021.12.8)

• Выпущены модели для повышения разрешения видео PP-MSVSR и несколько предварительно обученных весов.
• Выпущены BasicVSR, IconVSR и Basicvsr++ — модели с лучшими результатами для повышения разрешения видео, а также их предварительно обученные модели.
• Выпущена лёгкая модель для переноса действия (сжатие по размеру: 229M → 10,1M), а также улучшен эффект слияния. Выпуск высококачественных предобученных моделей FOMM и Wav2Lip

• Выпуск приложений на основе StyleGANv2, включая реконструкцию лица, слияние лиц и редактирование лиц.
• Выпуск передовой модели LapStyle для переноса стиля и её интересных приложений, а также запуск веб-сайта страница опыта.
• Выпуск лёгкой модели сверхразрешения изображений PAN v2.0.0 (2021.6.2):
  • выпуск модели First Order Motion и нескольких предобученных весов;
  • выпуск приложений, поддерживающих мультилицевую анимацию;
  • выпуск видеомодели сверхразрешения EDVR и нескольких предобученных весов;
  • запуск семидневного тренировочного лагеря PaddleGAN [обучение];
  • повышение устойчивости работы PaddleGAN на платформе Windows.

Версия 2.0.0-beta (2021.3.1)

• Полный переход на API версии Paddle 2.0.0.
• Выпуск моделей сверхразрешения: ESRGAN, RealSR, LESRCNN, DRN и других.
• Выпуск модели переноса губ Wav2Lip.
• Выпуск модели анимации улиц AnimeGANv2.
• Выпуск модели анимации лиц U-GAT-IT и Photo2Cartoon.
• Выпуск высококачественной модели генерации лиц StyleGAN2.

Версия 0.1.0 (2020.11.02)

• Первоначальный выпуск с поддержкой моделей Pixel2Pixel, CycleGAN и PSGAN, а также приложений, таких как вставка видео, сверхразрешение, раскраска старых фотографий и видео, генерация видеодействий и т. д.
• Модульная конструкция и простой в использовании интерфейс.

Присоединяйтесь к группе технического общения PaddleGAN

Сканируйте QR-код, чтобы присоединиться к группе QQ PaddleGAN [номер группы: 1058398620], где вы можете получить более эффективные ответы на вопросы и обсудить их с разработчиками из разных отраслей. Мы ждём вас!

Сканирование QR-кода и ввод ключевого слова «GAN» позволят вам присоединиться к официальной группе обмена WeChat!

Специальная группа интересов PaddleGAN (Special Interest Group)

Впервые предложенная и используемая Ассоциацией вычислительной техники (ACM) в 1961 году, эта концепция используется ведущими международными организациями с открытым исходным кодом, такими как Kubernetes, для объединения членов с общими интересами для совместного обмена знаниями и разработки проектов. Эти члены не обязательно должны быть из одной страны или организации, но могут иметь общие цели и учиться, работать и играть вместе.

PaddleGAN SIG — это организация разработчиков, объединяющая энтузиастов GAN. Здесь есть разработчики Paddle из Baidu, опытные инженеры из 500 лучших компаний мира и студенты ведущих университетов Китая и зарубежных стран.

Мы постоянно ищем заинтересованных и способных разработчиков для участия в этом проекте и изучения новых интересных и полезных приложений. Добро пожаловать в группу после присоединения, свяжитесь с нами, чтобы обсудить присоединение к SIG и участие в совместных проектах.

Вклад SIG:

• zhen8838: вклад в AnimeGANv2.
• Jay9z: примеры DCGAN, изменения в документации по установке и т.д.
• HighCWu: c-DCGAN и WGAN, поддержка наборов данных paddle.vision.datasets; воспроизведение части кода инверсии.
• hao-qiang и minivision-ai: проект photo2cartoon для преобразования человеческих изображений в мультфильмы.
• lyl120117: код вывода MPRNet для устранения размытости.

Вклад кода

Мы приветствуем ваш вклад и предложения для PaddleGAN. Большинство вкладов требуют согласия участника на лицензионное соглашение (CLA). Когда вы отправляете запрос на вытягивание, CLA Robot автоматически проверит, нужно ли вам предоставить CLA. Просто следуйте инструкциям робота. CLA требуется только один раз и может применяться ко всем репозиториям кода. Для получения дополнительной информации см. руководство по внесению вклада [внести вклад].

Лицензия

Этот проект выпущен под лицензией Apache 2.0 license.