Real-World Super-Resolution via Kernel Estimation and Noise Injection (CVPR 2020 Workshops)

Xiaozhong Ji, Yun Cao, Ying Tai, Chengjie Wang, Jilin Li, Feiyue Huang

Tencent Youtu Lab

Наше решение стало победителем конкурса CVPR NTIRE 2020 Challenge on Real-World Super-Resolution в обоих треках.

(Официальная реализация на PyTorch)

Обновление от 1 сентября 2020 года — Выложили обучающий код на Github/Tencent.

Обновление от 26 мая 2020 года — Добавили модель DF2K-JPEG (https://drive.google.com/open?id=1w8QbCLM6g-MMVlIhRERtSXrP-Dh7cPhm). — Доступны исполняемые файлы на основе ncnn (https://github.com/Tencent/ncnn) для Windows, Linux и macOS. Подробнее см. realsr-ncnn-vulkan (https://github.com/nihui/realsr-ncnn-vulkan). — Использование: ./realsr-ncnn-vulkan -i in.jpg -o out.png — -x — использовать ансамбль; — -g 0 — выбрать идентификатор GPU.

Введение

Современные методы суперразрешения достигли впечатляющих результатов на идеальных наборах данных независимо от размытия и шума. Однако эти методы часто не справляются с задачей улучшения разрешения реальных изображений, поскольку большинство из них используют простое бикубическое уменьшение разрешения высококачественных изображений для создания пар низкого и высокого разрешения для обучения, что может привести к потере частотных деталей. Чтобы решить эту проблему, мы сосредоточились на разработке новой модели деградации для реальных изображений путём оценки различных ядер размытия, а также реальных распределений шума. На основе нашей новой модели деградации мы можем получить изображения низкого разрешения, которые имеют общую область с реальными изображениями. Затем мы предлагаем модель реального суперразрешения, которая стремится улучшить восприятие. Обширные эксперименты на синтетических данных с шумом и реальных изображениях показывают, что наш метод превосходит современные методы, обеспечивая более низкий уровень шума и лучшее визуальное качество. Кроме того, наш метод стал победителем конкурса NTIRE 2020 в обоих треках реального суперразрешения и значительно опережает других участников.

Если вас заинтересовала эта работа, пожалуйста, обратитесь к нашей статье 1 и отчёту о конкурсе 2.

@InProceedings{Ji_2020_CVPR_Workshops, author = {Ji, Xiaozhong and Cao, Yun and Tai, Ying and Wang, Chengjie and Li, Jilin and Huang, Feiyue}, title = {Real-World Super-Resolution via Kernel Estimation and Noise Injection}, booktitle = {The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops}, month = {June}, year = {2020} }

@article{Lugmayr2020ntire, title={NTIRE 2020 Challenge on Real-World Image Super-Resolution: Methods and Results}, author={Andreas Lugmayr, Martin Danelljan, Radu Timofte, Namhyuk Ahn, Dongwoon Bai, Jie Cai, Yun Cao, Junyang Chen, Kaihua Cheng, SeYoung Chun, Wei Deng, Mostafa El-Khamy Chiu, Man Ho, Xiaozhong Ji, Amin Kheradmand, Gwantae Kim, Hanseok Ko, Kanghyu Lee, Jungwon Lee, Hao Li, Ziluan Liu, Zhi-Song Liu, Shuai Liu, Yunhua Lu, Zibo Meng, Pablo Navarrete, Michelini Christian, Micheloni Kalpesh, Prajapati Haoyu, Ren Yong, Hyeok Seo, Wan-Chi Siu, Kyung-Ah Sohn, Ying Tai, Rao Muhammad Umer, Shuangquan Wang, Huibing Wang, Timothy Haoning Wu, Haoning Wu, Biao Yang, Fuzhi Yang, Jaejun Yoo, Tongtong Zhao, Yuanbo Zhou, Haijie Zhuo, Ziyao Zong, Xueyi Zou}, journal={CVPR Workshops}, year={2020}, }

Визуальные результаты

Количественные результаты по сравнению с другими методами-участниками

«Импрессионизм» — наша команда. Обратите внимание, что окончательное решение основано на MOS (Mean Opinion Score).