Аниме4К

Аниме4К — это набор алгоритмов с открытым исходным кодом для улучшения качества аниме в реальном времени, которые можно реализовать на любом языке программирования.

Простота и скорость Аниме4К позволяют пользователю смотреть улучшенное аниме в реальном времени. Мы верим в сохранение оригинального контента и предоставление свободы выбора всем поклонникам аниме. Следует избегать перекодирования аниме в 4K, так как оно необратимо, потенциально повреждает оригинальный контент, добавляя артефакты, занимает до O(n²) больше места на диске и, что более важно, не приводит к значительному уменьшению энтропии (потерянная информация теряется).

Отказ от ответственности: Все художественные ресурсы используются в демонстрационных и образовательных целях. Все права принадлежат их первоначальным владельцам. Если вы (как физическое лицо или компания) являетесь владельцем художественного произведения и не хотите, чтобы оно ассоциировалось с этим проектом, пожалуйста, свяжитесь с нами по адресу anime4k.upscale@gmail.com, и мы с радостью удалим его.

Предисловие

Аниме4К оптимизирован для родного аниме с разрешением 1080p, закодированного с помощью h.264, h.265 или VC-1.

Даже если он может работать, он не оптимизирован для аниме с пониженным разрешением 720p, 480p или стандартного разрешения (например, DVD). В старом аниме (особенно производства доцифровой эры) есть артефакты, которые очень трудно удалить, такие как плохое деинтерлейсинг, размытие камеры во время производства, сильное звонообразное искажение, зернистость плёнки, старые артефакты сжатия MPEG и т. д.

Это также не замена для SRGANs, поскольку они работают гораздо лучше с изображениями низкого разрешения или изображениями с большим количеством деградации (хотя и не в реальном времени).

Что предоставляет Аниме4К, так это способ улучшить качество аниме с разрешением 1080p для экранов 4K в реальном времени, обеспечивая эффект, аналогичный эффекту SRGANs и будучи намного лучше, чем waifu2x (см. сравнения).

В настоящее время проводятся исследования по улучшению улучшения качества в реальном времени для контента с более низким разрешением или старого контента.

Инструкции по установке

Windows

— (GLSL/MPV)
— (GLSL/Plex)

Linux

— (GLSL/MPV) — (GLSL/Plex)

Mac

— (GLSL/MPV)
— (GLSL/IINA)
— (GLSL/Plex) Использование тензорных ядер может быть намного быстрее и приближено к реальному времени (~80 мс), но их большой размер сильно затрудняет не-CUDA реализации.

v3

Монолитный шейдер Anime4K разделён на модульные компоненты, что позволяет настраивать его под конкретные типы аниме и/или личные предпочтения. Что нового:

• Полный пересмотр алгоритмов для скорости, качества и эффективности.
• В реальном времени высококачественные свёрточные нейронные сети (CNN) для масштабирования линий (6 вариантов).
• Шейдеры для устранения размытости линий. («слепая деконволюция» и DTD шейдер)
• Алгоритмы шумоподавления. (Двусторонний режим и варианты CNN)
• Слепые алгоритмы уменьшения артефактов при изменении разрешения. (Для плохо изменённых аниме.)
• Экспериментальный алгоритм затемнения и утончения линий. (Для восприятия качества. Мы воспринимаем более тонкие/тёмные линии как более высокое качество, даже если это может быть не так.)

Дополнительная информация о каждом шейдере (УСТАРЕЛО).

Визиты

Подсчёт ведётся с 2021-09-19T16:02:06Z (ISO 8601).

Проекты, использующие Anime4K

• https://github.com/Blinue/Magpie (Универсальное приложение для Windows 10/11 с графическим интерфейсом для увеличения разрешения).
• https://github.com/imxieyi/Anime4KMetal (Anime4K для платформ Apple на основе Metal).
• https://github.com/mikigal/Anime4K-GUI (Приложение с графическим интерфейсом на основе Anime4K, которое позволяет сохранять увеличенное видео на диск).
• https://colab.research.google.com/drive/11xAn4fyAUJPZOjrxwnL2ipl_1DGGegkB (Переработанная версия Anime4K в PyTorch).

Обратите внимание, что следующие проекты могут использовать устаревшую версию Anime4K. С версии v3 были значительные улучшения качества.

• https://github.com/yeataro/TD-Anime4K (Anime4K для TouchDesigner).
• https://github.com/keijiro/UnityAnime4K (Anime4K для Unity).
• https://github.com/net2cn/Anime4KSharp (Переработанная версия Anime4K на C#).
• https://github.com/andraantariksa/Anime4K-rs (Переработанная версия Anime4K на Rust).
• https://github.com/TianZerL/Anime4KCPP (Anime4K и другие алгоритмы реализованы на C++).
• https://github.com/k4yt3x/video2x (Конвейер для увеличения разрешения аниме-видео).
• https://github.com/Anime4KWebBoost/Anime4K-WebGPU (Anime4K для WebGPU).

Благодарности

OpenCV	TensorFlow	Keras	Torch	mpv	MPC

Большое спасибо группам и участникам OpenCV, TensorFlow, Keras и Torch. Этот проект был бы невозможен без существования высококачественных открытых библиотек машинного обучения.

Я также хотел бы выразить особую благодарность создателям VDSR и FSRCNN, а также открытым проектам waifu2x и FSRCNNX, которые пробудили мой интерес к созданию этого проекта. Я также выражаю свою признательность участникам проектов mpv и MPC-HC/BE за их усилия по созданию отличных медиаплееров с бесконечными возможностями настройки. Кроме того, я хочу поблагодарить людей, которые внесли свой вклад в этот проект в любой форме, будь то сообщение об ошибках, предложения, помощь другим или отправка кода. Я всегда буду высоко ценить вас.

Также я хотел бы выразить искреннюю благодарность людям из Université de Montréal, DIRO, LIGUM и MILA за предоставление стольких возможностей студентам. (включая меня), обеспечивая необходимую инфраструктуру и способствуя созданию отличной среды для обучения.

Я также хотел бы поблагодарить большое сообщество открытого исходного кода, в котором множество конкретных примеров и кода оказались очень полезными.

Наконец, но не в последнюю очередь, бесконечная благодарность моей семье, друзьям и преподавателям за финансовую, техническую, социальную поддержку и экспертизу в моём непрерывном обучении в эти трудные времена. Ваша помощь действительно неописуема.

Этот список не окончательный, так как проект далёк от завершения. Любые будущие благодарности будут оперативно добавлены.