Слияние кода завершено, страница обновится автоматически
Старые видео часто имеют такие характеристики, как малое количество кадров, отсутствие цвета и низкое разрешение. Поэтому, учитывая эти характеристики, мы используем модель дополнительных кадров, раскраски и суперразрешения для восстановления видео.
cd applications
python tools/video-enhance.py --input you_video_path.mp4 --process_order DAIN DeOldify EDVR --output output_dir
--input (str): путь входного видео.--output (str): путь выходного видео.--process_order: имя и порядок вызываемой модели. Например, если ввод — DAIN DeOldify EDVR, то DAINPredictor DeOldifyPredictor EDVRPredictor будут вызываться последовательно.--cpu: использовать процессорный вывод, по умолчанию используется графический процессор.
Мы создали учебник по восстановлению старого видео в Пекине в ai studio в ai studio.
Перед использованием этого учебника убедитесь, что у вас установлены paddle и ppgan.
Все команды в этом учебнике выполняются на основе домашнего каталога «PaddleGAN/applications».
Каждая модель занимает много времени, особенно модель суперразрешения. Рекомендуется, чтобы разрешение входного видео было ниже, а время — короче.
Для работы требуется среда GPU.
Можно использовать различные модели и параметры в зависимости от характеристик восстанавливаемого видео.
Модель Dain может явно обнаруживать окклюзию, исследуя информацию о глубине. В этой модели разработан слой проекции потока с учётом глубины для синтеза промежуточных потоков. Она хорошо работает при восстановлении дополнительных кадров видео.
ppgan.apps.DAINPredictor(
output='output',
weight_path=None,
time_step=None,
use_gpu=True,
remove_duplicates=False)
output (str, Optional): путь вашего вывода, по умолчанию: output.weight_path (None, Optional): путь веса вашей модели. Если он не установлен, вес по умолчанию будет загружен из облака на локальный компьютер. По умолчанию: None.time_step (int): временной коэффициент дополнительного кадра. Если установлено значение 0,5, а исходное видео имеет 30 кадров в секунду, после дополнительного кадра оно станет 60 кадров в секунду.remove_duplicates (bool, Optional): удалять ли повторяющиеся кадры, по умолчанию: False.DeOldify — это генеративно-состязательные сети с механизмом самовнимания. Генератор представляет собой структуру u-net. Эта модель хорошо работает для раскрашивания изображений.
ppgan.apps.DeOldifyPredictor(output='output', weight_path=None, render_factor=32)
output (str, Optional): путь вашего вывода, по умолчанию: output.weight_path (None, Optional): путь веса вашей модели. Если он не установлен, вес по умолчанию будет загружен из облака на локальный компьютер. По умолчанию: None.artistic (bool): использовать ли «художественную» модель. «Художественная» модель может давать интересные цвета, но на ней больше заусенцев.render_factor (int): этот параметр умножается на 16 как значение изменения размера входного кадра. Если значение установлено равным 32, входной кадр будет изменён до размера (32 * 16, 32 * 16), а затем введён в сеть.Модель DeepRemaster основана на пространственно-временной свёрточной нейронной сети и механизме самовнимания. И изображение можно раскрасить в соответствии с любым количеством входных опорных кадров.
Параметры
output (str, необязательно): путь к вашему результату, по умолчанию: output.weight_path (None, необязательно): путь к весу вашей модели. Если он не установлен, вес по умолчанию будет загружен из облака на локальный компьютер. По умолчанию: None.Модель суперразрешения — RealSRPredictor
RealSR модель фокусируется на разработке новой структуры деградации для реальных изображений путём оценки различных ядер размытия, а также реальных распределений шума. Основываясь на новой структуре деградации, мы можем получить изображения с низким разрешением (LR), которые разделяют общий домен с реальными изображениями. RealSR — это модель суперразрешения для реального мира, нацеленная на лучшее восприятие. Обширные эксперименты с синтетическими данными о шуме и реальными изображениями показывают, что RealSR превосходит современные методы, обеспечивая более низкий уровень шума и лучшее визуальное качество.
ppgan.apps.RealSRPredictor(output='output', weight_path=None)
Параметры
output (str, необязательно): путь к вашему результату, по умолчанию: output.weight_path (None, необязательно): путь к весу вашей модели. Если он не установлен, вес по умолчанию будет загружен из облака на локальный компьютер. По умолчанию: None.Модель суперразрешения — EDVRPredictor
EDVR модель предлагает новую структуру восстановления видео с улучшенной деформируемой свёрткой. Во-первых, чтобы обрабатывать большие движения, она разрабатывает модуль выравнивания пирамиды, каскадирования и деформирования (PCD), в котором выравнивание кадров выполняется на уровне признаков с использованием деформируемых свёрток от грубого к точному. Во-вторых, она предлагает модуль слияния временного и пространственного внимания (TSA), в котором внимание применяется как временно, так и пространственно, чтобы подчеркнуть важные функции для последующего восстановления.
EDVR — это модель суперразрешения, основанная на непрерывных кадрах, которая может эффективно использовать информацию между кадрами и работает быстрее, чем модель RealSR.
ppgan.apps.EDVRPredictor(output='output', weight_path=None)
Параметры
output (str, необязательно): путь к вашему результату, по умолчанию: output.weight_path (None, необязательно): путь к весу вашей модели. Если он не установлен, вес по умолчанию будет загружен из облака на локальный компьютер. По умолчанию: None.Видеомодель суперразрешения — BasicVSRPredictor & IconVSRPredictor
BasicVSR — это общая и эффективная базовая модель для VSR. С минимальными изменениями существующих компонентов, включая оптический поток и остаточные блоки, она превосходит существующие современные технологии с высокой эффективностью. BasicVSR использует типичную двунаправленную рекуррентную сеть. Модуль повышающей дискретизации U содержит несколько пиксельных перестановок и свёрток. Красный и синий цвета представляют обратное и прямое распространение соответственно. Ветви распространения содержат только общие компоненты. S, W и R относятся к модулю оценки потока, модулю пространственной деформации и остаточным блокам соответственно.
ppgan.apps.BasiVSRPredictor(output='output', weight_path=None, num_frames=10)
ppgan.apps.IconVSRPredictor(output='output', weight_path=None, num_frames=10)
Параметры
output (str, необязательно): путь к вашему результату, по умолчанию: output.weight_path (None, необязательно): путь к весу вашей модели. Если он не установлен, вес по умолчанию будет загружен из облака на локальный компьютер. По умолчанию: None.num_frames (10, необязательно): количество видеокадров, вводимых одновременно. По умолчанию: 10.Видеомодель суперразрешения — BasicVSR++Predictor
BasicVSR++ состоит из двух эффективных модификаций для улучшения распространения и выравнивания. Предлагаемое распространение по сетке второго порядка и... Модель суперразрешения видео BasicVSR++
Благодаря двум эффективным модификациям, улучшающим распространение и выравнивание, модель BasicVSR++ значительно превосходит существующие аналоги при сопоставимом времени выполнения. Модель BasicVSR++ выиграла 3 чемпионата и заняла 1 второе место в конкурсе по восстановлению и улучшению видео NTIRE 2021.
Архитектура модели BasicVSR++:
ppgan.apps.BasiVSRPlusPlusPredictor(output='output', weight_path=None, num_frames=10)
output (str, Optional) — путь к вашему результату, по умолчанию: output.
weight_path (None, Optional) — путь к весу вашей модели. Если он не установлен, вес по умолчанию будет загружен из облака на локальный компьютер. По умолчанию: None.
num_frames (10, Optional) — количество видеокадров, вводимых за раз. По умолчанию: 10.
Модель суперразрешения видео PPMSVSRPredictor
PP-MSVSR предлагает модуль локального слияния, вспомогательную потерю и модуль повторного выравнивания для постепенного улучшения результата улучшения.
Архитектура модели PPMSVSRPredictor:
ppgan.apps.PPMSVSRPredictor(output='output', weight_path=None, num_frames=10)
ppgan.apps.PPMSVSRLargePredictor(output='output', weight_path=None, num_frames=10)
output (str, Optional) — путь к вашему результату, по умолчанию: output.
weight_path (None, Optional) — путь к весу вашей модели. Если он не установлен, вес по умолчанию будет загружен из облака на локальный компьютер. По умолчанию: None.
num_frames (10, Optional) — количество видеокадров, вводимых за раз. По умолчанию: 10.
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Опубликовать ( 0 )