RealFuVSR增强现实世界视频超分辨率功能

作为近年来的热门话题，视频超分辨率(VSR)一直被认为是一项具有挑战性的任务，因为需要从视频帧中收集补充信息进行恢复。它旨在从未知的降级(即压缩、下采样、模糊或噪声)低质量视频中恢复更真实的高质量视频。

空间对齐是VSR中的重要方法，负责对齐高度相关但未对齐的特征以进行后续恢复。已经提出了许多方法来解决VSR对准问题。以前的方法通常使用光流来预测参考(近)帧和目标帧之间的运动场，然后使用相对应的运动场扭曲到目标帧。随后的方法使用了更复杂的隐式对齐方法。例如，TDAN 使用可变形卷积在特征级别对齐各种帧。事实证明这是可行的;然而，训练过程不稳定。在EDVR中，使用多尺度可变形卷积进行对齐。在RBPN中，多个投影模块使用多个帧进行聚合。这不仅提高了其性能，而且增加了模型的复杂性。

BasicVSR 是一个强大的支柱。然而，其有效性受到光流估计精度的限制，并且不正确对齐的特征会影响下一帧的对齐。在现实世界的VSR中，误差信息在传播过程中不断累积，这可能会放大噪声并阻碍视频恢复

在这项工作中，我们通过可变形卷积、多尺度特征提取模块(MSF)、级联残差上采样模块以及现实世界退化的模拟重新设计了BasicVSR。使用这些方法，可以更有效地传播和聚合隐藏状态信息。

本研究的贡献如下：

• 我们提出了一种新的视频恢复模型RealFuVSR，它可以从多个尺度提取和融合特征，并消除传播过程中令人困惑的伪影。

• RealFuVSR 使用先进的对齐和上采样方法来恢复高质量的帧，同时保持一定数量的参数。

对我们模型的定性和定量评估表明，RealFuVSR 可以恢复具有更丰富纹理和细节的高质量视频。我们的 RealFuVSR 模型优于最新的 Real-BasicVSR 和 Real-ESRGAN 模型。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！