(插帧)2020-ArXiv-旷视&北大-RIFE：Real-Time Intermediate Flow Estimation for Video Frame Interpolation

贡献：
能够720p实时视频插帧

现有视频插帧大多先估计双向光流，然后采用线性组合方式近似中间流，然而这种处理方式会在运动边界区域产生伪影问题。

提出了一种新颖而有效的IFNet直接估计中间流信息并用于视频插帧，可以通过连续两帧输入估计中间帧的光流信息。
RIFE是首个基于光流的实时视频插帧方案，它能够以30fps对720p视频进行插帧。

 只估计一次光流Ft->0

为更好处理大运动，IFNet采用了“Coarse-to-Fine”方式逐渐提升分辨率，也就是先在低分辨率上计算“粗糙”的光流，然后在高分辨率上计算“精细”光流。这也是目前光流估计中常用的一种处理方式。

IFNet的光流更为清晰、锐利；同时线性组合后光流存在更少的重叠和模糊现象。

IFNet只需进行一次光流估计，而双向光流估计则需要进行两次估计。
为消除变换帧的伪影问题，作者将输入帧、光流、变换帧（warp帧）同时送入到到FusionNet中进行重建。

 soft fusion map表示mask图的值范围为0-1之间（软融合图）

 FusionNet包含一个上下文特征提取模块(ContextNet)和融合模块(UNet结构)

参考

 720p实时视频插帧 | 旷视科技&北大提出RIFE - 知乎

FusionNet
最后输出的x包含4个通，其中前3个通道是生成的重建残差Δ DeltaΔ，第4个是融合图M。

RIFE-实时视频插帧算法 | RIFE：Real-Time Intermediate Flow Estimation for Video Frame Interpolation_chenzy_hust的博客-CSDN博客_rife补帧

最后

以上就是顺心冷风为你收集整理的(插帧)2020-ArXiv-旷视&北大-RIFE：Real-Time Intermediate Flow Estimation for Video Frame Interpolation的全部内容，希望文章能够帮你解决(插帧)2020-ArXiv-旷视&北大-RIFE：Real-Time Intermediate Flow Estimation for Video Frame Interpolation所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。