基于光流的开源视频未来帧预测算法

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 648 天前的主题，其中的信息可能已经有所发展或是发生改变。

欢迎大家来为我们的项目建设提供宝贵意见和 star：
https://github.com/megvii-research/CVPR2023-DMVFN
论文在做正式发表前的处理，模型也将会按照实用反馈进行更新
当前模型输入两个 RGB 帧，输出未来一帧的预测，类似于插帧的外插版本

11 条回复 • 2023-03-24 10:42:02 +08:00

ac23

2023-03-21 16:22:24 +08:00

流批

whi147

2023-03-21 23:09:16 +08:00 via iPhone

这么做的目的是为了提前渲染？

hzwer

2023-03-22 00:53:33 +08:00 via iPhone

@whi147 可能可以做或者以压缩方式做但是我们不太熟悉相关应用 🧐

siknet

2023-03-22 09:12:09 +08:00

这能拿来给视频补帧吧？

hzwer

2023-03-22 15:38:26 +08:00

@siknet 补帧有另外一些项目，有些技术上的小区别

deorth

2023-03-23 00:36:06 +08:00 via Android

我能想到的用处是，插帧算法得出来的视频最后会少一帧（相对于原视频的两倍帧而言），然后可以用这个补上? 233

devliu1

2023-03-23 11:14:32 +08:00

强啊

iloveoovx

2023-03-23 11:45:44 +08:00

应用的话，研究下 meta 在 asw 相关的一些工作？因为 VR 对帧数和延迟在所有应用中是最敏感的，所以补帧方面他们花了很多工夫

huxiaotao

2023-03-23 12:09:59 +08:00

@iloveoovx 确实可以

xing7673

2023-03-23 16:28:45 +08:00 via iPhone

这个应该是用来压缩的。
补帧是内插

kop1989smurf

2023-03-24 10:42:02 +08:00

类似 DLSS3 吧。既通过预测插帧，来降低传统补帧内插帧导致的延时效应。