V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
noobma
V2EX  ›  程序员

有什么好用的去除视频背景颜色工具

  •  
  •   noobma · 164 天前 · 623 次点击
    这是一个创建于 164 天前的主题,其中的信息可能已经有所发展或是发生改变。

    通过一些网站生成的数字人视频,用的绿色背景,视频内容就是一个站着的人在讲话,头有些轻微的转动,嘴巴会动,其他基本上就是不动的内容。

    现在是通过 ffmpeg 进行颜色替换把 mp4 转成 webm ,但是在人的边缘和背景交界的地方,还是能看出绿色的颜色,要是调大 colorkey 的第二个参数,可能会把人身上的一些颜色给替换掉了。

    下面这张图是 ffmpeg 替换的效果 https://imgur.com/a/Tytu8R8

    所以现在求一个效果好的工具,最好是开源、免费的;要是收费的话,可以提供试用看效果的也可以

    9 条回复    2023-11-16 16:59:22 +08:00
    ysc3839
        1
    ysc3839  
       164 天前 via Android
    效果好的 keying 算法应该没有开源的,基本是跟随一些专业剪辑软件提供的。
    开源的基于 AI 的方案可以看看
    ysc3839
        2
    ysc3839  
       164 天前 via Android
    可以看看 RobustVideoMatting ,不过这不是根据颜色来去除背景,而是通用的可以去除任何背景,但效果不一定比专业的 keying 算法好
    https://peterl1n.github.io/RobustVideoMatting/#/
    noobma
        3
    noobma  
    OP
       164 天前
    @ysc3839 谢谢大佬,在 colab 上试了下 RobustVideoMatting ,也在 https://replicate.com/explore?query=background 这里找了些 ai 的去除方案,效果都不太理想,人物边缘的绿色还是有😓

    我在想用 ffmpeg 导出所有的图片,然后有没有什么工具可以识别人物轮廓的坐标,再沿着人物的轮廓把一圈的 1px 替换成透明的颜色,再把这些图片重新合成视频,最好是可以本地通过代码或者命令行调用的工具
    ysc3839
        4
    ysc3839  
       164 天前 via Android
    @noobma 看看测试截图?印象中效果没那么差,该不会是没处理好边缘吧?
    noobma
        5
    noobma  
    OP
       164 天前
    @ysc3839 https://imgur.com/a/NpiQ5YG
    大佬你看看,是不是跟我调成了输出图片序列有关
    noobma
        6
    noobma  
    OP
       164 天前
    @noobma 这是原视频截图
    https://imgur.com/a/OYbsl02
    ysc3839
        7
    ysc3839  
       164 天前 via Android
    @noobma 改成输出视频试试?需要改一下背景色,inference.py 115 行的 120,255,155 改成 0,0,0
    ysc3839
        8
    ysc3839  
       164 天前 via Android
    StubbornHuang
        9
    StubbornHuang  
       164 天前
    可以考虑 AI 的方案,前段时间刚刚开发过一个类似的产品,抠除人像效果还不错,对于不复杂的背景感觉效果很好
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5356 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 09:28 · PVG 17:28 · LAX 02:28 · JFK 05:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.