V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ns2250225
V2EX  ›  程序员

抖音特效的底层技术是什么啊

  •  
  •   ns2250225 ·
    ns2250225 · 2023-09-05 22:04:00 +08:00 · 2737 次点击
    这是一个创建于 445 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在学习计算机视觉相关知识,对抖音特效比较感兴趣,比如自动带墨镜特效等等,请问底层相关技术是什么啊,有什么好的学习建议,求指导

    13 条回复    2023-09-06 09:55:43 +08:00
    owen800q
        1
    owen800q  
       2023-09-05 22:27:38 +08:00 via iPhone
    别想那么复杂,本质上和游戏特效一样,AE 做了个动画,在 app 播放,你找个美工帮你画,你也可以做出来
    GeekGao
        2
    GeekGao  
       2023-09-05 22:29:45 +08:00
    ARCore 、AIKit 类似的技术
    ns2250225
        3
    ns2250225  
    OP
       2023-09-05 22:30:11 +08:00
    @owen800q 可是比如戴墨镜特效,有墨镜图片,还要用技术定位和附加上去呀
    GeekGao
        4
    GeekGao  
       2023-09-05 22:30:28 +08:00   ❤️ 2
    打错,ARCore 、ARKit
    ns2250225
        5
    ns2250225  
    OP
       2023-09-05 22:43:07 +08:00
    @GeekGao 你好呀,请问有没有关于 AR 相关的教程推荐一下啊,这些资料好像很少
    Cellinlab
        6
    Cellinlab  
       2023-09-05 22:51:41 +08:00   ❤️ 2
    关键词 opencv ffmpeg filter shader
    gzlock
        7
    gzlock  
       2023-09-05 22:53:07 +08:00   ❤️ 1
    https://github.com/CMU-Perceptual-Computing-Lab/openpose
    使用 openpose 识别画面,当识别出双眼时跟踪眼睛坐标就可以叠加墨镜图像
    嘴唇的颜色叠加同理
    瘦脸,就是把视频帧的脸部轮廓范围缩小
    缩头,拉腿跟瘦脸同理
    以上缺点是当某一帧识别不到对应部位时,都会临时失效
    虽然抖音这些大公司不一定会用 openpose ,但是可以反推出抖音也是类似的原理,因为抖音视频里都会有上面这个缺点。
    ns2250225
        8
    ns2250225  
    OP
       2023-09-05 22:56:58 +08:00
    我找到一个做 webAR 的公司: https://www.8thwall.com/blog/post/41172151240/introducing-8th-wall-face-effects ,就是想实现里面例子的效果
    ns2250225
        9
    ns2250225  
    OP
       2023-09-05 23:00:09 +08:00
    @Cellinlab 感谢推荐,感觉还是偏向 AR 方向会多一些
    shui14
        10
    shui14  
       2023-09-05 23:11:49 +08:00   ❤️ 1
    web 的话,效果差强人意,方案也多,这是目前人多的,但是不是开箱即用,要自己写代码
    https://github.com/pmndrs/react-xr
    ns2250225
        11
    ns2250225  
    OP
       2023-09-05 23:53:25 +08:00
    @shui14 感谢,主要我只会 web ,不会移动端的,所以只看这些,你这个接近我的需求了,我去好好研究一下
    Helsing
        12
    Helsing  
       2023-09-06 09:15:55 +08:00 via iPhone
    说到底还是图像识别和处理,去了解一下商汤的商用 SDK 方案就知道了
    MENGKE
        13
    MENGKE  
       2023-09-06 09:55:43 +08:00
    正在开发一款 web 的特效视频播放器,过一段时间会开源
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2597 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 04:56 · PVG 12:56 · LAX 20:56 · JFK 23:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.