V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
coala
V2EX  ›  问与答

国产显卡(摩尔线程)有可能跑大模型嘛 ?

  •  
  •   coala · 14 天前 · 1171 次点击

    不能的话, 主要问题在那里呢? 驱动层面吗?

    例如跑: https://huggingface.co/spaces/InstantX/InstantID

    显卡信息 S3000 https://www.mthreads.com/product/S3000

    5 条回复    2024-06-06 04:25:47 +08:00
    haiku
        1
    haiku  
       14 天前 via Android
    问他们客服可能比较直接,我记得有兼容 opencl 和 cuda ?
    coala
        2
    coala  
    OP
       14 天前
    @haiku 问了下,感觉很难拿到什么有用的回答, 目前看来 还是 NVIDIA Tesla M40 或者 P40 比较合适。
    SkywalkerJi
        3
    SkywalkerJi  
       14 天前
    好像是支持的,但是有点灰色地带。因为 nv 禁止第三方兼容 cuda ,只是摩尔线程不是 nv 主要打击目标所以也没啥事。
    lovestudykid
        4
    lovestudykid  
       14 天前
    @SkywalkerJi #3 兼容 Windows 都没问题,兼容 cuda 应该也没啥问题吧,只要是 cleanroom 开发的
    ysc3839
        5
    ysc3839  
       14 天前 via Android   ❤️ 2
    @SkywalkerJi @lovestudykid
    “兼容 CUDA”有两种兼容方式,一种是 API 级别兼容,需要重新编译代码来支持,AMD 的 ROCm 就是 API 级兼容 CUDA ,这是没问题的。
    还有一种是二进制级别兼容,现有的 CUDA 软件不需要重新编译就能兼容,这种是 NV 禁止的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2593 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 15:28 · PVG 23:28 · LAX 08:28 · JFK 11:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.