V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
annoygaga
V2EX  ›  程序员

现在有哪个 LLM 已经部署在手机/PC 设备上么(CPU),效果还不错的那种

  •  1
     
  •   annoygaga · 43 天前 · 1238 次点击
    这是一个创建于 43 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,有哪个还不错的 LLM ,目前可以部署在手机(最新 CPU 手机)或者本地 PC 上么?现在希望 embed 到一些 app 里

    5 条回复    2024-11-09 16:19:01 +08:00
    rus4db
        1
    rus4db  
       43 天前   ❤️ 1
    不妨看看我做的小玩具,浏览器上推理的:
    https://github.com/bd4sur/Nano
    annoygaga
        2
    annoygaga  
    OP
       43 天前
    没人么?
    annoygaga
        3
    annoygaga  
    OP
       43 天前
    @rus4db 赞啊,我看模型大小几百 MB
    EscYezi
        4
    EscYezi  
       43 天前 via Android
    现在 google 在推 gemini 移动端部署,不知道效果如何
    annoygaga
        5
    annoygaga  
    OP
       43 天前
    @EscYezi 好像一般般
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2724 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 09:18 · PVG 17:18 · LAX 01:18 · JFK 04:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.