V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
miaosl
V2EX  ›  OpenAI

GPT4 ALL 本地大模型,无法使用

  •  
  •   miaosl · 125 天前 · 1329 次点击
    这是一个创建于 125 天前的主题,其中的信息可能已经有所发展或是发生改变。
    昨天熬夜看短视频的时候发现有个开源的,本地语言模型,GPT4 ALL
    项目下载地址:
    https://github.com/nomic-ai/gpt4all/releases/tag/v2.5.4
    但是视频里别人下载完了装完模型就直接用了
    而到我这里下载完模型一校验直接提示:gguf 格式无效无法加载模型
    因为提示说原因有很多可能是电脑配置不够,讲道理这些模型下载的时候硬件限制只是内存。
    我还特意去下载了几个小模型,最后还是提示这个。
    我真不知道为啥。
    另外我的笔记本:
    R74800H 16GRAM RTX2060
    讲道理不应该啊
    8 条回复    2023-12-28 21:34:51 +08:00
    Terryu
        1
    Terryu  
       124 天前
    我是 mac m1pro 32G ,跑起来没问题; 你换台内存大的试试
    cuteguy
        2
    cuteguy  
       124 天前
    @Terryu 模型用的是哪个?和 openai chatgpt4 比咋样?
    miaosl
        3
    miaosl  
    OP
       124 天前
    @cuteguy 运行失败了,可能是我电脑配置不够。但是其他人评测还是没有真正得 gpt 比得
    miaosl
        4
    miaosl  
    OP
       124 天前
    @Terryu 但是讲道理哪些模型给的配置要求就是个内存,我电脑 16G 但是哪个模型要求 8G 就够了啊
    虽然可能就是我电脑配置不足
    gw1100
        5
    gw1100  
       124 天前
    @miaosl #4 我试了一下,16G 内存可以用 8G 的版本啊,我还教 ai 学中文呢,现在会说‘你的很棒,谢谢’(乐),就是这 8G 版本仍然有点笨,可能 32G 跑 16G 版本可能会好一些,你什么配置啊,不可能有比我还差的配置了
    miaosl
        6
    miaosl  
    OP
       124 天前
    @gw1100 我 16Gram 然后跑 8G 啊 4G 啊都提示
    Encountered an error loading model:
    "Could not load model due to invalid format for replit-code-v1 5-3b-q4 o.ggufi
    Model loading failures can happen for a variety of reasons, but the most common causes include a bad file format, an incomplete or corrupted download, the wrong file type, not
    enough system RAM or an incompatible model type. Here are some suggestions for resolving the problem:
    Ensure the model file has a compatible format and type
    Check the model file is complete in the download folder
    You can find the download folder in the settings dialog
    If you've sideloaded the model ensure the file is not corrupt by checking md5sum
    Read more about what models are supported in our documentation for the gui
    Check out our discord channel for help
    反正就是加载文件有错,但是这些模型都是从他那个软件本身下载得,如果你这个没问题得话
    那么有问题得就是它确实是模型得问题,这就奇怪了
    话说就是下载软件,然后下载镜像就可以了把
    我刚刚发现我目录有 n 个模型但是他只给我显示 4 个
    难道是模型得路径有中文导致得?
    我改下路径试试
    miaosl
        7
    miaosl  
    OP
       124 天前
    @gw1100 好的果然是路径有中文导致得哈哈哈哈可以用了
    dejavuwind
        8
    dejavuwind  
       124 天前
    其实这是 GPT4(For) All 吧? 4 是代表 For 吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2626 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 14:12 · PVG 22:12 · LAX 07:12 · JFK 10:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.