V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
mumbler
V2EX  ›  分享发现

Llama3.1 8B 本地部署抢先体验, win&mac 一键启动整合包,图形化界面+知识库

  •  2
     
  •   mumbler · 119 天前 · 3101 次点击
    这是一个创建于 119 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一键启动整合包下载地址: https://flashai.com.cn

    Llama 3.1 于 2024 年 7 月 24 日重磅推出,包括 405B ,70B ,8B 三个模型,将上下文长度扩展到 128K 、增加了对八种语言的支持。

    8B 模型在 5 月初发布的 3.0 基础上能力有了大幅提升,超越 gemma2 9B 成为 10B 以下模型的 SOTA

    这款 Llama3.1 8B 整合包,下载解压后开箱即用,无需任何安装配置,包括了 ollama ,Llama3.1 8B 大模型文件,图形化界面,知识库,向量模型,知识树,文档翻译,中文优化等,体积 5.7G

    最低配置:8G 以上空闲内存,支持 avx2 的 CPU (近 10 年主流 CPU 都支持)

    推荐配置:8G 显存的 N 卡 GPU

    Flashai

    Flashai

    Llama3 8b

    第 1 条附言  ·  119 天前

    Mac版已经上传,强烈推荐M系同学下载使用,很流畅 flashai llama3.1 8B

    23 条回复    2024-07-26 16:47:43 +08:00
    B4a1n
        1
    B4a1n  
       119 天前
    mumbler
        4
    mumbler  
    OP
       119 天前   ❤️ 1
    @B4a1n 官方没有说正式支持中文,可能中文语料训练得少,国产模型大都基于 llama3 训练的,很快会出来一堆。10B 以下模型里中文能力目前最好的是 gemma2 9B ,英翻中特别厉害
    gzlock
        5
    gzlock  
       119 天前
    https://ollama.com/library/llama3.1
    我会用知名度更高的 ollama 去体验 llama3.1
    不是说不知名的软件啊整合包啊就该埋入土了,我本意是用更知名的出品代表有更多人盯着有没有作恶
    jeffwcx
        6
    jeffwcx  
       119 天前 via iPhone
    @mumbler qwen 也是基于 ollama ?
    yekern
        7
    yekern  
       119 天前
    去 huggingface 找 llama3-8b-chinese-chat-ollama-q4 已经支持 ollama 了 可以直接用微调中文的
    walkingmoonwell
        8
    walkingmoonwell  
       119 天前
    @yekern 对这些不是很了解,我想问问比如这些模型做成知识库或者其他什么的,是已经很成熟可以当成产品了吗?还是只是本地部署自己玩玩?
    mumbler
        9
    mumbler  
    OP
       119 天前 via Android
    @gzlock ollama 只是一个命令行,要用图形界面需要安装 webui ,要用知识库需要安装 anything ,对普通人太麻烦,flashai 底层也是 ollama ,集成了图形界面,知识库,不用一个个去安装了,更方便不是吗
    mumbler
        10
    mumbler  
    OP
       119 天前 via Android
    @jeffwcx
    llama2 有 7b 13b 33b 70b,qwen1.5 有 7b,14b,34b,72b
    llama3 有 8b 70b,qwen2 有 7b ,72b
    是不是一样的
    mumbler
        11
    mumbler  
    OP
       119 天前 via Android
    @walkingmoonwell 知识库已经很成熟了,可以用 flashai 免费体验一下,硬件有个 gpu 体验更好
    mumbler
        12
    mumbler  
    OP
       119 天前 via Android
    @yekern 赶紧再微调一个 3.1 的,基座比 3 强了不少
    andykuen959595
        13
    andykuen959595  
       119 天前
    试了一下 3.1 ,中文貌似还是不如 qwen2 ?其它方面还是弱点
    sunnysab
        14
    sunnysab  
       119 天前
    @mumbler 多少参数是按显卡算力来定的,跟“基于”无关。
    mumbler
        15
    mumbler  
    OP
       119 天前 via Android
    @sunnysab 从零训练一个大模型,是很贵的,开源模型的大爆发就是从 llama 发布开始的,如果 qwen2 是从 0 训练的,也应该跟 1.5 一样有 14B ,32B 这些参数,为什么没有? 因为 llama3 没有
    wanghui22718
        16
    wanghui22718  
       119 天前
    竟然是直接从主站下载?
    大哥服务器没问题吗?
    正在下,感谢
    mumbler
        17
    mumbler  
    OP
       119 天前
    @wanghui22718 下载也是用户体验的一部分,我们初心就是极致的大模型本地部署体验,在任何电脑上开箱即用,不依赖环境,不用具备相关技术知识,all in one
    xoxo419
        18
    xoxo419  
       119 天前
    Mac M1 16g 可以部署吗
    mumbler
        19
    mumbler  
    OP
       119 天前
    @xoxo419 当然可以,8B 模型只需要 6G 内存,有 M 芯片加持,速度飞快,mac 包刚刚通过苹果做审核,现在可以下载了
    jeffwcx
        20
    jeffwcx  
       119 天前 via iPhone   ❤️ 1
    @mumbler 。。。靠参数规模来判断哪个是不是基于哪个,您太牛了
    yekern
        21
    yekern  
       119 天前
    @mumbler 已经有了 去搜下就好了, 下载下来 转换下就可以用了
    mumbler
        22
    mumbler  
    OP
       118 天前
    @jeffwcx 合理推论,国产模型训练都用 llama 不是什么秘密
    kangfenmao
        23
    kangfenmao  
       118 天前
    再推荐一个我开发的 Cherry Studio 支持 Ollama: https://github.com/kangfenmao/cherry-studio
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5096 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 09:33 · PVG 17:33 · LAX 01:33 · JFK 04:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.