V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
etherealai
V2EX  ›  程序员

基于 ChatGLM 的中文 AGI 项目 🚀

  •  
  •   etherealai · 2023-06-18 21:19:50 +08:00 · 1268 次点击
    这是一个创建于 556 天前的主题,其中的信息可能已经有所发展或是发生改变。

    本地部署 ChatGLM-6B API 服务,将 ChatGLM API 接入 BabyAGI ,使得 BabyAGI 运行时调用 ChatGLM 的结果。

    将 BabyAGI 的提示和输出都进行了中文优化,使其输出中文结果。Embedding 使用针对中文优化的 text2vec-large-chinese 模型。

    ChatGLM 占用大约 12G 左右显存,embedding 模型大约占用 3G 左右显存,最终大约共使用 15G 显存成功运行。

    GitHub 项目地址: https://github.com/EmbraceAGI/LocalAGI

    效果图:

    imgs

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5956 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 02:26 · PVG 10:26 · LAX 18:26 · JFK 21:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.