V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  GrayXu  ›  全部回复第 4 页 / 共 40 页
回复总数  791
1  2  3  4  5  6  7  8  9  10 ... 40  
@kangfenmao #41 感觉做 chatbot 前端产品已经很红海了,这种桌面端应该是和 chatall 一个生态位。chatall 现在还不能自定义 endpoint ,不能图片 langchain 等交互。加油
印象类似的产品不少吧,感觉速度都感人
134 天前
回复了 GrayXu 创建的主题 问与答 求推荐一个轻量 RAG LLM chat 的部署方案
@wm5d8b #11 12G 算上量化只能部署个 9B 的模型吧。只能说离“能用”还有很大距离
135 天前
回复了 GrayXu 创建的主题 问与答 求推荐一个轻量 RAG LLM chat 的部署方案
@echoless #6 你可以关注下 siliconflow ,最近上了 embedding ,后面会上 rerank 。
135 天前
回复了 GrayXu 创建的主题 问与答 求推荐一个轻量 RAG LLM chat 的部署方案
@echoless #6 有的是开源的,有的不是
135 天前
回复了 GrayXu 创建的主题 问与答 求推荐一个轻量 RAG LLM chat 的部署方案
@lixen9 #3 谢谢 试了一圈 fastgpt 确实是最好上手的。看了下小规模使用下,开源版本没啥问题,就是配置系统比较麻烦 XD
135 天前
回复了 GrayXu 创建的主题 问与答 求推荐一个轻量 RAG LLM chat 的部署方案
@mumbler #1 谢谢,这个方案看上去限制蛮多的,付费了也只有 8b 的模型。我们已经有 embedding, rerank, chat 的完整 api 服务了。
个人机器无所谓。
scale 到大型数据中心这个场景来讨论,内存错误就是常见的错误。
直接上数据,阿里云上二十五万台服务器在八个月时间里,有三万多台机器出现 CE 内存错误(七千万多次)。UE 导致的 failure 有三千多的工单。
@SlanWyf #10 没有那么多场景需要频繁改动 rules 的,vim is all u need
141 天前
回复了 dzdh 创建的主题 OpenAI 为什么有些中转平台定价比官网便宜那么多?
响应速度慢、支持不完整( func call 等)的一律是 chat2api 。
把这些筛掉就基本来到 6 元以上了。
142 天前
回复了 vate32 创建的主题 Apple Infuse 通过 ICP 备案,带来 2 折年度订阅优惠
“已达到每日代码上限。请明天再来查看。”
openclash 不就是 clash 的 client ,装个 clash 用 yacd 呗
142 天前
回复了 zzzain46 创建的主题 优惠信息 Infuse 8 折优惠活动
“已达到每日代码上限。请明天再来查看。”
148 天前
回复了 pojer 创建的主题 Steam Steam 夏促开始了,今年有什么推荐的游戏吗?
@BlackSiao #30 CRPG
150 天前
回复了 koto 创建的主题 问与答 哪家天气 app 是对下雨比较准的
@shonnliberty @frencis107 好奇为什么本地气象局的产品会更有优势,难道气象信息不是全局同步的?也不太可能有私有模型或算法吧?
152 天前
回复了 MareDevi 创建的主题 大学 北邮和大连理工选哪个
帖子里这么多北邮的都没人指出来吗。。北邮的保研比例也有 20%,可能没大工多,但差距真没那么大。

无脑北邮 CS 。更何况你这选大工还不好任选专业。
155 天前
回复了 kyoutarou 创建的主题 NAS 普通小机柜能隔音吗
普通台式机很容易做到降噪的,全固态,水冷,猫扇等等。

多机械盘的 NAS 就没办法,只能降噪棉或者放角落。
@Greendays #1 其实只是超频难度更高,倒不会降频
1  2  3  4  5  6  7  8  9  10 ... 40  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3672 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms · UTC 04:25 · PVG 12:25 · LAX 20:25 · JFK 23:25
Developed with CodeLauncher
♥ Do have faith in what you're doing.