V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  mythabc  ›  全部回复第 1 页 / 共 35 页
回复总数  697
1  2  3  4  5  6  7  8  9  10 ... 35  
19 小时 32 分钟前
回复了 flypei 创建的主题 汽车 雷布斯 正在发布 小米 SU7
苹果生态支持点赞啊。

另外这个 1.8B 的大模型能达到 demo 里的效果吗?有点怀疑
恭喜你已开出盲盒奖品为阿里云社区积分 100 个(一分钟后生效)。分享更多好友参与,有机会赢取 iPhone15 、机械键盘等大奖!
顺带一提:我比较极限,把以上配置塞进了 SSUPD 里,一个 15L 体积的机箱。
本地只能跑跑推理和 7B lora 训练。更大规模的训练可以选择租 A100
我的配置是:
GPU:4090D 虽然是 dog 版,但是目前 4090D 的性价比是比 4090 高的。
板 U 内存:B550I + 5800X + 2 *32G 以前攒的,跑大模型对 CPU 要求不高,内存要注意有一些步骤,比如 lora 合并、量化会使用内存,如果内存太小可能就跑不起来,64G 是需要的。

电源散热机箱:根据自己需求配把。

主要成本还是显卡。
19.99 基础款(实际没有库存,只是压价)
23.99 走量款
36.99 高端梦想款
19 天前
回复了 struggletoday 创建的主题 职场话题 应聘顺丰收派员后,混沌的一周
以前做什么工作?
19 天前
回复了 yukiyama 创建的主题 Apple 新款 M3 MacBook Air 到底该买什么配置?🤔
M2 24+512 > M3 16 + 512
19 天前
回复了 yukiyama 创建的主题 Apple 新款 M3 MacBook Air 到底该买什么配置?🤔
24+512 ,16 内存根本不够用
来看看我凤雏的作品:
工商银行取得「基于 Spring Boot 的 web 系统后端实现方法及装置」专利


www.oschina.net/news/279004
48 天前
回复了 u123 创建的主题 问与答 宗教之外健康人不喝酒的正当理由
不喝酒还要找理由?爷才不惯着你
50 天前
回复了 cmonkey 创建的主题 硬件 运行 LM Studio 的电脑硬件配置
一步到位 4090 。其他卡都是勉强跑起来,你会不断花时间在纠结这破卡是不是该换了。
不要只看 int4 的模型最低的显存占用,prompt token 上去以后显存占用会暴增,平方关系。
57 天前
回复了 echo0x000001 创建的主题 生活 你们喜欢过年吗?
小时候觉得过年很有氛围,其乐融融。
长大了经历了很多事,觉得很多的亲情充满了虚伪,就不喜欢过年了。就当是扣了调休多放三天假。
在农历新年将至的时间里,我决定扮演两周回民,不过春节。
提速降费,人亡政息
拿 AI 生成文章,洗稿,做 SEO ,评论机器人,做二次元数字人骗宅男钱,这些都是可黑可白的灰色地带。可以戴个好听的帽子,也可以说挣这样的钱不道德,但铺天盖地的而来的就是这些内容。大厂的能自己做模型、基础设施,中小企业内部可以搞 RAG ,但个人开发者做 toC 的,目前看到最多还真就这些。

现在做不挣钱的项目,维持基本的收支平衡,培养客户群体,等待 LLM 的摩尔定律生效:“18 个月训练成本下降为四分之一,推理成本下降为十分之一”
@GeekGao
反驳一下 1 。那个不能提起名字的厂商会炒作民族主义和安全问题,把所有的 ZF 采购市场都吃掉。别家现在不仅显卡被制裁了难买,ZF 也没有能力评估模型能力和技术水平。

---
目前有很多工具,像 chatpdf ,已经做的挺好用,能成为提升效率的工具,但目前应该还谈不上盈利,个人开发者做起来。
另一个领域是软色情和各类灰色产业,在 LLM 技术交流群里看过不少老哥做这个。

还有就是不要做面向国内市场的产品,因为这个阶段想把效果做好出了 GPT4 的 API ,几乎没有其他方法,国内要是火起来了大概率要被查然后没收非法所得,再扣个数据安全罪名关进去。
84 天前
回复了 GCP 创建的主题 生活 这些年最明智的决策之一:先买房后买车
把时代赋予的当自己实力了
85 天前
回复了 luckyjoe 创建的主题 宽带症候群 2024 年了,有必要上软路由吗
有,因为终端设备的管控越来越严了。手机内置反诈天天上传你 APP 。
现在买房,是为国接盘啊。
1  2  3  4  5  6  7  8  9  10 ... 35  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5361 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 41ms · UTC 07:58 · PVG 15:58 · LAX 00:58 · JFK 03:58
Developed with CodeLauncher
♥ Do have faith in what you're doing.