V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  reeco  ›  全部回复第 2 页 / 共 57 页
回复总数  1122
1  2  3  4  5  6  7  8  9  10 ... 57  
301 天前
回复了 SSSSeven 创建的主题 职场话题 应届生是先就业再择业 OR 先择业再就业
这两个都是死路一条,还不如开发
304 天前
回复了 bddxg 创建的主题 Linux 想转 manjaro 但是有几个问题困扰着我
输入法推荐用 https://github.com/iDvel/rime-ice ,就在 aur 里,词库更新还算频繁
要补 3w
308 天前
回复了 lemoon 创建的主题 Local LLM 如何系统的深入 LLM?求资源
langchain ,ollama 都是应用层的东西,如果你要深入理解 LLM ,看这两个都没啥用,因为这两个本质上就是调 api 。
要系统得了解 LLM ,还是老老实实从理论开始看起,比如最基本的 《 attention is all you need 》,理解了它你才能看懂 transformer 的模型结构以及推理的代码。有了理论基础后再选个方向深入研究,比如推理部署,模型的结构设计,模型训练微调。现在代码资源很丰富的,没有理论基础,看起来会非常吃力。
314 天前
回复了 Jinnrry 创建的主题 Local LLM Google Gemma 开源没人讨论下吗?
效果不行,试了几个问题就没兴趣了
316 天前
回复了 CivAx 创建的主题 程序员 各位的家用服务器是 EXSi + OS 还是直接装 OS
debian + docker 纯手动
319 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@wclebb 能跑,7b 量化到 2bit ,iPhone 15 Pro 上就能跑了,但没什么用,模型上限太低了
319 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@ShadowPower 在我的 7950x 上面,llama.cpp avx512 有大约 10%到 20%的提升
319 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
纯 cpu 跑买一块支持 avx512 的 cpu 加 32G 内存,跑跑量化 7b 的也还行。用 gpu 你那块 3060ti 跑 7b 也完全够了,单独配其实也可以考虑 amd rocm ,便宜大碗。但目前这块需求其实没那么强,跑起来新鲜劲一过,容易吃灰。
自己编译一下 llama.cpp ,一样的效果
不涉及系统开发,没有区别。所谓的开发环境不就是 IDE + 浏览器吗
330 天前
回复了 huiwang520 创建的主题 程序员 我对 Go 和 Rust 的看法
这种废话贴点进来真是浪费时间
线上 CPU 就 2 核,啥优化都没用
352 天前
回复了 shubiao 创建的主题 问与答 怎么把大模型微调成文本分类模型?
分类为什么要用大模型
预算 2w ,直接上 4090 ,1.5w 买 4090 ,剩下的 5k 按内存,cpu ,电源、主板,依次往下砍。
2024-01-02 10:36:57 +08:00
回复了 mqllin 创建的主题 问与答 常年打游戏导致现在晚上睡不着早上起不来怎么办
才 12 点,搁这养生呢
2023-12-26 21:22:48 +08:00
回复了 Haku 创建的主题 Python 请问下 Java 如何调用含有第三方依赖的 Python 项目
python 也是 binding 到 c++,直接用 java binding 到 c++不就好了吗,一个容器搞定。
2023-12-20 12:40:40 +08:00
回复了 newbee2000 创建的主题 分享发现 回顾 2023 年入手的电子设备
入手了 2x4090
2023-12-19 10:39:11 +08:00
回复了 hui9000 创建的主题 问与答 关于公司搭建 AI 问答的一些风险
请我当顾问,帮你搭一个完全私有部署的 :-)
2023-12-06 11:40:14 +08:00
回复了 steelshadow39 创建的主题 Java 讨论 Java 相比其他编程语言(c++, go, rust 等)的缺点
没有意义的讨论,不如花点时间用这几门语言分别写下 side project
1  2  3  4  5  6  7  8  9  10 ... 57  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5443 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 47ms · UTC 01:22 · PVG 09:22 · LAX 17:22 · JFK 20:22
Developed with CodeLauncher
♥ Do have faith in what you're doing.