neteroster 最近的时间轴更新
neteroster

neteroster

V2EX 第 191331 号会员,加入于 2016-09-11 21:01:55 +08:00
今日活跃度排名 4833
根据 neteroster 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
neteroster 最近回复了
3 天前
回复了 zhuwd 创建的主题 NVIDIA NVLink 对显卡集群的影响有多大?
1. 都用这些设备了不用 sglang 跑去用 ollama 这种干啥
2. 没多大并发占用当然不会高,bs=1 decode 是显存带宽瓶颈。
> 数据和状态变更喂给大模型,作为增量训练数据更新大模型来实现

持续学习某种程度上是机器学习和 LLM 领域的“圣杯”,目前研究距离这个目标还远的很。除去成本因素还有一些更本质的问题,例如[灾难性遗忘]( https://arxiv.org/abs/2308.08747)。

另外,目前的大模型没法直接从预训练文本泛化到各种任务,例如通用 QA 。例如你预训练代码库,不做其他处理的情况下模型根本没法回答/检索关于这个代码库的问题。这些都是要靠数据管线做的,甚至还需要很多“智能工人”。
因为模型能在语言间泛化,不仅包括人类语言,也包括编程语言。而且训练多种语言之后可以承担很多跨语言任务。

#7 > LLM 翻译虽然很通顺但不准确,以前用 GPT 翻译经常把意思改了

当前 SOTA 模型在常见语言互译上已经可以做到相当高的精度,特别是在上下文充足的情况下,已经不是传统的翻译模型可以企及的了。
Together 和 Fireworks.ai
还有一个比较便宜的不过我没试过 https://studio.nebius.ai/playground?models=deepseek-ai%2FDeepSeek-R1
@sworld233 R1 蒸馏的 Qwen 7B 是拿 Math 版本的,所以一般任务有点一言难尽。14B 和 32B 才是普通的版本蒸馏出来的。

---

楼上说的 Gemma2 9B 就可以,然后还有 GLM4 9B ,Qwen 2.5 7B 也还可以。
R1 确实很猛,带思考的大模型做这种题只会越来越强,毕竟:结果可验证 + R1 指明了强化学习在推理 LLM 上的有效性,这俩一结合就能预估这种算法竞赛未来的 LLM 能打过所有人类就是和 alpha go 打败人类棋手一样自然的事情。

虽说如此,实际应用场景复杂得多,还要在 Agent 、超长记忆、持续学习这几个领域有所进步才行,现在的技术这几个方面是明显薄弱的。很期待未来的发展。
@neteroster #1 CosyVoice 也支持,没记清楚
https://funaudiollm.github.io/cosyvoice2/

https://github.com/RVC-Boss/GPT-SoVITS

https://github.com/fishaudio/fish-speech

其中后两个还支持少样本声音克隆,可以搞点自己喜欢的声音样本做克隆生成
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   6185 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 02:12 · PVG 10:12 · LAX 18:12 · JFK 21:12
Developed with CodeLauncher
♥ Do have faith in what you're doing.