$V2EX
Solana
Give SOL to Copy Address
使用 SOL 向 Tink 打赏,数额会 100% 进入 Tink 的钱包。
Web  1 sites indexed in VXNA
13 articles feed address
Tink

Tink

V2EX member #51170, joined on 2013-12-03 12:11:55 +08:00
Today's activity rank 1941
MOD
Has privileges to move topics
12 G 73 S 5 B
VGluazkyMw==
Per Tink's settings, the topics list is hidden
Deals info, including closed deals, is not hidden
Tink's recent replies
14h 45m ago
Replied to a topic by Livid Wunder 这是我写了自用的 Harness 环境,长这个样子
已经用了几天了
2 days ago
Replied to a topic by abbyu 问与答 甲骨文春川是不是无法降配了
@none 怎么可能,除非升级号否则都要降
文章写的真不错,学习了
2 days ago
Replied to a topic by v2er4241 生活 想起一件招笑的小事
我一般会拿,然后扔掉。

我习惯给别人降低压力,只要给我增加的负担不是太重。
typo:可以-可能
LLM 自身能成功命中缓存,很大程度上决定了这模型的速度和计算量,虽然可以输出上帮助不多,但是 prefill 提升巨大
因为 KV cache 在 llm 里面是非常正经的概念

Transformer 做自回归生成时,每生成一个 token ,都要做 Attention ,要是没 KV Cache ,那每一个 token 都要重新算,那个计算量我觉得没有模型可用吧。

另外 agent 的 Prompt Cache ,要是没有缓存,每一次都要做 prefill ,也是非常离谱的计算量
测试方法是啥啊?
现在是梁子
@IwfWcf 没有哈哈,只是能给我加 5k 的 credits

算是纯宣传,我就是单纯觉得这个平台不错
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   886 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 19:33 · PVG 03:33 · LAX 12:33 · JFK 15:33
♥ Do have faith in what you're doing.