coefu

活在自我臆想里的堂吉柯德。

我选 amd ，内存带宽都有。只是没钱买，有钱也买不到。

上了年纪就是这样，有怀旧情结了。谷歌地球最早可以到 2002 年的长沙，可能是湖南省最早的了。地级市大概在 2013 ～ 2014 最早。

@diudiuu #8 太 tm 悲催了，我因为用错了电源线，把 amd mi50 的 hbm2 显存给烧了。以后坚决不买这种小众的东西了，电源线都找不到。还得是一分钱一分货。内存差价这种钱，果然还是赚不得。

@KaiWuBOSS #23 甚至是异构模型，也是可以的，只是中间要搞转换。转换的这个事情，可能更简单一点。

@KaiWuBOSS #23 我突然想起了 https://arxiv.org/abs/2511.20639 ，Latent Collaboration in Multi-Agent Systems

你可以用多个同源 9B 的模型，解决一些不确定性。

@diudiuu #4 其实对于这些细节，我也是一知半解的，我没沉下去细究过。😏

我去年囤了几条内存，今年出手赚了点差价，换了一个 amd mi50 32G ，最近都在折腾它。哎，一分钱一分货，早知道加点钱搞 v100 32G 了，折腾的太麻烦了。把我之前的主力机主板都搞崩了，就很烦。

你做的这个事情，很好，我目前帮不到什么忙。

@KaiWuBOSS #20 我的经验就是，不要一早就立一个宏大到一眼看不到头的 flag 。 目标放的低一点，日拱一卒的去做，反而比一开始就冲锋，可能效果会更好。你一早就对标 cc ，那么期望值必然太高，各种达不到的预期会冲抵这份积极性。

cc 是大资本裹挟了一个超人才 team 逼出来的。它被动开源的部分，早就是它们内部的过去时了，你只看到了一个被动开源的中间态罢了，未必是最终形态，也未必是真正能持续有用的。search 的这部分，包括整个 harness ，从根源上是 反着 the bitter lesson 来的，过往之谏 让我对这些本身就很抵触，本质上和过去符号主义没什么区别。

你这份态度，我欣赏，我也不打消你的态度积极性，闯一闯，失败了，也未必是坏事。

search 只有花钱买 api ，这是市场选择。

你要做的这个事情，缝缝补补，总是差强人意的能用一下，但是对标 cc 这种云 api 的想法，可以先停一停。不如它，很正常。比它差一点，但是能用，也不是不可以。对标它，那是要融资了凑人才 team 做的事情，开源注定是做不成的一地鸡毛。

@KaiWuBOSS #6 不比 10 年前的开源了。如果只是单体 application ，熟悉个把高级语言，也能参与。但是你这个是一个解决方案，里面涉及到的技能和知识点，不是 web 体系，有门槛的。你指望这些普通前后端围墙里的人，主动免费突破自己的知识壁垒，这是妄想。

而且你要做的这个事情，本身 top 厂商 也没有完全解决。还在演化迭代中，随着模型本身能力的进化，harness 都快要成过去时了。虽然，我不看好 LLM 这波，但是我自己也有使用的需求，我也持续关注。但是，变化太快了，你可以这么理解，agentic 本身的鲁棒性 一般，方法论迭代，时好时坏，benchmark 甚至都不能作为完整的验证依据。

这也是为什么市面上，迟迟没有人做。我 2024 年夏天的时候，langchain 就摸了一遍，去年开春的时候，llama.cpp 也摸了一遍，我这个摸，都是直接看源码的，当然，这是个人习惯，我看源码和看小说没什么区别。我为什么没做，因为，我看的太多了。我试图给 llama.cpp 找 异构多机多卡的分布式并行推理 的解决方案，想了几个月，并且还花点钱组了一个 10G 网络，但是最终，我发现是徒劳的。

比如，联网的问题，searxng ，如果你深度使用过就知道，就是个玩具（一则是它整合结果的算法，二则是 search 能识别有时候返回不相干结果）。不用钱买 search api ，都是玩具。
记忆这块，本身学界也没有什么好方案，论文出了一大堆，吹的比实际都好。至于 a ，o ，厂的技术，基本上都是人力财力堆出来的。开源完全无法媲美。

kvcache 的问题，在 gram 有限的开源环境中不可能解决，这是 0 day 原始问题，不是工程技术的问题，是原始架构的问题。唯一的方法，就是堆 gram 。

context 问题，和 kvcache 如出一辙。

有限 gram 的开源异构环境，没有通用解。