我电脑里边有大概 2 万多份文档,其中 50% 是 Markdown 。之前一直重度使用 Claude 和 ChatGPT 里边的 Project 功能,来创建轻量的知识库,但是容量实在有限,而且使用的时候还得找出来相关文档丢进去。
后来开发了本地全文检索和知识库产品Linkly AI,是一直就在想,怎么能把本地的知识库接到 claude.ai 和 ChatGPT.com 去用,免得老是需要上传。
于是在前不久发布了一个隧道功能,把本地Linkly AI的知识库 MCP 代理到了一个固定端点上,然后就可以添加到 Claude.ai 和 ChatGPT.com 里边,通过 Oauth 认证后进行调用。
现在可以实现一个非常丝滑的体验:
我们有一些用户是学术、咨询行业的,甚至把六七万份文档放进去,打通使用,辅助做报告。如果有类似需求,欢迎试用,文档:远程访问
1
laminux29 15 小时 32 分钟前
这种需求非常难做。
如果想把所有文档全量导入 AI ,现有 AI 没有这么大的上下文窗口。 如果做剪枝,比如提取关键字、向量化、分块、甚至引入复杂的搜索引擎与工作流,都容易出现丢失信息与精度不够的问题。 这种情况下,要确保精度,只能学习人类,把文档一页一页地拆解,拆解后的内容与规范文档一段一段地喂给 AI ,这样做虽然精度足够了,但 tokens 与任务完成时间又会爆炸。 |
2
blueeon OP @laminux29 肯定不能把文档全量导入 AI ,传统的向量化分块效果也不太好,我们引入的就是搜索引擎构建的一种特殊的索引。的确是要学习人类,但是不需要一页一页地拆解,就跟你去图书馆找资料,只需要知道图书馆的索引就行了。
|
3
andforce 49 分钟前 via iPhone
Obsidian
你需要这个 |