如何有好的方式往 ChatGPT 灌入几万的数据，并让他输出总结

[zhangfeiwudi]

背景

需求是 需要灌入一个商品下的所有评价，然后让 ChatGPT 分析完所有评价后 除数对这个商品的多维度评价， 比如说这个商品的质量、舒适度、效果、推荐人群等。 但是有的商品里面有几万 几十万条评价。单次 Chat 接口无法满足

我目前有 2 个方案

1. 类似 chatpdf 的方式 ，先把所有评论走一遍 embeddings 然后再收集这个商品最核心的几个属性，针对这些属性找一些最头部的评价 拿着这些筛选过的评价问 ChatGPT 让他回答

2. 先把这几万条过滤掉低价值，不可用的，然后精简到一定范围内，比如说一万条内，然后分多次、连续上下文问 ChatGPT 后让他针对这个商品多维度给个回复

不知道是否还有更好的办法呢，其实这个问题也有点类似要导入一本书，然后让 ChatGPT 总结这个本书

[Latin]

https://github.com/guangzhengli/ChatFiles

[zypy333]

试试 ChatPDF ？

[ztxcccc]

超长文本只能 embedding