V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
x77
V2EX  ›  程序员

在调用 OpenAI API 与 AI 对话时,如何剔除掉无效的历史信息?

  •  
  •   x77 · 300 天前 · 1302 次点击
    这是一个创建于 300 天前的主题,其中的信息可能已经有所发展或是发生改变。

    背景:在与 AI 模型对话的过程中客户端需要把对话历史记录也发给 AI ,这样 AI 能根据上下文更好的理解用户意图并作出回应。但是,无关的历史信息会影响 AI 对意图的理解,而且也会增加模型的负担。

    场景:用户和模型的对话主题是旅游,然而,用户突然蹦出个电影问题,然后又回到旅游主题,这时历史记录中就冒出个无关的电影内容,这对主题是无关紧要的,而且浪费 Token 。

    如何在历史记录中剔除与主题无关的内容?

    第 1 条附言  ·  299 天前
    我是开发客户端 App ,希望找个方案来避免发送不必要的历史内容
    3 条回复    2023-07-03 08:21:51 +08:00
    pigmen
        1
    pigmen  
       300 天前
    直接删除就好了呗,不支持的话建议换个客户端
    maolon
        2
    maolon  
       300 天前 via Android
    使用带 embedding vector search 的数据库来存历史对话,比如 redis ,postgresql ,云方案可以用 pinecone 之类的,然后返回 score 在一定阈值之上的历史问答
    liantian
        3
    liantian  
       299 天前 via iPhone
    1. 用 ai 解决,似乎…更费 token 。
    2. 分词一下,根据词频和权重,似乎不够智能?

    非人工,想到的也就这样了额。

    还是学会怎么问问题比较好,比如我想旅游看个电影,ai 或分词方法,会不会异常排除掉了…
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1138 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 23:29 · PVG 07:29 · LAX 16:29 · JFK 19:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.