V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
podel
V2EX  ›  OpenAI

ChatGPT 的回复太慢了有啥办法可以加快吗

  •  
  •   podel · 180 天前 · 8215 次点击
    这是一个创建于 180 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题。 chatgpt 回复的时候那个打字框贼慢贼慢。长回答的时候看得都要急死了。 后台应该数据早就一次性就返回了。 有什么油猴脚本之类得能够加快回答得回复显示得速度吗?

    第 1 条附言  ·  179 天前
    结帖: 是 POST 请求长连接返回的。没办法一次性返回结果。
    并且最近几天米国的 /我这边 IPLC 线路都不稳会出现 network error
    22 条回复    2022-12-18 14:44:44 +08:00
    zhoufenfens
        1
    zhoufenfens  
       180 天前
    它应该是保持着一个长连接吧,不是一次性返回然后逐字渲染。
    bluedawn
        2
    bluedawn  
       180 天前 via iPhone
    似乎是这两天才这样的,原因不知道,可以试试 GitHub 大佬做的相关项目
    podel
        3
    podel  
    OP
       180 天前
    没错。采用得是长 POST 回复信息得。 而不是一次性回复信息。
    所以必须保持 长得稳定得连接才行。没办法加快
    lookStupiToForce
        4
    lookStupiToForce  
       180 天前
    应该不是“后台应该数据早就一次性就返回了”
    有些回答会中断停留很长时间,有时候甚至会直接回答一半直接挂掉
    mxT52CRuqR6o5
        5
    mxT52CRuqR6o5  
       180 天前
    @lookStupiToForce 我也觉得 chatgpt 的一个字一个字蹦出来的设计是受限于模型设计的,OP 认为『后台应该数据早就一次性就返回了』有点太想当然了
    podel
        6
    podel  
    OP
       180 天前
    @mxT52CRuqR6o5 就算不行也应该 先把数据准备好。 然后一次性返回。 长 POST 真的太难稳定了。
    Garalt
        7
    Garalt  
       180 天前
    用英语比中文快,个人体验
    me221
        8
    me221  
       180 天前
    有没有可能是你国不稳定
    systemcall
        9
    systemcall  
       180 天前
    VPN 太烂了吧,换个好点的就会快不少
    ViolaH
        10
    ViolaH  
       180 天前 via iPhone
    @me221 不是,我在海外这几天照样很慢,还容易跳 network error ,前几天没这样
    zhuweiyou
        11
    zhuweiyou  
       180 天前
    长连接持续返回的,并不是一次返回
    Shosuke
        12
    Shosuke  
       180 天前 via iPhone
    它好像最近的人类道德观念非常强烈
    netabare
        13
    netabare  
       180 天前
    一个字一个字返回这个应该是最近增加的 throttling ,之前是一段一段话返回的,估计没有任何办法加快。
    rpman
        14
    rpman  
       180 天前 via iPhone
    这种序列 decoding 模型 streaming 其实是一种优化
    因为完整解码就要这么多时间。他只是把中间结果也展示了。
    needpp
        15
    needpp  
       179 天前
    ![image]( http://tvax1.sinaimg.cn/large/63211452gy1h91uvhz4k4j21dg0o47wh.jpg)


    顺带问一下,我想知道这种分段的数据前端怎么接收的?
    summer2019
        16
    summer2019  
       179 天前 via iPhone
    @needpp event stream
    Tink
        17
    Tink  
       179 天前 via Android
    他在组织语言
    Ocean810975
        18
    Ocean810975  
       179 天前 via Android
    @ViolaH 话说是不是因为不在美国?你要在美国当我没说
    eggsblue
        19
    eggsblue  
       179 天前
    作为一个人,你也需要组织语言来交流🥹
    neptuno
        20
    neptuno  
       179 天前 via iPhone
    人也是这样说话呀,问完问题,去做点其他事情,就跟微信聊天一样。
    ZztGqk
        21
    ZztGqk  
       179 天前 via iPhone
    用的 decoder ,现在还是无法并行输出的。
    wong2
        22
    wong2  
       174 天前
    Server Sent Event 当然最终是原理限制的
    关于   ·   帮助文档   ·   博客   ·   nftychat   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   814 人在线   最高记录 5634   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 51ms · UTC 21:05 · PVG 05:05 · LAX 14:05 · JFK 17:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.