OpenAI 的 GPT3.5 似乎没有 4096 tokens 限制了?

[FaiChou]

只是好奇做了一下测试, 发现即使远超这个 tokens 限制, 也是能正常回复的:

测试数据:

<script src="https://gist.github.com/FaiChou/a01fb13cd332910ee7877e32572fbd3f.js"></script>

测试代码:

curl https://api.openai.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-XXX" \
-d @gpt3.5-test-messages.json
-i -o response.txt

返回数据:

<script src="https://gist.github.com/FaiChou/776ed61de0f5d1cee0209ed7e18d8aae.js"></script>

[FaiChou]

测试数据:

<script src="https://gist.github.com/FaiChou/a01fb13cd332910ee7877e32572fbd3f.js"></script>

[FaiChou]

哎 我记得 V2EX gist 能够展示来着?

[FaiChou]

https://gist.github.com/FaiChou/a01fb13cd332910ee7877e32572fbd3f

https://gist.github.com/FaiChou/776ed61de0f5d1cee0209ed7e18d8aae

[FaiChou]

https://gist.githubusercontent.com/FaiChou/a01fb13cd332910ee7877e32572fbd3f/raw/6635e8afb58b8af7582557ef582410500325e900/gpt3.5-test-messages.json

https://gist.githubusercontent.com/FaiChou/776ed61de0f5d1cee0209ed7e18d8aae/raw/86d74ab952b2f676c09adc44e7942d5a24d47c44/gpt3.5-test-response.txt

[yinmin]

你在发送数据的时候去掉 stream ，openai 在返回数据包里会告诉你具体的 token 数，看看有没有超。

[mashihua]

"finish_reason":"length" 算没有限制？

[54yzwddsg]

楼上大哥血亏 4096 token

[FaiChou]

@mashihua 不太清楚, 正常结束都是 finish_reason: stop

[FaiChou]

@54yzwddsg 哈哈 随便 4096 token 而已 用不了几个钱