V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MyGodot
V2EX  ›  OpenAI

聊聊 OpenAI API 检测机制,顺便分享下国内大模型 API 性能指标(TPS、TTFT、 Context 等)

  •  
  •   MyGodot · 5 天前 · 992 次点击

    OpenAI 的开发者数据隐私协议就是个笑话,这次封禁我怀疑是抽样检测了我的传输内容(利用 API 访问 OpenAI 服务时,大多数时候交互语言都是中文,就会被标记),而不是以往的 IP 检测。我一直安然无恙的海外住宅 ip 自建代理,去年 11 月份和今年 3 月份两波封禁都没事,这次都被警告了,开发者等级都 tier5 了。

    长期来看,得做好放弃 OpenAI ,转战国内大模型的准备了,于是最近做了一个国内大模型 API 性能监控网站,自动实时更新的,支持查看每家模型的首 token 时延( TTFT ),每秒输出 token 数( TPS )、输入输出价格、支持的上下文长度等统计,并且点击模型名称可以一键抵达模型介绍页,支持对单一指标进行排序,可以对任意多个模型的性能进行比较。

    更多内容,自行探索,网站直达 👉: https://llmbenchmark.liduos.com/

    2 条回复    2024-06-27 10:46:09 +08:00
    jwangbyus
        1
    jwangbyus  
       4 天前
    内容检测? OPENAI 有这么狗的吗?
    会不会 one-api 之类的代理的访问有标记?
    另外你可以用 Azure ,Azure 对国内不封禁。
    sickick
        2
    sickick  
       4 天前
    3 个账号在阿里云海外服务器上 api 使用 2 个 tier5 1 个新号 目前没有收到任何警告

    请问楼主收到的警告是什么形式的呢(如果可以的话可以发一个截图看一下吗?),
    有没有可能是“海外住宅 ip”这方面的问题呢?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   951 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 20:44 · PVG 04:44 · LAX 13:44 · JFK 16:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.