V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
amery2010
V2EX  ›  分享创造

Project Astra 雏形,可以在线体验 Gemini 2.0 多模态实时 API,与 Gemini 实时语音、视频聊天

  •  
  •   amery2010 · 14 天前 · 890 次点击

    昨天 Google 直接掀桌子,发布了 Gemini 2.0 ,其中提到了最新 Multimodal Live API ,它具有实时音频、视频流输入、以及使用多个组合工具的能力。目前在 Google AI Studio 中已经可以体验,但 Google AI Studio 中的体验并不是很好,我在官方的仓库里发现了一个类似于 Project Astra 原型的项目,该项目体验非常不错,基本上有了 Project Astra 的雏形,我对项目进行了微调,让每个人都可以在线体验 Multimodal Live API 。

    在线体验:https://astra.u14.app/

    项目文件:openAstra.zip

    需要输入拥有 gemini-2.0-flash-exp 访问权限的 apiKey ,apiKey 保存在 localStorage 中,整个网站属于静态页面

    apiKey 可以在 Google AI Studio 上免费申请。目前 Multimodal Live API 处于测试阶段,似乎还没有使用额度限制,可以一直对话。另外需要注意的是,Multimodal Live API 暂不支持中文语音输出,请尽可能地使用英文与其交流。

    后续 GeminiNextChat 也会接入 Multimodal Live API ,获得实时语音和视频对话的能力。

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5651 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 03:10 · PVG 11:10 · LAX 19:10 · JFK 22:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.