[求助最佳实践] 客户端流式传输语音播放的方案

[rizon]

nextjs 项目。

服务端调用 http 接口接收流式返回，或者 websocket 接收音频的二进制数据。（ mp3 格式）。

客户端想要播放流式边接收边播放，有什么好的实现方案吗，不引入 rtc 这样的框架。

我现在的实现方法就是 audioContext.decodeAudioData(mergedBuffer); 读一点 buffer 过来就合并后试着播放一点， 但是总觉得这样会有问题。

求助大佬们最佳实践

[rizon]

另外也顺便问下，支持音色克隆的语音合成，有什么朗读感情好一些的吗，fishaudio 读出来太平了。

[gfreezy]

https://github.com/gfreezy/streamaudioplayer

可以看下我这个库，实现的就是流式下载播放，为 tts 写的

[gfreezy]

js 不确定能不能实现。这个从下载、解码、播放都需要流式处理，以一个音频 frame 为最小单位，每个环节都需要 buffer 。不知道浏览器有没有提供这么底层的接口

[dapang1221]

好像做这种流式传输的用 mp3 的不多……试试 rtmp ？ github 上有现成的 nginx rtmp 模块，一边推流，另一边拉流就行

[cxsz]

@rizon https://github.com/RVC-Boss/GPT-SoVITS
音色克隆试试这个

[flyqie]

不想接入 webrtc 的话只有 websocket 传 audio frame 一条路子了。

不过要是某些固定的需求，倒是可以试试 http 请求完直接播放了，比如无障碍 tts 什么的。