AI 语音终于学会不打断你了,然后呢

全双工语音 API 开放,边听边说省掉一层延迟,账单也更难算

全双工语音对话

先说结论

先说结论:这次变的不是声音好不好听,是「等人的那两秒」被拿掉了。语音产品过去最费劲的一环,被 OpenAI 直接收走了。

11 月 20 日,OpenAI 把 GPT-Live-1.1 的语音 API 对开发者开放。据 OpenAI 介绍,第三方可以把 ChatGPT 同款语音能力接进自己的应用,做能实时聆听、回应并执行复杂任务的语音智能体。

做过语音产品的人都知道,难的不是识别率,是「什么时候该说话」。以前这件事靠人一条一条写规则,一个打断场景能磨掉半周;现在交给模型自己判断。

客服耳麦

它现在能做到哪一步

它是 GPT-Live-1 的升级版,核心能力叫全双工:边听边说,不用等你把一句话说完才开始处理。你用语音问它问题,它在你说的时候就提前判断你要不要停。

场景上更直观。你在开车时说了一半想改口,它能识别停顿、打断和语速变化,自己决定是接着听还是先回一句。这种边说边想的说话方式,它是按真实对话节奏接的,不是按「一句话结束」接的;你说话中间那半个呼吸,它也算进去了。

据 OpenAI 介绍,这一版改进了多语言语音处理、指令遵循和语音保真度。字母、数字这类需要精确识别的内容更稳,理解偏差少了。报单号、念型号这种活儿,过去最容易翻车。

还有一个我挺在意的设计:它能把需要深度推理或工具调用的任务,委托给开发者指定的后端模型,OpenAI 自己的模型可以,第三方模型也可以。后端在跑多步流程时,语音对话照常继续,不用中断。

录音麦克风

这三个字有多难

全双工这三个字,难在它把「轮次」拆掉了。传统电话式对话是半双工,一个说一个听,谁开口谁闭口规矩清楚,模型也好办。

老式语音系统的链路是 STT 认字、大模型想、TTS 出声,串成一条线,每一环都得等上一环跑完。GPT-Live 系列直接处理输入输出的音频,中间这三段拼接被省掉了,延迟少了一大块。

省掉的不只是时间。链路一短,模型听到的是你的原声,不是转写出来的文字。语气、停顿、抢话这些信息不会在第一次转换时被抹平,判断「该听还是该说」才有依据。

我猜有人会说,多等几百毫秒有那么要紧吗。聊天框里不要紧,电话里很要紧:声音对话没有视觉补位,沉默超过一秒,人会以为掉线了,然后开始自言自语地问「你还在吗」。

反过来说,这也意味着它必须一直在听。没有外挂的断句模块替它踩刹车,模型判断错了,用户现场就能听出来,这是全双工要付的代价。

开发者写代码

做产品的人该怎么用

对做客服、陪练、车载这三类产品的人,这块拼图补的是过去最费工程的一环:打断处理、话术衔接、任务中途切后台,过去都要自己写状态机,一个边界情况能调一周。

我的建议是先做窄场景。比如只做「查订单加改地址」两个动作的客服机器人,把打断和委托后端这两件事跑顺了,再谈全场景。窄场景失败成本低,也容易看出用户到底卡在哪儿。

另一个能立刻用的点是委托。用户问一句要查数据的话,语音层继续陪他聊别的,后端慢慢算,算完插一句回来。用户感受不到中间那段空白,你也不用把长任务硬塞进语音模型里。

账单与数据表

我最担心的两件事

第一件是账单。按次调用起码能估算:一个会话多久、几次请求,心里有数。全双工是「一直在听」,如果连接时长变成计费维度,并发和成本模型都得重算,预算会比按次更难控。

第二件是资源。一直开着麦克风意味着长连接常驻,一个用户挂在那儿不说话也在占用。做压测的时候,这种静默并发最容易把容量算崩,它还不报错,只会慢慢变卡。

这两件事叠一起,小团队很容易在试点阶段就把预算烧穿。我要是上线,会先设连接时长上限、静默自动断开,再按小时看真实并发曲线。

值不值得现在上车

值得,但别急着一口气把现有链路换掉。它最实在的价值是「等人的那两秒」——用户说完到听到回应之间的空白,那是体验上最刺眼的一段,也是留存最容易漏掉的一段。

节奏也得看一眼。11 月 19 日豆包刚上线实时音视频模型,语音这条线上国内外的动作都在往实时推,这波窗口不会太长。

还有个时间点别忽略:从 2026 年 10 月 15 日起,它已经是 ChatGPT Plus 及以上订阅的默认语音模型。这套能力在消费端已经跑了一个多月,现在才轮到开发者接。

我的做法是挑一个高频、低风险的场景先接,跑两周看账单和用户打断率,再决定要不要铺开。全双工不是换个模型那么简单,是换了一套「什么时候说话」的规矩。

给机器人提速,最先该改的是等待
下一篇
给机器人提速,最先该改的是等待
机器人一大半时间站在等模型想,流水线一开,杯子任务快了3倍
继续下滑 或 点击阅读下一篇
下一篇 给机器人提速,最先该改的是等待 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款