全双工语音难在哪:不抢话比答得对更值钱

六项指标全第一,但这份榜单是厂商自己出的

一句话:全双工语音真正难的不是把话答对,是在对方还没说完的时候忍住别开口。复旦 OpenMOSS 团队这次放出的 MOSS-Live 六项指标都排第一,含金量最高的恰恰是那几个「不接话」的数字。

两人交谈中安静的音箱

「不抢话」安静倾听的对话场景

为什么更值钱

语音助手用久了会有一个共同体验:你说到一半,它插进来。或者你只是清了下嗓子,它回你一句「好的」。这类错在实验室里不显眼,在真实对话里能让人当场想把它关掉。

实时语音的评测一直是件麻烦事。安静录音棚里,模型个个表现良好;一旦背景有人说话、有电视声、有键盘声,错误率立刻往上跳。全双工评测等于把这层滤镜撤掉,逼模型在噪声里当场做决定,数据难看是正常的。

据 MOSS 官网 11 月 13 日公布的评测,MOSS-Live 在六项全双工指标上都排在参评模型首位,同场的是 GPT-Live-1、字节的豆包 SeedDuplex 和 Qwen Audio 3.0。

我的判断是,答得对这件事过去两年已经被大模型解决得差不多了,不抢话才是一直没解决的那部分。六项里面,越是要求它「什么都不做」的指标,越难。

客厅里的智能音箱

误接话率 2% 和 68% 之间

最扎眼的是无关语音误接话率。据官方评测,MOSS-Live 是 2.00%,GPT-Live-1 是 68%,豆包是 75%,等于低了 66 和 73 个百分点。

这个指标对应什么场景?你在客厅跟家人说话,电视在旁边播新闻,桌上音箱不该回应。或者你在打电话,它听见一个「嗯」就以为在叫它。现实里这类误唤醒足够让人把设备拔掉。

68% 到 2% 不是调参能调出来的差距。它要求模型判断「这段声音是不是在对我说话」,而不只是判断「这段声音是什么词」。后者靠声学模型,前者得靠说话人指向、语境和对话状态的联合判断。

这也是我不太看重单轮语音识别准确率的原因。识别准只说明它把声音转成了字,接不接这句话是另一个判断。两件事经常被混在一起谈,实际上落在两个模块上:一个负责听清,一个负责决定该不该开口。

说话中途的停顿瞬间

停顿抢话,1.44% 是人的呼吸

停顿抢话率 1.44%,比 GPT-Live-1 低 8.93 个百分点,比豆包低 12.85 个百分点。这个指标抓的是另一种尴尬:你停下来想词,它把这半秒当成你说完了。

人说话本来就有停顿。想一个人的名字、算一下日期、被窗外声音带走注意力,都会静一到两秒。系统把静音当句号,就会在你复述的时候叠着说,两边都听不清。

反过来也有代价。等得太久,用户会觉得它反应慢、卡。停顿判定本质上是在「抢」和「迟钝」之间挑一个位置,1.44% 这个数字说明它明显偏向了后者,宁可多等半秒,也不叠着说。

说白了,这个量级的数字说明它学会了等。等这件事在工程上不性感,但用户的第一感受就是它懂不懂礼貌。

打断之后还答得好,才算听懂

打断后回答质量 4.88/5,参评最高;实体跟踪、纠错与安全 3.63/5,也是最高。另有无关打断拒识率 68%,GPT-Live-1 是 21%,豆包 13%;附和抗干扰率 98.17%。

这几个数要连起来看。你在它说话时插一句「不是这个,是上周那个」,它得同时做三件事:停下、记住你否掉了什么、把「上周那个」对上前面提过的实体。任何一步断了,回答就废了。

实体跟踪这一项最容易被跳过,但它最像人。真人聊天时你说「那个」「上次那个」,对方能从上下文里捞出来;模型得维护一份对话内的指代清单,还要在被打断的时候不把它弄丢。

拒识率 68% 意味着三分之二的无关打断它没接。剩下三分之一里可能有本该接的,所以这个指标单看会掩盖漏接,得和打断后回答质量放在一起读。

前台陪聊,前后台分工协作示意

后台干活

架构上它把事拆成两半。前台持续感知:全双工语音、语义打断、实时视频、屏幕共享、流式同传。后台做复杂推理、工具调用和任务执行。中间一层协同,共享记忆与任务状态。

官方举的例子是边聊旅行计划边让后台查酒店,结果回来再带回对话。这个设计的工程含义是:对话的延迟预算和推理的延迟预算被解耦了。前台必须在几十毫秒里回应,后台可以跑几秒。

代价是复杂度。两套系统要共享同一份状态,谁改了记忆、谁在等待、任务失败之后怎么回到对话里,都得有约定。这类协同层的工作不会出现在评测图上,却直接决定体验连不连贯。

我判断这条路线会变成标配。全双工一旦要求实时,很难有模型靠单次前向同时兼顾「秒回」和「想清楚」,前后台分工几乎是唯一能同时满足两头的结构。

短板和这份榜单的可疑之处

它也有输的地方。Big-Bench Audio 准确率 88.40%,低于豆包的 90.50%;多轮指令遵循 3.35/5,低于 GPT-Live-1 的 3.72 和豆包的 3.44。这两项测的是听懂内容和记住约定,不是交互层面的问题。

更该注意的是这份评测的出处。它由 MOSS 官方页面发布,署名 OpenMOSS、复旦 NLP、上海创智和 MOSI,页面上没有公开样本量、误差范围、API 快照版本和完整评测配置。

而且里面混着百分比和五分制,不同基准的指标不能加总算总分。所谓「6/6 第一」,是六项各自第一,不是一个综合分第一。

普通人该看什么?看那些差几十个百分点的项,2% 对 68% 这种差距,方向和量级不太可能由评测口径造出来。至于五分制里那零点几分的高低,等第三方复现了再说。

AI 重写 Photoshop,爽完之后算算账
下一篇
AI 重写 Photoshop,爽完之后算算账
17 款开源应用背后,账不是这么算的
继续下滑 或 点击阅读下一篇
下一篇 AI 重写 Photoshop,爽完之后算算账 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款