阿里云在7月15日上午正式发布了新一代实时语音交互对话模型Qwen-Audio-3.0-Realtime,并同步推出了PlusFlash两个版本。此次发布标志着实时语音模型竞争进入新阶段,核心突破在于模型在保持毫秒级时延响应的同时,显著提升了工具调用、多轮对话、情感表达和实时交互能力,解决了传统语音助手“能聊天但不能办事”的痛点。

新模型最显著的特点是具备了自主调用工具的能力。在官方展示的路线规划场景中,用户无需发出“帮我查一下”这类明确指令,只需告知自己的时间安排和需求,模型便能理解上下文,自主判断何时调用地图工具。如果用户行程中包含喝咖啡,它还能自动筛选附近评分高的咖啡馆,并将获取的信息无缝融入后续的路线和时间规划中。这种能力意味着语音助手从被动响应指令,转向了主动理解任务目标并执行。

在交互体验上,Qwen-Audio-3.0-Realtime也做出了重要改进。它支持可打断的实时对话,用户在模型输出过程中可以随时转换问题,模型能及时跟上新思路进行连贯对话。同时,模型去掉了传统语音助手的机械感,可根据对话语境动态调整语气、节奏与情感,例如在用户分享开心或难过的事情时,能以相应的情绪进行回应。

根据官方公布的基准测试数据,该模型在多项指标上表现突出。在语音问答基准VoiceBench中,使用书面化标准提示词和口语化提示词提问,Qwen-Audio-3.0-Realtime Plus版本得分分别为92.590.5,差距仅2.0分,表明模型能很好地适应真人说话的随意性。在考察“AI说得像不像人”的VStyle公开基准上,该模型取得了SOTA(当前最优)成绩。此外,其Preview版本Fun-Realtime-Audiochat在今年5月曾以97.6%的语音推理能力和97.8%的对话流畅度,在Artificial Analysis平台上超越GPT-Realtime-2(High),双双登顶。

技术实现上,千问团队透露,模型能在压低时延的同时不掉智商,核心支撑来自在线策略蒸馏多教师蒸馏框架。研究团队将文本大模型的完整推理能力蒸馏至语音模型,并通过四位专攻口语、通用问答、工具调用和音频理解的“教师”模型进行多教师蒸馏,确保模型在多个维度上不偏科。此外,模型内置的“多模态感知的双工控制”子模型,能通过分析音频信号和声纹特征,在嘈杂环境中避免误打断,并锁定主对话对象。

在商业化方面,该模型按token计费,输入音频、输出文本和输出语音统一折算为token。价格上,Plus版输入为5元/百万token,输出为40元/百万tokenFlash版输入为3元/百万token,输出为30元/百万token。目前,模型可通过阿里云百炼平台调用API进行体验。

此次Qwen-Audio-3.0-Realtime的发布,反映出实时语音模型的竞争焦点已从单纯的“低时延”转向“高智商”与“真人般交互”。毫秒级响应成为基础门槛,而能否自主调用工具、边说边听、随语境调整语气,正成为衡量语音模型下一阶段发展水平的关键。这对于AI应用层,尤其是智能助手、智能座舱、智能家居等场景的体验升级和商业化落地,具有直接的推动作用。