阿里巴巴于7月15日正式发布实时语音交互对话模型Qwen-Audio-3.0-Realtime，在智商、Agent工具调用、共情对话和双工交互流畅度四条主线上进行同步升级，力图在“快”与“聪明”之间取得平衡。模型提供两个版本：推理能力更强的Plus版本和响应速度更快的Flash版本，目标场景覆盖智能客服、教育培训、娱乐互动与情感陪伴等。
在语音问答的可靠性方面，模型在VoiceBench基准测试中表现出较强的抗干扰能力。以书面化标准提示和口语化提示分别提问时，Plus版本得分分别为92.5和90.5，仅下降2.0，表明模型能较好地应对真人说话时的随意性。在更复杂的多轮音频对话挑战AudioMultiChallenge基准测试中，Flash版本在标准和口语化提示下的得分分别为43.6和38.1，下降幅度为5.5。此前在今年5月，该模型的Preview版本曾在第三方评测平台Artificial Analysis的榜单上斩获两项冠军，超越了GPT-Realtime-2，其中在“语音推理能力”指标上以97.6%登顶。
实时语音模型通常为压低时延而牺牲推理深度，导致智商衰减。Qwen-Audio-3.0-Realtime针对日常对话、简单问答等时延敏感场景，可直接生成回复，实现毫秒级响应。在Agent工具调用方面，模型无需用户发出明确指令即可自行调用外部工具，调用结果会自动融入对话记忆，后续多轮追问可继续沿用。例如，用户先问“附近有什么川菜馆”，再追问“评分4.5以上的哪家最近”，模型能自动衔接地图工具的上一次返回结果继续检索。该能力基于FunctionCall标准协议，可完成MCP、API、知识库的引入，使语音模型从“能聊天”向“能办事”演进。
共情对话是本次升级中显著改善用户体验的部分。模型可根据对话语境动态调整语气、节奏、音调与情感，摆脱传统语音助手的机械感。在辩论场景中，它能抓取对方论点并组织反驳，保持恰当语气强度；在情感陪伴中，则通过语调、节奏及笑声、叹息等副语言信号进行共情回应。在专门评估语音指令遵循能力的VStyle公开基准上，模型取得了SOTA成绩。
双工交互流畅度方面，模型内置“多模态感知的双工控制”子模型，通过分析音频信号、语义内容与说话人声纹特征来判断交谈方式，实现边说边听、随时打断或插话，而非一问一答的对讲机模式。在嘈杂环境中，它能避免被背景噪声误打断；在多人讨论中可锁定主对话对象、忽略旁听者交谈；在多说话人切换时，能根据语义线索自然过渡。模型的API还预留了audio_prompt字段，用户可上传提前录制的音频样本以锁定声纹，聚焦特定说话人。今年5月，Preview版本在对话流畅度指标上曾以97.6%登顶Artificial Analysis。
上述能力的提升源于模型采用的On-Policy Distillation（在线策略蒸馏）框架。研究团队将文本大模型的完整推理能力蒸馏至语音模型，语音模型一边生成回答，一边由文本大模型实时纠正。同时引入多教师蒸馏策略：口语多轮偏好教师保障口语化表达与指令遵循，通用教师负责基础问答与推理，Agentic教师锁定工具调用与复杂任务，音频理解教师处理副语言与音频语义信息，确保模型在四条主线上均衡发展。这一技术路径为实时语音模型在保持低时延的同时提升综合智能提供了新的解决方案。