阿里巴巴於7月15日正式發佈實時語音交互對話模型Qwen-Audio-3.0-Realtime，在智商、Agent工具調用、共情對話和雙工交互流暢度四條主線上進行同步升級，力圖在“快”與“聰明”之間取得平衡。模型提供兩個版本：推理能力更強的Plus版本和響應速度更快的Flash版本，目標場景覆蓋智能客服、教育培訓、娛樂互動與情感陪伴等。
在語音問答的可靠性方面，模型在VoiceBench基準測試中表現出較強的抗干擾能力。以書面化標準提示和口語化提示分別提問時，Plus版本得分分別為92.5和90.5，僅下降2.0，表明模型能較好地應對真人說話時的隨意性。在更復雜的多輪音頻對話挑戰AudioMultiChallenge基準測試中，Flash版本在標準和口語化提示下的得分分別為43.6和38.1，下降幅度為5.5。此前在今年5月，該模型的Preview版本曾在第三方評測平臺Artificial Analysis的榜單上斬獲兩項冠軍，超越了GPT-Realtime-2，其中在“語音推理能力”指標上以97.6%登頂。
實時語音模型通常為壓低時延而犧牲推理深度，導致智商衰減。Qwen-Audio-3.0-Realtime針對日常對話、簡單問答等時延敏感場景，可直接生成回覆，實現毫秒級響應。在Agent工具調用方面，模型無需用戶發出明確指令即可自行調用外部工具，調用結果會自動融入對話記憶，後續多輪追問可繼續沿用。例如，用戶先問“附近有什麼川菜館”，再追問“評分4.5以上的哪家最近”，模型能自動銜接地圖工具的上一次返回結果繼續檢索。該能力基於FunctionCall標準協議，可完成MCP、API、知識庫的引入，使語音模型從“能聊天”向“能辦事”演進。
共情對話是本次升級中顯著改善用戶體驗的部分。模型可根據對話語境動態調整語氣、節奏、音調與情感，擺脫傳統語音助手的機械感。在辯論場景中，它能抓取對方論點並組織反駁，保持恰當語氣強度；在情感陪伴中，則通過語調、節奏及笑聲、嘆息等副語言信號進行共情回應。在專門評估語音指令遵循能力的VStyle公開基準上，模型取得了SOTA成績。
雙工交互流暢度方面，模型內置“多模態感知的雙工控制”子模型，通過分析音頻信號、語義內容與說話人聲紋特徵來判斷交談方式，實現邊說邊聽、隨時打斷或插話，而非一問一答的對講機模式。在嘈雜環境中，它能避免被背景噪聲誤打斷；在多人討論中可鎖定主對話對象、忽略旁聽者交談；在多說話人切換時，能根據語義線索自然過渡。模型的API還預留了audio_prompt字段，用戶可上傳提前錄製的音頻樣本以鎖定聲紋，聚焦特定說話人。今年5月，Preview版本在對話流暢度指標上曾以97.6%登頂Artificial Analysis。
上述能力的提升源於模型採用的On-Policy Distillation（在線策略蒸餾）框架。研究團隊將文本大模型的完整推理能力蒸餾至語音模型，語音模型一邊生成回答，一邊由文本大模型實時糾正。同時引入多教師蒸餾策略：口語多輪偏好教師保障口語化表達與指令遵循，通用教師負責基礎問答與推理，Agentic教師鎖定工具調用與複雜任務，音頻理解教師處理副語言與音頻語義信息，確保模型在四條主線上均衡發展。這一技術路徑為實時語音模型在保持低時延的同時提升綜合智能提供了新的解決方案。