蚂蚁集团旗下 inclusionAI 团队在 Hugging Face 开源了 Realtime-Venus 全双工交互系统,一次性放出两个 9B 参数检查点:面向音视频交互的 Realtime-Venus-Omni 和专注音频理解与对话的 Realtime-Venus-Audio,均采用 Apache-2.0 协议。

与常见的“轮次式”对话模型不同,Realtime-Venus 的核心卖点是原生全双工:模型在说话的同时持续感知环境,能区分附和、打断、纠正和话题转向等不同信号。它还支持主动交互——持续处理时间对齐的视频与音频流,在检测到值得响应的事件时主动发起回复,无需等待用户提问。

另一项关键设计是异步委派。模型可在共享因果时间线上发出委派请求,并以同样方式消费后端异步返回的结果,使外部任务不会阻塞正在进行的对话。不过,执行这些请求需要配套的 Realtime-Venus-Harness 运行时,该部分代码放在 GitHub 仓库中,不在 Hugging Face 模型库内。

长视频处理方面,系统提供免训练记忆机制:自动归档视觉信息丰富的片段,检索与查询相关且不冗余的证据,再重组对应的音视频上下文,无需额外训练。输出侧则通过内置的 Token2wav 资源与参考音色,同步生成文本和语音。

从架构看,两个模型均基于 MiniCPM-o 4.5 / Omni-Flow 改造,语言主干为 Qwen3-8B,音频编码器使用 Whisper-Medium,上下文长度 40,960 tokens,权重以 BF16 格式发布。Omni 版本额外使用 SigLIP2 视觉编码器,Audio 版本在推理时不使用视觉编码器。语音生成采用离散 S3 语音 token 配合流式流匹配解码器。

仓库提供了统一的下载脚本,用户可按需选择 omni、audio 或全部模型,下载内容包含权重、自定义 Transformers 代码和资源文件。运行推理需要 Python 3.10、CUDA 和 FFmpeg。评估结果则指向 Realtime-Venus 技术报告,仓库内附有视频与音频理解、全双工交互两组结果图。

从产业视角看,全双工实时多模态交互一直是 AI 应用层的难点,此前多数开源模型仍停留在“听—想—说”串行模式。蚂蚁此次将 9B 级别的实时音视频对话系统完整开源,并附带免训练长视频记忆和异步工具调用框架,有望降低实时交互类应用的开发门槛,对智能硬件、实时客服、内容创作等场景形成直接助力。不过,异步委派依赖独立运行时,实际部署的工程复杂度仍需开发者自行评估。