面壁智能(OpenBMB)近日在 Hugging Face 上开源了 MiniCPM-V 4.7 的 35B-A3B 版本,这是 MiniCPM-V 系列中首个采用混合专家(MoE)架构的模型。该模型总参数量为 350 亿,每个 token 激活约 30 亿参数,延续了系列对单图、多图及视频理解的支持,并着重强化了端侧推理效率。
模型页面显示,MiniCPM-V 4.7 35B-A3B 是首个可在终端设备上无损、流畅运行的开源 MoE 模型。在 iPhone 17 Pro Max 上,它仅需 3GB 内存即可实现每秒 13 个以上 token 的解码速度。这一表现主要依赖三项技术:前瞻专家调度(LES) 通过跨层路由预测预加载下一层可能需要的专家,并将预取与计算重叠;细粒度分层量化 压缩专家权重的存储占用与内存流量;DSpark 投机采样 则进一步加速解码。官方强调,预测仅用于预取和调度,实际计算仍遵循模型原始的路由选择,因此不会牺牲模型能力。
在性能与效率的权衡上,面壁称 35B-A3B 版本推动了多模态大模型的帕累托前沿。在指令模式下,其综合得分高于 Qwen3.6 35B-A3B,且推理时间更短。视觉编码方面,模型基于 LLaVA-UHD v4 的 ViT 内早期压缩技术,在视觉编码器内部提前压缩视觉 token,减少后续层计算量,并支持 4 倍/16 倍混合视觉 token 压缩,让开发者按任务需求平衡细节与成本。
部署生态上,MiniCPM-V 4.7 支持 iOS、Android 和 HarmonyOS,并对 瑞芯微、后摩智能、英特尔、AMD 和 Arm 等芯片平台提供首日支持。推理框架覆盖 SGLang、vLLM、llama.cpp 和 Ollama,微调框架包括 SWIFT 和 LLaMA-Factory,同时提供 GGUF、BNB、AWQ、GPTQ 等量化版本,并新增 FP8 量化支持。面壁还发布了 Self-Replay 微调(SRFT) 方法,旨在帮助开发者以较低成本扩展模型能力,同时减少对原有能力的遗忘。
此次开源正值端侧 AI 竞争升温。随着模型能力提升,推理效率已成为衡量模型价值的关键指标,在资源受限设备上以有限预算提供更强能力,即所谓“能力密度”,正成为厂商角逐焦点。MiniCPM-V 4.7 35B-A3B 通过 MoE 架构与系统级优化,试图在手机、PC 及边缘设备上打开多模态大模型的实际落地空间,其端侧推理表现与生态支持将影响开发者选型,也可能对端侧芯片与内存方案提出新的需求。