面壁智能(OpenBMB)在 Hugging Face 上发布了 MiniCPM5-2B-GPTQ,这是 MiniCPM5-2B 的 4bit 量化版本,采用 GPTQ 方法压缩,主要面向本地部署和资源受限的运行环境。该模型以 Apache-2.0 协议开源,支持中英文,并同步在 ModelScope 提供下载。
MiniCPM5-2B 是 MiniCPM5 系列的第二款模型,紧随此前的 MiniCPM5-1B。它采用标准 LlamaForCausalLM 架构,总参数量约 25.17 亿,其中非嵌入参数约 19.82 亿,共 42 层,注意力机制使用 GQA(查询 16 头、键值 2 头),上下文长度达到 131,072 token。官方将其定位为面向本地助手、编程智能体、工具调用工作流和推理场景的紧凑型模型。
根据官方公布的评测,MiniCPM5-2B 在同类开源 2B 级模型中取得 SOTA,平均分 53.9;对比对象包括 LFM2.5-2.6B、Qwen3.5-2B、Gemma-4-E2B-it 等 2B 级模型,以及 Qwen3.5-4B、granite-4.2-3B、Nemotron-3-Nano-4B、Gemma-4-E4B-it、LFM2.5-8B-A1B 等更大模型作为参考。官方称其平均分超过所有对比中更大的模型(最高为 51.1),优势主要体现在代码推理、数学推理、长上下文理解、工具使用和多项智能体任务上。
除模型本身外,面壁智能还同步开放了支撑训练的高质量数据集,属于 UltraData 系列,包括网页预训练集 UltraX、采用 L0–L3 分级管理的代码数据集 UltraData-Code、包含 50 万智能体训练样本的 UltraData-SFT-Agent-2609,以及覆盖数学、代码、通用知识和长上下文推理的 8 万+ 强化学习样本集 UltraData-RL-2609。
MiniCPM5-2B 系列提供了多种格式,方便不同运行时选用:BF16 最终版、仅 SFT 检查点、中训练检查点、基座版、GGUF 版(适配 llama.cpp / Ollama / LM Studio)、MLX 4bit 版(面向 Apple Silicon)、GPTQ 4bit 版(即本次发布)、DSpark 推理加速草稿模型及其 GGUF 版,以及 LiteRT-LM 版本。这种多格式策略降低了开发者在不同硬件和框架上的适配成本。
从产业角度看,2B 级模型在保持较小部署 footprint 的同时支持长上下文和工具调用,是端侧 AI 落地的重要方向。量化版本的推出进一步压缩了显存占用,使模型更易在消费级 GPU、笔记本甚至边缘设备上运行。对关注 AI 产业链的投资者而言,端侧模型能力提升和格式生态完善,可能带动本地推理芯片、边缘计算设备和端侧应用开发的活跃度;但模型的实际部署效果、量化后的精度损失以及生态采用情况,仍需后续观察。