由加州理工学院研究团队创立的 PrismML 公司，近日正式发布了名为 Bonsai 27B 的开源推理模型。这个拥有 270 亿参数的模型，其最引人注目之处并非参数规模本身，而是它被压缩到了足以在 iPhone 上本地运行的尺寸——最小版本仅约 3.9 GB。
Bonsai 27B 基于阿里巴巴的 Qwen3.6-27B 模型开发，并采用了极端的压缩技术。通常，一个 270 亿参数的模型需要约 54 GB 的存储空间，即便经过常规压缩也仍需约 18 GB。PrismML 的做法是将每个神经网络权重的表示精度从常见的 16 位大幅降低至 1 位或略低于 2 位，从而实现了两个轻量级版本：一个约 5.9 GB，面向笔记本电脑；另一个约 3.9 GB，专为智能手机设计，其大小足以装入 iPhone 17 Pro Max 有限的内存中。考虑到 iPhone 的 12 GB RAM 中仅约 6 GB 可供单个应用使用，这种压缩程度至关重要。
在性能方面，PrismML 的自有基准测试显示，压缩对模型能力的影响有限。在 15 项基准测试中，较大的笔记本版本保留了原始模型 95% 的性能，而更小的手机版本则保留了 90%。尤其值得关注的是，数学和编程相关的得分几乎未受影响。性能下降较为明显的领域主要集中在更激进的 1 位压缩版本上，特别是图像理解、指令遵循和基于智能体的工具使用等任务。在效率上，1 位版本的 Bonsai 每 GB 的“智能密度”达到了 0.530，远超三元和 FP16 模型。
在实际运行表现上，白皮书数据显示，较小的模型版本在 iPhone 17 Pro Max 上可实现每秒约 11 个 token 的生成速度。电池续航测试表明，每消耗 1% 的电量可生成约 672 个 token，据此推算，满电状态下可生成约 6.7 万个 token。不过，芯片在持续运行超过五分钟后会出现轻微的性能限制。
PrismML 认为，现代 AI 应用越来越需要在本地运行强大模型。一个智能体可能连续进行数百次模型调用，若在云端执行，每次调用都会产生 token 成本、网络延迟，并且屏幕内容、文档等隐私数据都会离开设备。而端侧运行可将这些循环的边际成本降至零，并确保用户数据留在本地，这为常驻智能体、离线助手和混合系统奠定了基础。简单和隐私敏感的任务留在设备端，只有最复杂的步骤才发送到云端的前沿模型处理。
据 CNBC 报道，苹果公司已就 Bonsai 背后的压缩技术与 PrismML 进行接触。PrismML 首席执行官 Babak Hassibi 证实，苹果及其他公司正在测试这些模型的速度、功耗和性能，并称谈判处于“非常早期”阶段，但“进展顺利”。对苹果而言，获得授权的压缩技术意义重大。在 2026 年全球开发者大会（WWDC） 上，苹果发布了基于与谷歌合作开发的 Gemini 技术重构的 Siri，但其自研模型在基准测试中仍落后于竞争对手。目前，其最强大的端侧模型已要求 iPhone 至少配备 12 GB RAM，复杂查询仍需依赖云端英伟达 GPU。Bonsai 的技术若被采纳，或能帮助苹果缩小在端侧 AI 能力上的差距。
该模型的权重已根据 Apache 2.0 许可协议开放，可通过苹果的 MLX 框架在苹果设备上运行，也支持 英伟达 GPU。PrismML 还提供了限时免费的开发者预览 API 和 HuggingFace 上的在线演示。公司创立时获得了 Khosla Ventures、Cerberus 和谷歌的支持，三星也持续为其提供支持。PrismML 的下一步计划是将压缩技术应用于谷歌的 Gemma 模型系列。