Khosla Ventures投资的初创公司PrismML宣布了一项可能改变移动端AI格局的技术突破:成功将阿里巴巴开发的开源大语言模型Qwen 3.6压缩至可在iPhone 17 Pro上本地运行,该模型参数量高达270亿,且在运行时保持全部参数同时激活,创下移动端AI模型规模的新纪录。

PrismML称,其核心技术源自加州理工学院的数学研究成果,通过一种数学压缩方法,将原本约54GB的模型体积缩减至不足4GB,压缩比超过90%,并声称在此过程中未造成性能损失。该公司CEO Babak Hassibi是加州理工学院电气工程学教授,与联合创始人在校期间完成了相关研究,校方持有专利并独家授权给PrismML。

这一进展之所以引发关注,在于其与当前主流移动端AI方案的显著差异。苹果在今年6月全球开发者大会上发布的新款设备端模型虽拥有200亿参数,但采用稀疏架构,每次仅有10亿至40亿参数处于激活状态。而PrismML的模型在运行时保持全部270亿参数全量激活,该公司将此视为核心竞争优势,并称该模型能够胜任复杂对话、推理、全自主智能体及软件编程等任务。

据知情人士透露,苹果已与PrismML就如何使用其技术举行了会谈。此前据The Information报道,苹果正积极寻求收购能够帮助其在设备端运行更多AI功能的公司。消息人士称,苹果去年在尝试将内部AI模型压缩至适配iPhone时,曾遭遇性能大幅下滑的困境。这一背景使PrismML的技术对苹果具有潜在的战略价值。

苹果长期以来将设备端AI作为其隐私与安全承诺的核心支柱,并在很大程度上回避了微软、亚马逊、Meta等科技巨头耗资数千亿美元的数据中心军备竞赛。然而,苹果今年6月宣布的Siri重大升级仍依赖谷歌Gemini模型,其最先进功能需调用运行在谷歌云上的英伟达芯片。这一现状与苹果的设备端AI愿景存在明显落差,若PrismML的压缩技术能够落地,可能为苹果提供一条摆脱云端依赖的路径。

PrismML今年早些时候完成了1625万美元的种子轮融资,Khosla Ventures参与其中。该机构创始人Vinod Khosla表示,他对PrismML感兴趣是因为该公司提供了一种“根本性的突破”,并提到其团队始终在寻找构建AI的新路径。

不过,并非所有业内人士都认同纯设备端AI路线。以初创公司Argmax等为代表的混合架构支持者指出,云端大模型目前仍在快速迭代,完全运行在设备端的AI模型将难以享受到最新云端模型带来的性能红利。这一挑战也是PrismML在商业化路径上需要持续应对的核心问题。

PrismML的愿景更为激进。Hassibi预测,未来三年内用户所需的绝大多数AI计算将在本地完成,只有约5% 的高端需求仍需云端支持。该公司还计划继续将更大规模的模型——包括万亿参数级别的模型——压缩至设备端运行,届时将进入与OpenAI GPTAnthropic Claude同台竞技的领域。相关开源模型将于下周二正式发布,市场将得以首次检验其压缩技术的实际效果。