在最新公布的ARC-AGI 3基准测试中,一个由菲尔兹奖得主参与的团队Mostik,展示了一种让手机端4B小模型与云端753B大模型协作的方案,使小模型性能大幅提升。该方案中,大模型GLM-5.2(来自智谱)只进行预填充,不输出任何文字,而手机端的Qwen-3.5(来自阿里,4B参数)负责解码并写出最终答案。据团队披露,这种“桥”接方式让4B模型弥补了与753B模型之间约50%的性能差距,自身准确率提高25%,在大小模型差距更明显的难题子集上,提升达到2倍。
Mostik团队的技术细节尚未公开,团队拒绝在比赛结束前披露具体实现。团队首席科学家、2010年菲尔兹奖得主Stanislav Smirnov指出,在两个AI模型之间找到数学上的共同基础非常困难,目前似乎还没有合适的数学语言来描述模型表征如何对应和迁移。Smirnov是日内瓦大学教授,因证明统计物理中“渗流模型”和“平面Ising模型”的共形不变性而获奖。
这项工作的核心在于“桥”的概念:让一个模型将内部隐藏状态通过一个小型、经过训练的桥直接传递给另一个模型,接收方直接使用这些内部状态,整个过程不产生任何文本,两个模型的权重完全冻结,桥是唯一被训练的部分。传统上,多个模型协作(如编程子智能体、模型委员会、路由调度)都建立在将内部计算压缩成文字再重新展开的基础上,而Mostik的方法绕过了这一瓶颈。
背景上,大模型生成token时内部会构建超过一百个隐藏向量,包含约一百万个数值,约两兆字节的内部状态信息。而目前所有多模型协作系统仅基于17个比特的文本信息。ICLR 2026的一篇论文显示,Qwen-3在写出“accountant”之前几个token就已携带该词的表征,模型越大,这种提前规划能力越强。Anthropic的可解释性团队在Claude 3.5 Haiku上也观察到类似现象,并发现“J-space”结构——模型维护一组未表达的概念。这些发现表明,模型内部状态包含大量未输出的推理信息,而桥接技术正是利用这些信息。
从算力角度看,大模型的解码环节最昂贵,而预填充环节成本较低。Mostik让大模型只做预填充,把解码交给小模型,大幅降低算力开销。团队表示,要在不用桥的情况下达到同样成绩,需部署中等规模模型,而桥方案的计算成本仅为该中等模型的五分之二。优势在“交接点极早”时最明显,此时大模型尚未输出文字,但隐藏状态已包含处理问题的信息。
Mostik团队刻意冻结双方模型权重进行严格测试,以证明桥利用的结构是模型训练中自然产生的。团队认为,未来未必由单一巨型模型包打天下,更可能是前沿模型与专业领域模型高效配对。此外,桥接技术可能改进知识蒸馏——传统蒸馏中学生模型只看到教师模型的最终输出,而桥能同步内部状态,使监督更早进入生成过程,小模型学习效率更高,且可能保留通用能力。
团队还提到安全监控的潜力:桥在两个模型间增加了新的观察面,可记录发送方隐藏状态、转换结果与接收方行为,可能补充链式思维的监控盲区。不过,桥能否跨越更多模型、任务和真实业务负载,能否成为可靠的可观测性工具,仍需验证。至少在ARC-AGI 3上,这座让大模型“闭嘴思考”、小模型代为表达的桥,已展示出显著效果。