由前 OpenAI CTO 米拉·穆拉蒂联合创办的 Thinking Machines Lab(TML)发布了一款新的混合专家模型 Inkling 2 Mini,总参数 27B、激活参数 3.4B,总内存占用约 20GB,可在消费级笔记本和台式 AI 计算机上本地运行。该模型已开放权重,并可在 Tinker 平台上进行推理和自定义。
TML 称,这是业内首批采用循环架构的模型之一。具体做法是:模型共 24 层,分为四个模块,每个模块六层;中间两个模块对每个 token 运行三次,首尾模块各运行一次。每个 token 因此有 5.4B 权重激活值用于循环计算。官方解释,中间层承载更抽象的推理,首尾层更多用于嵌入和内部表示转换,循环让模型在输出更少 token 的情况下完成更多内部计算。
在基准测试上,Inkling 2 Mini 在 DeepSWE v1.1(48.2%) 和 Vals Index v2.2(46.5%) 等评测中,位列 100B 参数以内开放权重模型前列,在长期智能体编程赛道拿下同级别最佳成绩,超过 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 等模型。但在 MultiChallenge(50.0%) 和 ComplexConstraints v1.1(33.4%) 等测评中,它弱于被业界称为“27B 模型之王”的 Qwen3.8-27B,在高难度推理任务上也不及更大规模模型。
效率是这款模型的主打卖点。在人工智能分析指数(AII)中,Inkling 2 Mini 排名第 20 位、得 20 分,与 Qwen3.8-27B(xhigh)和 Nanbeige4.3-33B 水平相当,但激活参数分别少约 5 倍和 6 倍。在相同 AAI 得分下,其输出 token 数比 Qwen3.8-27B 多约 38%,计算量却约为后者的三分之一;成本便宜约 6 倍,速度快约 4 倍。按 TML 第一方定价,每百万输入/输出/缓存命中 token 分别为 0.15 美元 / 0.50 美元 / 0.015 美元。
TML 研究人员曾把模型带到飞机上,在 MacBook Pro 上离线运行,几分钟内构建了一个可玩的飞行模拟器。官方还展示了由 Inkling 2 Mini 驱动的像素小镇 Thinkyville,20 位村民由同一台离线 MacBook 控制,能安排日程、闲聊和回复纸条。斯坦福大学研究人员以“每焦耳智能”衡量模型能效,Inkling 2 Mini 在 NVIDIA DGX Spark 上得分为 0.703,高于 Qwen3.6-35B-A3B 的 0.430、Gemma-4-26B-A4B 的 0.159 和 Qwen3.5-27B 的 0.036。
模型规模得以压缩,部分归功于训练中的专家剪枝。Inkling 2 Mini 初始稀疏度为 48,从 384 位专家中选取 8 位;训练过程中剪掉三分之二的专家,最终每层保留最常用的 128 位专家,再用从更大内部模型提取的 1T 个 token 训练剩余专家,以恢复剪枝前性能。训练采用 4 位精度,专家层前向传播使用 NVFP4,最后 4 层使用 8 位 MXFP8,部署权重与训练数值精度一致,官方称量化不会造成转换损失。
循环架构也带来新的可监控性问题。标准 Transformer 每个 token 只经过固定层数,推理步骤需要写入思维链(CoT)才能被外部读取;循环模型在不增加参数的情况下增加串行深度,部分推理发生在内部、不体现在输出文本中,可能更难被 CoT 监控器捕获。TML 表示,目前规模下未发现推理过程可监控性显著降低,并额外开源了循环次数在 1 到 5 次之间可变的研究模型 TML-d24-varloop-research,供社区探索可解释性技术。在 LinuxArena 智能体安全测试环境中,Inkling 2 Mini 隐蔽作恶的能力不强,相对容易被监控模型识别。
从竞争格局看,27B 档开放权重模型此前由 Qwen3.8-27B 占据明显优势,后者在多项测试中仍领先,且 Qwen4-27B 等后续迭代渐近。Inkling 2 Mini 的差异化在于循环架构生态、能效与可解释性研究,能否把先发研究优势转化为开发者粘性,将决定它在本地 Agent 与离线隐私场景中的实际渗透速度。