智谱内部一个名为 GLM-Omni 的模型，因一篇论文进入公众视野。这篇研究由清华大学与智谱 AI 联合完成，唐杰担任通讯作者。论文没有披露该模型与任何产品版本的对应关系，但社交平台上已有人把它与 GLM-5.5 联系起来——这目前只是猜测，论文本身并未确认。

论文真正有价值的部分，是给出了一套可复现的实验，用来回答一个被生成效果长期掩盖的问题：模型在图像生成中学到的知识，到底有多少能被语言推理调用？

实验设计：把答案只留在图片里

要确认生成训练是否教给了模型新知识，首先得绕开它已有的记忆。如果让模型画现实球队的球衣，号码画对了也可能只是它早从文字资料里读到过。为此，研究团队搭建了一个虚构世界 MagicWorld，给从未存在过的实体安排颜色、号码和空间关系，让目标知识尽量只从训练图片进入模型。

例如一件虚构球衣名为 Arvenbrock、号码为 10，训练时文字提示只要求生成这件球衣，数字 10 只出现在目标图像中；训练完成后再直接问模型这件球衣的号码，若能答出 10，才有理由认为它把图像中的实体属性带进了文字回答。

这套数据覆盖颜色、数量、形状、空间排列、相对大小、数字和文字 7 类任务，每类 50 条知识、共 350 条，再为每个实体制作不同背景与视角的图像，筛选后留下 8552 组训练样本。训练文本经过检查，尽量排除答案泄漏与属性分布不均的干扰。

核心发现：会画，却说不出来

三种不同架构的模型参与了测试：BAGEL 把理解与生成放在相对独立的专家分支；SenseNova-U1 直接建模图像像素；GLM-Omni 则从 GLM-4.1V-Thinking 预训练模型出发，接入基于 X-Omni 的离散图像 Tokenizer。

结果差距普遍存在。BAGEL 平均视觉正确率 31.43%、文字回答仅 8.86%；GLM-Omni 分别为 54.00% 和 14.57%；SenseNova-U1 为 61.14% 和 20.00%。在号码任务上，SenseNova-U1 的视觉正确率高达 88%，纯文字回答却是 0%。球衣案例中 GLM-Omni 画对号码的比例为 72%，改用文字提问后仅 2%。

原因在于两条路径的训练目标不同：图像生成只要实体与属性的关联有助于还原画面，就能在训练中被强化；文字问答却要沿语言输出路径找到对应属性，并把它转成字符或词语。共享参数并不意味着这些路径已经互通。

两种补救思路及其代价

团队先尝试 Textual Alignment：给一半实体补充文字问答示例，看模型能否把学到的读取方式迁移到未提供答案的另一半。结果出现分化——BAGEL 平均文字正确率从 8.86% 升至 15.43%，SenseNova-U1 从 20.00% 升至 28.00%，GLM-Omni 反而从 14.57% 降至 12.57%。形状、大小这类有可迁移分类规则的任务提升明显，但号码与书名需要对应每个实体独有的字符序列，三种模型在测试实体上正确率仍是 0%。

随后团队改用 Interleaved Image–Text Alignment（图文交错对齐），把图像生成与文字回答放进同一条训练序列：模型先画出球衣，再依据画面中的号码组织文字答案。测试条件不变，仍要求直接文字作答、不能临时生成图片。GLM-Omni 平均文字正确率从 12.57% 升至 26.86%，形状任务从 12% 升至 64%，空间排列从 0% 升至 40%；BAGEL 与 SenseNova-U1 分别达到 17.14% 与 28.57%。

提升是否只是多看了文字？团队在 GLM-Omni 上做消融：保留同样的交错响应与文字监督，只屏蔽交错样本中的图像损失，平均文字正确率随即从 26.86% 跌至 13.71%。这说明图像重建的训练信号确实影响了语言调用，而不只是增加了文字内容。至于具体通过哪些参数共享信息，实验尚未定位。

最后一条路是 Visual Chain-of-Thought（Visual CoT）：既然模型更擅长把答案画出来，就允许它在推理中先生成目标图像、再从图中识别属性、最后作答。GLM-Omni 平均正确率从 26.86% 升至 41.14%，BAGEL 从 17.14% 升至 20.57%，SenseNova-U1 从 28.57% 升至 34.86%。数字任务变化最明显：三种模型原先直接文字回答均为 0%，使用 Visual CoT 后分别达到 4%、36% 和 20%。论文中的一个案例里，SenseNova-U1 直接回答球衣号码时给出错误的 69，生成图像再读取后答出了正确的 31。

代价也随之而来：生成图像作为知识检索的中间载体需要额外算力，一旦图像内容出错，答案还可能被带偏；书籍标题任务在 Visual CoT 下依然没有改善，复杂字符的生成与读取仍是难点。

对统一多模态路线的含义

这项研究把一个长期被「生成效果」掩盖的问题摆上台面：模型通过图像学到的东西，并不必然能直接用于语言回答。图文交错训练改善了部分知识的跨模态连接，Visual CoT 则让模型在需要时借助生成图像重新读取信息，两者都指向同一个方向——统一架构的难点不只是把图画好、把问题答对，还包括让不同任务积累的知识有效互通。

需要指出的是，实验知识来自受控的虚构世界，这套结论在真实动态场景中的适用性仍待检验；GLM-Omni 是否会进入某个后续产品版本，也还需要更多公开信息。对关注智谱多模态产品节奏的读者而言，这篇论文更像是一份能力诊断书，而非产品发布预告。