字节跳动 Seed 团队在 Hugging Face 上线了 9B 参数的连续潜空间语言模型 Cola2，并同步公开了模型权重、推理代码与八项评测数据。该模型的核心卖点不是参数规模，而是试图用「语义压缩 + 离散生成」的协同架构，在更少的预训练 token 下获得可用的语言能力。

根据模型卡披露，Cola2 由三个部件组成：一个动态压缩变分自编码器（VAE），负责把文本切分成语义跨度并压缩成紧凑的连续潜变量；一个块因果扩散 Transformer（DiT），在潜空间里生成潜变量块；以及一个带潜反馈的跨度因果 token 解码器，把潜变量还原成离散文本。训练分两阶段：第一阶段联合训练压缩编码器与 token 解码器；第二阶段在 token 侧监督下继续调整 VAE，同时让约 4B 参数的 DiT 通过 Flow Matching 学习分离后的潜变量分布。推理时模型反复提出潜变量块、解码 token，再在固定跨度布局下重新编码已提交文本，以保持连续与离散历史对齐。

最受关注的是资源约束下的预训练结果。该检查点仅使用 346.03B 源 token，其潜空间 DiT 尚未收敛，但 Cola2 在八项评测任务上平均准确率达到 60.10%。作为对照，模型卡列出的 Llama-3-8B 报告预训练 token 量超过 15T，八任务平均为 66.25%；Qwen2.5-7B 与 Qwen3-8B-Base 的平均分分别为 75.08% 和 75.87%，LLaDA-8B-Base 为 72.11%。Cola2 在 HellaSwag（41.75%）和 StoryCloze（80.42%）两项上超过 Llama-3-8B 的 39.21% 和 79.49%，但在 RACE、MMLU、TruthfulQA 等任务上明显落后。模型卡也提醒，各模型训练配方、分词器与 token 计数口径不同，该表更多是能力参照，而非单独隔离生成范式的严格对比。

从架构实验角度看，Cola2 还做了一组受控缩放研究，在相同模型规模、数据与评测设置下比较自回归（AR）、LLaDA、Cola DLM、未压缩的 Cola-MDM 与压缩后的 Cola2-MDM。结果显示 Cola-MDM 的总体缩放表现最强；Cola2-MDM 收敛更慢，但在约 150B token 后持续缩小与 LLaDA 的差距，到约 210B token 时仍未饱和。这意味着当前 346B token 检查点的分数并非该路线的能力上限，后续继续加 token 仍有提升空间。

发布内容方面，仓库包含八个分片的 safetensors 权重文件、分词器与生成配置、Hugging Face Transformers 远程代码模块、八项评测任务的归一化 JSONL 数据，以及用于校验发布文件的 SHA256SUMS。推理实现、命令行工具、示例、基准运行器与文档放在 Cola2 的 GitHub 仓库，训练代码不在本次发布范围内。模型卡明确 Cola2 是基座模型，不是指令微调的聊天助手；默认生成预设采用 8 步低噪声偏置 Euler DiT 调度、DiT 无分类器引导（CFG）尺度 10、解码器 CFG 尺度 -0.9、贪心 token 选择等配置。由于潜变量生成从高斯噪声起步，即使贪心解码也不保证输出确定，比较结果时需传入固定种子的生成器。

放到产业语境里看，Cola2 的价值不在于立刻挑战主流大模型的能力上限，而在于验证一条不同的效率路径：把「预测下一个 token」的部分计算负担转移到连续潜空间的语义压缩上，从而压缩预训练所需的 token 量。若这条路线在更大规模上继续收敛，它对预训练算力投入、推理时延与长文本建模成本都可能产生边际影响；但当前分数与主流 7B—8B 模型仍有明显差距，且训练代码未公开，外部复现与规模化验证仍需时间。对关注模型架构创新与算力效率的读者而言，这是一项值得跟踪的实验性发布，而非已经落地的能力跃迁。