斯坦福大学基础模型研究中心（CRFM）主导的开放基础模型项目Marin，于上周正式启动总参数达5350亿的MoE模型Marin 535B-A23B的训练。与多数模型公司保密训练细节不同，该项目将训练曲线、数据配方、模型配置和技术讨论实时公开，甚至允许外部研究者参与审查。项目负责人、斯坦福计算机科学副教授Percy Liang在社交平台X上宣布了这一消息，帖子浏览量已突破80万，并获吴恩达转发，吴恩达称其为捍卫AI开放性的“珍贵示范”。

Marin 535B-A23B计划处理18.75万亿Token，其中约80%用于预训练，20%用于中期训练，训练运行在11套NVIDIA GB200 NVL72系统上，预计持续约3个月，总计算量约2.7×10^24 FLOPs。该模型采用混合专家（MoE）架构，总参数5350亿，但每个Token仅激活约230亿参数，通过路由模块将输入分配给部分专家网络，以控制计算成本。Marin团队在技术说明中透露，模型每层保留2个共享专家和8个路由专家，均采用半宽结构，路由专家还使用2倍压缩，约三分之一的专家计算来自始终工作的共享专家，这种设计旨在降低MoE训练中“Token丢弃”的风险。

Marin项目并非首个直播训练的大模型项目，此前Hugging Face的BigScience在训练BLOOM时公开了TensorBoard日志，Pythia、LLM360和Ai2的OLMo也开放了训练数据、代码和日志。但Marin的独特之处在于将开放从模型发布行为扩展为实验室的默认工作方式，从提出假设、提交代码到训练失败都尽量实时公开。项目发起公告承认了EleutherAI、AI2、Hugging Face等先行项目的贡献，但认为开放模型仍缺少类似软件开源的协作机制，因此提出“开放实验室”机制，通过GitHub Issue声明实验目标和假设，外部研究者可参与Review。

训练MoE模型面临通信复杂、专家负载不均等挑战。Marin团队披露，在之前的实验中，当上下文长度从4K扩展到65K时，Token Dropping比例从约7%升至约40%，因此535B模型选择以4K上下文启动预训练，并测试了新型pooled/wave专家并行方案，将Token Dropping降至约3%。团队还专门为JAX环境手写了专家并行实现，因为未找到性能足够的现成方案。训练栈基于JAX、XLA和Levanter，此前Marin 8B和32B模型主要运行在Google TPU上，此次转向NVIDIA GB200 NVL72，需重新处理GPU集群上的通信效率。

在正式训练前，Marin团队先训练了一组规模递增的小型MoE模型，形成四级“缩放梯”，覆盖从1.6B总参数到27.7B总参数的模型，用于预测535B模型的损失水平、暴露训练稳定性问题，并区分正常波动与失控前兆。这些缩放实验仅占最终计算量的约1%，但能帮助团队在训练早期发现数据、路由或优化器问题。团队曾通过缩放实验发现梯度范数增长到4以上，可能引发训练发散，最终加入logit z-loss以限制输出分布数值幅度。

尽管Marin 535B已进入大规模训练区间，但项目仍处于早期，预训练损失不能直接证明其前沿性能。MoE的535B不能与稠密模型等价，计算成本和表达能力取决于专家分工有效性，且代码、数学等能力还受数据质量、中期训练及后训练影响。项目在GitHub上的标题写作“535B-A23B on 18T tokens”，而Percy Liang公告使用18.75T Token口径，说明训练计划仍在持续对齐。这场实验最重要的产出可能是沿途留下的训练记录，包括专家路由、Token Dropping变化、梯度异常处理、长上下文扩展以及JAX在GB200上的专家并行实现，这些经验可被其他规模的模型复用。