由德国人工智能协会（KI Bundesverband）协调的一个研究联盟正式发布了开源语言模型Soofi S 30B-A3B，该模型完全在德国电信位于慕尼黑的工业AI云基础设施上完成训练，成为首批完全依托欧洲本土云平台训练的大语言模型之一。根据其预训练报告，Soofi S在英语和德语基准测试中均取得全开源模型中的最高综合得分，超越了此前的领先者OLMo 3 32B和Apertus 70B。

Soofi S采用混合专家（MoE）架构，总参数量为316亿，但每生成一个token仅激活约32亿参数，实际计算成本更接近一个30亿参数模型而非传统300亿参数模型。其架构直接沿用了英伟达Nemotron 3 Nano的设计，将Mamba-2层与标准注意力层相结合。这种混合设计的关键优势在于内存行为：传统Transformer模型中存储历史token的KV缓存会随上下文长度线性增长，在长输入和高并发请求下成为瓶颈，而Soofi S的52层中仅有6层需要维护此类缓存。

实际效果体现在生成吞吐量上。在上下文长度4万token、32个并行请求的条件下，Soofi S每GPU每秒生成的token数约为参数量在140亿至240亿之间的稠密模型的8倍。当上下文从4000 token扩展到25.6万token时，传统模型的吞吐量显著下降，而Soofi S几乎保持平稳。在测量中，仅阿里巴巴的Qwen3.5 35B-A3B表现出类似行为，该模型同样采用混合架构。

训练数据方面，联盟总共处理了约27万亿token，分三个阶段进行。第一阶段使用约20万亿token的广泛网络、代码、数学和领域文本混合数据，让模型学习语言基础；第二阶段使用约6万亿token的更高质量数据，以强化前期学到的模式；第三阶段则通过训练最长100万token的超长文档来扩展上下文窗口。德语数据的占比在整个过程中刻意提高：第一阶段德语占7.2%，第二阶段升至15.3%，而英伟达Nemotron的参考配方中所有非英语语言合计仅占约5%。数据来源包括HPLT的德语网络文本、开放许可的German Commons语料库、FinePDFs和FineWiki的德语部分，以及包含916家德国出版物、1.93亿篇报纸文章的商业授权Genios语料库，并辅以机器翻译和合成生成的德语文本。

在与其他16个开源模型的对比评估中，Soofi S在德语和英语的综合得分上均领先所有全开源模型，包括艾伦人工智能研究所的OLMo 3 32B和苏黎世联邦理工学院与洛桑联邦理工学院联合开发的Apertus 70B。面对所有欧洲主权基线模型，Soofi S在德语基准套件的每一项测试中均胜出，部分领先幅度达到两位数。在代码基准上，Soofi S在HumanEval上得分73.8%，MBPP上得分70.2，德语版MBPP上得分84.2，均为开源竞品中最佳。在测试德国特定区域知识的INCLUDE-DE基准上，Soofi S以61.2分与更大的Qwen3.5 35B-A3B并列第一。与Nemotron基线相比，德语数据配方使语言能力提升15.1分，科学测试GPQA-Diamond提升9.6分，且未牺牲英语表现。

不过，Soofi S在德语竞赛数学上表现较弱，在Minerva MATH-DE上仅得56分，远低于Qwen3.5 35B-A3B的76.5分和Gemma 3 27B的65.6分，在开放事实检索NaturalQuestions上也落后。这很可能与其仅30亿活跃参数有关，能存储的世界知识少于稠密的270亿参数模型。尽管如此，面对更大规模的开源权重模型，Soofi S仍保持竞争力，并持续优于其架构完全相同的参考模型Nemotron 3 Nano。该模型的发布标志着欧洲在构建自主AI基础设施和以本地语言优先的大模型方面迈出了实质性一步，其高效架构设计也为长上下文场景下的部署成本控制提供了可行路径。