面壁智能（OpenBMB）在 Hugging Face 上正式开源了 UltraX-0.6B-Preview 模型，这是一个面向大规模预训练数据精炼的轻量级框架。与此前业界普遍采用的端到端文本重写方案不同，UltraX 的核心思路是“预测编辑操作、再确定性执行”——模型先分析原始文本，输出一系列结构化的函数调用指令（如 keep_all、remove_lines、replace_str、add_line 等），再由程序按指令精准修改文本，从而完成数据清洗与优化。

这一设计带来了两个直接优势。一是成本大幅降低：UltraX 本身是一个仅 0.6B 参数的标准监督微调（SFT）模型，训练时使用 8 块 GPU、最大序列长度 20,480 tokens，相比调用大语言模型逐段重写海量预训练语料，计算开销显著减少。二是编辑过程可解释、可控制：每一处增删改都有明确记录，避免了端到端重写可能引入的语义漂移或事实错误。

UltraX 的技术管线包含两个关键组件。LAM（Line Alignment and Mapping） 负责在行级别对齐原始文本与精炼后文本，确保编辑操作能精准定位；DCR（Dynamic Context Replacement） 则将字符级修改转化为带有唯一上下文锚点的 replace_str 操作，提升替换的可靠性。模型训练采用了编辑加权采样策略，默认配置下会基于系统指令引导编辑方向；团队同时开源了两个消融变体——UltraX-No-Instruction（无指令训练）和 UltraX-Preservation-Weighted（保留加权采样，其中 keep_all 操作占训练数据的 60%），供研究者在编辑激进程度与内容保留之间做权衡。

在 FineWeb 数据集（20B tokens）上的评估显示，UltraX 在 1B 参数 MiniCPM 模型、10 个零样本基准上的平均下游性能优于原始数据基线。无指令变体的平均得分从原始数据的 45.08 提升至 45.73，而带指令的默认模型进一步达到 46.14，表明程序化精炼本身就能带来增益，指令引导则放大了这一效果。保留加权变体在 ARC-C、ARC-E、OBQA、SciQ 等特定任务上表现更强，反映出数据清洗中“去噪”与“保真”之间的经典权衡。

UltraX 的发布时机值得关注。当前预训练数据规模持续膨胀，但互联网爬取语料中充斥着重复内容、错误页面、登录墙等低质量文本，数据筛选与清洗已成为模型训练链条上最消耗人力和算力的环节之一。面壁智能此次将精炼过程模型化、程序化，相当于在 “数据预处理”这一上游环节引入了一个可复用的专用工具，而非每次都依赖通用大模型进行昂贵的一次性重写。这对于需要频繁更新训练数据、或希望在固定算力预算内提升数据质量的 AI 团队而言，提供了一条新的工程路径。

此次发布同步公开了完整代码、精炼后的数据集以及技术报告（arXiv: 2607.08646），模型采用 Apache 2.0 协议开源。面壁智能在致谢中提到，UltraX 的训练基于 ms-swift 框架，并借鉴了 ProX 与 RefineX 等前序工作的思路。随着数据工程在 AI 产业中的权重持续上升，这类轻量、可规模化的数据精炼工具或将成为模型训练基础设施中的标准组件。