小米于10月30日晚间发布并开源轻量级文档理解模型Xiaomi-OCR-0,参数规模仅0.8B(8亿),将文档解析、关键信息抽取(KIE)与OCR视觉问答(VQA)三类能力整合进同一模型。小米同步公开了模型权重、推理代码,并提供浏览器交互式Demo、MCP服务及Agent Skill工具包,试图以“小参数+全栈开源”的方式切入文档智能赛道。
基准表现:1B以下第一,逼近更大参数模型
在综合文档解析权威基准OmniDocBench v1.6中,Xiaomi-OCR-0得分96.83,以约三分之二参数量(0.8B对1.2B)位列总榜第二,距榜首仅差0.04分,在1B以下模型中排名第一。该基准覆盖学术论文、财务报告、报纸、教材等版式,并强化了复杂嵌套表格与密集数学公式的考察。
在真实物理采集条件下,模型同样表现出较强的鲁棒性。基于OmniDocBench v1.5的1355页文档构建的Real5-OmniDocBench(含扫描、纸张弯曲、屏幕翻拍、光照变化和倾斜拍摄五种方式,共6775张测试图像)中,Xiaomi-OCR-0取得95.24分,在对比模型中排名第一;聚焦打印形变、阴影、反光和复杂透视的Wild-OmniDocBench上得分为87.94分。
专项能力方面,数学公式识别基准UniMER-Test得分97.84,表格结构识别基准PubTabNet得分92.27。在涵盖隶书、草书、行书与楷书的古籍与书法评测集Chronicles-OCR(Mature Scripts)中,模型得分73,与闭源大模型Seed 2.0 Pro的72分处于同一水准。
文档理解维度,Xiaomi-OCR-0在DocVQA、InfoVQA、ChartQA、OCRBench和TextVQA五项主流OCR视觉问答基准上平均分83.2,超过HunyuanOCR-1.5(1B,76.5分)、TokenVL-2B(2B,78.1分)、TextHawk2(7B,78.5分)等专用OCR模型,也优于通用多模态模型Qwen3.5-2B(80.9分)与MiniCPM-V-4.5(8B,82.6分),并以仅20%的参数规模逼近Qwen3.5-4B(84.9分)。
训练路径:1.7亿样本与三阶段渐进策略
Xiaomi-OCR-0基于Qwen3.5-0.8B-Base基座构建,训练累计使用约1.7亿条高质量OCR与文档理解样本。团队构建了闭环演进的数据引擎,从三方面保障数据质量:异构专家共识机制联合多个OCR专家模型交叉校验,通过三元组共识投票滤除单模型偏见;渲染引导校验将候选解析代码重新渲染为图像,与原始文档区域进行像素和结构级比对,定位行列错位、符号缺失等缺陷;多因素困难样本挖掘与定向合成则针对版面复杂度、字体形态和物理退化因素补齐长尾分布。
训练采用三阶段渐进式策略:Q-Mask文本锚定在特征对齐初期强化视觉局部区域与文字Token的细粒度空间锚定;OCR持续预训练通过百亿级Token规模的多任务混合训练,赋予全页文档解析、细粒度区域识别与视觉问答综合基座能力;混合任务强化学习在困难样本上引入基于结构编辑距离、表格匹配度和问答准确率的可验证奖励信号,突破复杂版式还原与多步推理的性能上限。
团队还观察到课程学习规律:模型早期未建立稳固解析基础时,过早混入高层理解任务会轻微分散底层识别注意力;具备扎实解析根基后,引入OCR视觉理解监督信号不仅提升问答与抽取能力,还会反哺纯文档解析基准,在OmniDocBench v1.6上带来最高+0.64分的额外增益。
场景落地:从“看见”屏幕到“看懂”并办事
凭借0.8B的轻量体量,Xiaomi-OCR-0相关技术正融入小米手机与“超级小爱”的高频场景,推动终端体验从被动截屏查找走向主动理解服务。在即时生活服务场景中,面对被消息淹没的外卖取餐码、快递取件码、退货码或排队号,用户短按AI键、三指上滑或对超级小爱说“记一下”,系统可识别屏幕核心字段与状态,将时效性信息提炼“上岛”,需要时一触即达。
财务管理与卡证办理场景中,浏览微信、支付宝消费账单详情时,按AI键可自动抽取交易金额、商户名称、支付时间与消费类别,一键智能记账;面对纸质发票、身份证、银行卡等材料,可通过拍照或识屏完成结构化字段提取。日程规划与出行场景中,系统可理解群聊会议通知或活动海报的上下文并生成日程卡片,一键添加日历;收到航班号后直接提问,系统可结合屏幕上下文提取航班信息并联动查询实时起降动态。
产业含义:文档智能转向“参数效率+场景鲁棒性”
小米以0.8B参数将文档解析、信息抽取与视觉问答压进同一模型,并在真实拍摄、复杂表格等基准上越级对标更大模型,推动文档智能的竞争焦点从“堆参数”转向“参数效率+真实场景鲁棒性”。更关键的是,权重、推理代码与Agent工具链同步开源,有望降低端侧和智能体集成文档理解能力的门槛,也让OCR从单点工具走向可被调用的基础能力。对关注AI产业的投资者而言,这一动作的生态卡位意义大于单次评测排名,也提示手机厂商在端侧AI能力上的竞争正在从模型规模转向场景落地与开发者生态。