MiniMax 在 Hugging Face 上线了 MiniMax-H3 全模态生成系统,模型标注规模为 33B,采用社区许可协议,并同步开放了在线 API 与网页/桌面应用入口。该模型定位为通用全模态系统,可统一理解由文本、图像、视频和音频构成的多模态上下文,并生成带原生立体声的视频,分辨率最高 2K、时长最长 15 秒。

从输出规格看,H3 支持 4 至 15 秒的视频生成,画幅覆盖 21:9、16:9、4:3、1:1、3:4、9:16 等比例,默认短边 768 像素,帧率 24 FPS,音频为 32 kHz 立体声。对话语言稳定支持 11 种,包括阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语,其他语言也有不同程度支持。

模型提供两个输入变体。H3-Base-FL2VA 面向首尾帧模式,可接受零张、一张或两张输入图像,分别对应文生视频、首帧或尾帧生视频、首尾帧生视频。H3-Base-Ref2VA 面向全参考模式,支持最多 9 张图像、3 段视频(每段 2 至 15 秒、总时长不超过 15 秒)、3 段音频(同样每段 2 至 15 秒、总时长不超过 15 秒),所有输入类型合计文件数上限为 12 个。

完整 H3 系统由三个模块构成。H3-Context-IR 负责深度理解并精炼多模态指令,将其转化为模型易于处理的上下文中间表示;H3-Base 基于该表示生成 768p 分辨率的音视频;H3-Regenerate-2K 再把 768p 结果与原始上下文一起送回模型,重生成 2K 输出,以保留更多细节。官方强调 H3-Context-IR 对最终输出质量至关重要,建议将其纳入生成流程,或参照提示词指南自建上下文处理系统。

值得注意的是,本次开源发布并不包含 H3-Context-IR。该模块依赖多阶段工作流和多个托管模型与服务,官方改为提供 API 来复现其行为,并附上教程供开发者自建预处理系统。这意味着开源社区拿到的是生成主干,而复杂指令解析这一环仍需通过官方服务或自行搭建。

架构上,H3-Base 用各自编码器或 VAE 处理不同模态,再组织成统一的多模态序列,经 H3-Omni-Transformer 联合预测视频与音频潜变量并解码。文本由 H3-Encoder 编码,视觉输入同时经过 H3-Encoder 与 H3-VisualVAE,音频则仅由 H3-AudioVAE 编码。安全方面,用户提交的文本、图像、视频及增强后的提示词都会经过自动审核,疑似违法、色情或侵权内容可能被拦截,官方也提示过滤无法完全避免误判。

对 AI 视频生成赛道而言,H3 把视频与音频同步生成、多模态参考输入和 2K 重生成流程整合进一个开源体系,降低了开发者构建音视频一体生成应用的门槛;但核心指令理解模块未开源,也划出了开源能力与托管服务之间的边界。后续社区能否基于开放部分复现接近官方的效果,将是观察其生态吸引力的关键。