MiniMax 在 Hugging Face 平台发布了 MiniMax Music 3 音乐生成模型,该模型能够根据用户提供的歌词和音乐描述,生成最长 五分钟 的完整歌曲,输出格式为 32 kHz、16 位立体声 WAV 音频。模型页面显示其采用 diffusers 库,标签涵盖音乐生成、文本转音乐等,并已获得一定规模的下载与关注。
从技术架构看,MiniMax Music 3 采用分层自回归设计,将全局音乐结构建模与局部声学细节建模分开处理。其中,8B 全局 LLM 负责逐帧预测第一个 RVQ 码本,建模歌曲的长程语义与结构演进;0.6B 局部 LLM 则预测每帧内剩余的声学码本,恢复细粒度声学信息。全局 LLM 由 Qwen3-8B 初始化,训练时先将其嵌入层与输出层适配到语义音乐 token,再联合训练全局与局部 LLM 以建模所有 RVQ 码本。
在合成环节,模型并非仅从离散 RVQ token 解码,而是融合全局与局部 LLM 的最终隐藏状态,保留更丰富的声学信息,用于人声咬字、乐器质感与时间连续性。合成路径依次经过隐藏状态融合、Flow Matching(2.4B)、Flow-VAE 潜在空间,最终由 Flow-VAE 解码器(123M) 输出立体声音频。Flow-VAE 架构改编自 MiniMax Speech,并针对音乐的动态范围与频谱特性重新训练。
训练分词器使用八层残差向量量化(RVQ):第一个语义码本包含 16,384 个条目,捕捉核心音乐语义与结构;其余七个声学码本各含 1,024 个条目,表示残差声学细节。训练时先优化语义码本,再联合训练全部八个码本。推理阶段,波形合成使用融合后的 LLM 隐藏状态,无需离散分词器解码器。
功能层面,MiniMax Music 3 原生支持最长五分钟的完整歌曲生成,能够在长序列中保持音乐主题、节奏、人声身份与编曲推进,覆盖前奏、主歌、预副歌、副歌、桥段、器乐间奏与尾奏等完整结构。模型接受两类互补输入:歌词定义演唱内容,可包含 [Intro]、[Verse]、[Pre-Chorus]、[Chorus]、[Post-Chorus]、[Bridge]、[Instrumental]、[Solo]、[Outro] 等段落标签;音乐描述则定义风格、情感推进、人声表现、乐器编制、编曲与制作特征。为精确控制,官方建议使用包含全局元数据、人声细节与编曲三部分的结构化描述。
使用方式上,MiniMax Music 3 由 SGLang-Omni 支持,用户可通过 hf download 命令下载模型,并推荐使用 SGLang、diffusers 或 ComfyUI 等推理框架部署。服务采用共享语音 API,歌词放入 input 字段,音乐描述放入 instructions 字段,段落标签需单独成行。请求参数中 max_new_tokens 设定最大音频帧数(每秒 25 帧),模型生成结束 token 时可能提前完成。响应即为 32 kHz、16 位立体声 WAV 文件。此外,模型已作为 diffusers 模块化管道提供,在相关 PR 合并前需从指定提交安装 diffusers,示例代码可在 24GB 以上显存 GPU 上运行。
从产业视角看,音乐生成模型正从短片段向完整歌曲演进,长程结构一致性与细粒度控制成为竞争焦点。MiniMax Music 3 将大语言模型的结构建模能力与连续隐状态合成相结合,为 AI 音乐创作工具提供了新的技术路径,也意味着多模态生成模型在音频领域的应用边界进一步拓宽。对关注 AI 应用与模型层的投资者而言,此类模型的迭代节奏与开源生态适配情况,可作为观察多模态生成商业化进展的参考维度之一。