Cohere 旗下研究分支 Cohere Labs 在 Hugging Face 平台正式发布了开源多语言模型 tiny-aya-global,一个参数量为 3.35B、上下文窗口达 8K tokens 的轻量级文本生成模型。该模型以 CC-BY-NC 4.0 许可证开放权重,明确限定非商业用途,并需遵守 Cohere 的可接受使用政策。
从语言覆盖范围来看,tiny-aya-global 支持超过 70 种语言,包括英语、荷兰语、法语、意大利语、葡萄牙语、罗马尼亚语、西班牙语等欧洲语言,捷克语、波兰语、乌克兰语、俄语等斯拉夫语系,阿拉伯语、波斯语、乌尔都语、土耳其语等中东及南亚语言,印地语、马拉地语、孟加拉语、泰米尔语、泰卢固语等印度语言,以及他加禄语、马来语、印尼语、越南语、高棉语、泰语、老挝语、中文、缅甸语、日语、韩语等东亚与东南亚语言。非洲语言方面则涵盖阿姆哈拉语、豪萨语、伊博语、斯瓦希里语、科萨语、约鲁巴语、祖鲁语等。这一语言列表显示出对低资源语种的明显倾斜,与 Cohere 宣称的“弥合数字语言鸿沟”目标一致。
模型架构上,tiny-aya-global 采用优化的 Transformer 自回归结构,经过预训练后,又通过监督微调(SFT)和偏好训练进行对齐,以提升有用性与安全性。其注意力机制设计颇具特点:前三层使用窗口大小为 4096 的滑动窗口注意力,配合 RoPE 相对位置编码,以高效建模局部上下文;第四层则采用无位置嵌入的全局注意力,允许序列内任意 token 间直接交互。这种混合注意力设计在控制计算开销的同时,力图保持长程依赖的建模能力。
在性能定位上,Cohere 明确表示 tiny-aya 系列的优势在于开放式生成和对话任务,翻译、摘要、跨语言任务表现良好,尤其在低资源语言上展现出较强的生成质量。但模型在需要链式推理的任务(如多语言数学题 MGSM)上相对薄弱,事实性知识也可能存在不准确或过时的情况,低资源语言的训练数据稀疏性会进一步放大这一局限。
此次发布属于 Cohere Labs 的开放研究计划,模型权重可供下载并在本地部署,官方同时提供了 Hugging Face Space 供用户在线试用。代码示例显示,该模型可通过 Transformers 库直接调用,支持聊天模板格式化输入,生成参数可调节温度、top-p 等。对于关注多语言 AI 应用落地的开发者和研究者而言,tiny-aya-global 提供了一个在参数量、语言覆盖和部署成本之间寻求平衡的选项,尤其适合需要在边缘设备或受限算力环境下服务多语种用户的场景。
值得留意的是,Cohere 将 tiny-aya 定位为一个模型家族,除 global 版本外,还提供了 tiny-aya-fire、tiny-aya-earth、tiny-aya-water 等区域优化变体,暗示其策略可能是针对不同语言区域进行专门调优,而非追求单一模型包打天下。这种“基座统一、区域适配”的路线,或许能为多语言小模型的实际部署提供更灵活的路径。