Cohere 旗下研究分支 Cohere Labs 在 Hugging Face 平臺正式發佈了開源多語言模型 tiny-aya-global,一個參數量為 3.35B上下文窗口8K tokens 的輕量級文本生成模型。該模型以 CC-BY-NC 4.0 許可證開放權重,明確限定非商業用途,並需遵守 Cohere 的可接受使用政策。

從語言覆蓋範圍來看,tiny-aya-global 支持超過 70 種語言,包括英語、荷蘭語、法語、意大利語、葡萄牙語、羅馬尼亞語、西班牙語等歐洲語言,捷克語、波蘭語、烏克蘭語、俄語等斯拉夫語系,阿拉伯語、波斯語、烏爾都語、土耳其語等中東及南亞語言,印地語、馬拉地語、孟加拉語、泰米爾語、泰盧固語等印度語言,以及他加祿語、馬來語、印尼語、越南語、高棉語、泰語、老撾語、中文、緬甸語、日語、韓語等東亞與東南亞語言。非洲語言方面則涵蓋阿姆哈拉語、豪薩語、伊博語、斯瓦希里語、科薩語、約魯巴語、祖魯語等。這一語言列表顯示出對低資源語種的明顯傾斜,與 Cohere 宣稱的“彌合數字語言鴻溝”目標一致。

模型架構上,tiny-aya-global 採用優化的 Transformer 自迴歸結構,經過預訓練後,又通過監督微調(SFT)和偏好訓練進行對齊,以提升有用性與安全性。其注意力機制設計頗具特點:前三層使用窗口大小為 4096 的滑動窗口注意力,配合 RoPE 相對位置編碼,以高效建模局部上下文;第四層則採用無位置嵌入的全局注意力,允許序列內任意 token 間直接交互。這種混合注意力設計在控制計算開銷的同時,力圖保持長程依賴的建模能力。

在性能定位上,Cohere 明確表示 tiny-aya 系列的優勢在於開放式生成和對話任務,翻譯、摘要、跨語言任務表現良好,尤其在低資源語言上展現出較強的生成質量。但模型在需要鏈式推理的任務(如多語言數學題 MGSM)上相對薄弱,事實性知識也可能存在不準確或過時的情況,低資源語言的訓練數據稀疏性會進一步放大這一侷限。

此次發佈屬於 Cohere Labs 的開放研究計劃,模型權重可供下載並在本地部署,官方同時提供了 Hugging Face Space 供用戶在線試用。代碼示例顯示,該模型可通過 Transformers 庫直接調用,支持聊天模板格式化輸入,生成參數可調節溫度、top-p 等。對於關注多語言 AI 應用落地的開發者和研究者而言,tiny-aya-global 提供了一個在參數量、語言覆蓋和部署成本之間尋求平衡的選項,尤其適合需要在邊緣設備或受限算力環境下服務多語種用戶的場景。

值得留意的是,Cohere 將 tiny-aya 定位為一個模型家族,除 global 版本外,還提供了 tiny-aya-firetiny-aya-earthtiny-aya-water 等區域優化變體,暗示其策略可能是針對不同語言區域進行專門調優,而非追求單一模型包打天下。這種“基座統一、區域適配”的路線,或許能為多語言小模型的實際部署提供更靈活的路徑。