谷歌研究院於近日在 Hugging Face 平台釋出了 TimesFM 3.0 時序預測基礎模型的官方 PyTorch 權重與配置檔案,版本號為 0.3B,更新於 8 分鐘前。TimesFM(Time Series Foundation Model)是谷歌研究院開發的預訓練時序預測基礎模型,此次釋出使開發者能夠直接使用該模型進行時間序列預測任務。

根據倉庫資訊,TimesFM 3.0 採用堆疊混合 Transformer(Stacked Mixing Transformer)架構,並引入 Variate AttentionCPM Iterative RevIN 技術。模型包含 20 層 Transformer,模型維度為 1280,注意力頭數為 16。上下文補丁長度為 32,預測補丁長度為 64,輸出分位數(中位數位於索引 4)。

在預訓練資料方面,TimesFM 3.0 使用 GiftEvalPretrain 資料集進行預訓練,並排除了與 fev-bench 重疊的資料集。具體資料包括 Wikimedia Pageviews(截止 2023 年 11 月)和 Google Trends 熱門查詢(截止 2022 年底),以及合成和增強資料。

模型採用 TimesFM 非商業許可 v1.0 釋出,這意味著該模型僅可用於非商業用途。這一許可限制可能影響其在企業級商業應用中的直接採用,但為學術研究和原型開發提供了便利。

TimesFM 系列模型此前已釋出多個版本,3.0 版本在架構和預訓練策略上進行了升級。時序預測基礎模型旨在通過大規模預訓練,捕捉時間序列中的通用模式,從而在少量樣本或零樣本條件下實現對新資料集的預測,減少對大量標註資料的依賴。

此次釋出對 AI 產業具有多重意義。對於應用層開發者,TimesFM 3.0 提供了強大的時序預測能力,可用於需求預測、異常檢測、資源排程等場景。對於模型層研究者,該模型的開源權重有助於復現實驗結果並推動進一步研究。然而,非商業許可可能限制其在商業產品中的直接整合,開發者需關注許可條款或尋求商業授權。

總體而言,谷歌通過開源 TimesFM 3.0 權重,進一步豐富了時序預測領域的開源生態,為 AI 在時間序列分析中的應用提供了新的基礎工具。