谷歌研究院于近日在 Hugging Face 平台发布了 TimesFM 3.0 时序预测基础模型的官方 PyTorch 权重与配置文件,版本号为 0.3B,更新于 8 分钟前。TimesFM(Time Series Foundation Model)是谷歌研究院开发的预训练时序预测基础模型,此次发布使开发者能够直接使用该模型进行时间序列预测任务。

根据仓库信息,TimesFM 3.0 采用堆叠混合 Transformer(Stacked Mixing Transformer)架构,并引入 Variate AttentionCPM Iterative RevIN 技术。模型包含 20 层 Transformer,模型维度为 1280,注意力头数为 16。上下文补丁长度为 32,预测补丁长度为 64,输出分位数(中位数位于索引 4)。

在预训练数据方面,TimesFM 3.0 使用 GiftEvalPretrain 数据集进行预训练,并排除了与 fev-bench 重叠的数据集。具体数据包括 Wikimedia Pageviews(截止 2023 年 11 月)和 Google Trends 热门查询(截止 2022 年底),以及合成和增强数据。

模型采用 TimesFM 非商业许可 v1.0 发布,这意味着该模型仅可用于非商业用途。这一许可限制可能影响其在企业级商业应用中的直接采用,但为学术研究和原型开发提供了便利。

TimesFM 系列模型此前已发布多个版本,3.0 版本在架构和预训练策略上进行了升级。时序预测基础模型旨在通过大规模预训练,捕捉时间序列中的通用模式,从而在少量样本或零样本条件下实现对新数据集的预测,减少对大量标注数据的依赖。

此次发布对 AI 产业具有多重意义。对于应用层开发者,TimesFM 3.0 提供了强大的时序预测能力,可用于需求预测、异常检测、资源调度等场景。对于模型层研究者,该模型的开源权重有助于复现实验结果并推动进一步研究。然而,非商业许可可能限制其在商业产品中的直接集成,开发者需关注许可条款或寻求商业授权。

总体而言,谷歌通过开源 TimesFM 3.0 权重,进一步丰富了时序预测领域的开源生态,为 AI 在时间序列分析中的应用提供了新的基础工具。