Google Research发布TimesFM时间序列预测模型

Google Research近日宣布推出TimesFM，这是一个基于Transformer架构的时间序列预测基础模型，拥有2亿参数。TimesFM在近1000亿个数据点上进行了训练，并在零样本预测性能上优于或接近监督学习模型。

模型架构与训练数据

TimesFM采用了类似于ChatGPT等大型语言模型（LLMs）的解码器-仅Transformer架构。在该架构中，时间序列数据的短片段（patches）被视为模型的输入和输出的token。研究人员在真实世界数据（如Wikipedia和Google搜索趋势）以及合成数据上对模型进行了预训练。

零样本性能表现

在多个预测基准测试中，TimesFM的零样本表现优于传统统计方法（如ARIMA和EMA）以及在基准测试训练数据集上训练的深度学习模型。Google表示，尽管与最新的LLMs相比，TimesFM的规模较小，但其在各种未见过的数据集上的零样本性能接近最先进的监督学习方法。

时间序列预测的重要性

时间序列预测在零售销售、气象学和能源生产等多个领域中具有重要意义。近年来，深度学习的进展催生了如DeepAR等模型，这些模型通常需要在特定任务的数据集上进行训练。LLMs作为基础模型的能力，特别是在零样本设置下执行多种任务的能力，激发了Google研究人员开发TimesFM。

TimesFM的神经架构

TimesFM的第一层将输入数据的短序列（patch）映射为token向量，并添加位置编码向量。随后，这些token向量通过多个自注意力层生成输出token。最后，输出token转换为时间序列数据片段，且输出片段的长度可以长于输入片段，从而使模型能够以较少的自回归调用预测更长的输出序列。

在公开数据集上的评估

Google团队在Monash、Darts和Informer等多个公开数据集上评估了TimesFM的零样本性能。TimesFM在Monash数据集上位列前三，在Darts数据集上与最佳模型在统计上无显著差异，在Informer数据集上优于所有其他模型。

社区反馈与未来计划

在Hacker News的讨论中，有用户对Google未公开模型表示遗憾，并希望能在本地运行该模型。Google表示计划在今年晚些时候通过Vertex AI平台提供该模型。研究人员还希望未来能对模型进行更深入的理论理解。