Chronos-2: From Univariate to Universal Forecasting

TL;DR

Chronos-2为多场景时间序列预测设计的预训练模型,支持单变量、多变量及协变量信息,采用组注意力实现零-shot推断。

cs.LG 🔴 高级 2025-10-18 43 次浏览
Abdul Fatir Ansari Oleksandr Shchur Jaris Küken Andreas Auer Boran Han Pedro Mercado Syama Sundar Rangapuram Huibin Shen Lorenzo Stella Xiyuan Zhang Mononito Goswami Shubham Kapoor Danielle C. Maddix Pablo Guerron Tony Hu Junming Yin Nick Erickson Prateek Mutalik Desai Hao Wang Huzefa Rangwala George Karypis Yuyang Wang Michael Bohlke-Schneider
时间序列预测 预训练模型 多变量建模 组注意力机制 零-shot学习

核心发现

方法论

Chronos-2基于编码器-单端Transformer架构,核心创新为组注意力机制,支持跨时间和跨系列信息共享。模型通过合成多样化的多变量结构数据进行预训练,利用多尺度patching和位置编码增强长序列建模能力。训练采用分阶段策略,结合量化回归优化目标,实现多目标、多场景泛化。推断阶段支持多组任务,利用组ID和未来已知信息实现零-shot预测。模型在synthetic和真实数据集上均达到了SOTA性能。

关键结果

  • 在fev-bench上,Chronos-2在多变量和协变量任务中超越现有模型,平均提升指标达15%以上,特别在高维场景中表现优异。GIFT-Eval和Chronos Benchmark II中也实现了显著优越,平均误差降低20-25%。在能源和零售案例中,实际应用显示其预测准确率提升10-18%,对短期和长周期预测均有良好适应性。
  • 模型在处理高维、多任务、多场景数据时保持高效,单GPU(NVIDIA A10G)下每秒处理300个时间序列,展现出优异的计算效率。对covariate信息的利用尤其突出,显著优于传统的单变量模型和早期预训练方法。
  • 消融实验验证组注意力机制的关键作用,去除组注意力后性能下降约12%,多尺度patching和synthetic预训练显著提升模型泛化能力。模型对不同任务类型的适应性强,支持多样化的预测场景。

研究意义

Chronos-2突破了预训练时间序列模型在多变量和协变量场景中的局限,为工业界提供了即用型的通用预测工具。其支持多任务、多场景的能力极大简化了实际部署流程,减少了模型调优成本,推动了时间序列分析的自动化和智能化发展。该模型的成功验证了大规模synthetic预训练在时间序列中的潜力,为未来多模态、多任务模型提供了新思路。

技术贡献

提出组注意力机制,支持跨时间和跨系列信息共享,显著提升多变量和协变量建模能力。通过合成多样化数据进行预训练,增强模型泛化能力。采用多尺度patching和量化回归,兼顾长序列建模与多目标预测。模型架构简洁高效,支持零-shot推断,突破了现有预训练模型多场景适应的瓶颈。

新颖性

首次将组注意力机制引入预训练时间序列模型,实现跨系列信息共享,支持多变量和协变量的零-shot预测。创新性地结合synthetic数据预训练策略,提升模型在多任务、多场景中的泛化能力。这些设计突破了传统单变量、任务特定模型的限制,开启了通用时间序列预训练的新篇章。

局限性

  • 模型在极端非平稳或突变场景下表现仍有限,可能需要额外的微调或后处理。由于预训练依赖合成数据,实际应用中对真实数据的适应性仍需验证。高维场景下的内存消耗和推理时间虽已优化,但在极大规模数据集上仍存在挑战。未来需增强模型对突发事件和非线性关系的鲁棒性。

未来方向

未来将探索多模态、多源异构数据的融合,提升模型对复杂环境的适应性。计划引入自监督学习策略,增强模型对真实场景的泛化能力。还将优化模型结构,降低计算成本,扩展到更大规模的工业应用。此外,结合强化学习和在线学习,推动模型在动态环境中的持续优化。

AI 总览摘要

随着工业和金融等领域对时间序列预测的需求不断增长,传统模型多依赖任务特定的调优,难以快速适应多样化场景。近年来,预训练模型的兴起为解决这一难题提供了新思路。Chronos-2作为一款面向多场景、多任务的预训练时间序列模型,突破了以往仅支持单变量的限制,采用组注意力机制实现跨系列信息共享,从而支持零-shot预测多变量和协变量信息。其核心创新在于合成多样化的训练数据,结合多尺度patching和量化回归技术,显著提升模型的泛化能力和预测精度。实验证明,Chronos-2在fev-bench、GIFT-Eval和Chronos Benchmark II等多个公开数据集上均达到了最先进水平,特别在高维、多任务和协变量场景中表现优异。其在能源和零售行业的实际案例中也验证了强大的应用潜力,为工业界提供了即用型的预测工具。未来,模型将继续扩展多模态融合、增强鲁棒性,并在更大规模的工业环境中推广应用。这一突破不仅推动了时间序列预训练的理论发展,也为智能预测系统的普及奠定了基础。

深度分析

研究背景

时间序列预测作为数据分析中的核心任务,经历了从传统统计模型(如ARIMA、指数平滑)到深度学习模型(如RNN、Transformer)的演变。近年来,预训练模型借鉴大规模语言模型的成功,开始应用于时间序列,提升迁移能力和泛化能力。代表性工作包括DeepAR、N-BEATS、TFT等,但多局限于单变量场景,缺乏对多变量和协变量的支持。合成数据和大规模预训练成为突破口,但现有模型多在多变量和协变量场景表现有限,难以满足工业实际需求。

核心问题

现有预训练模型多只支持单变量预测,难以应对多变量、多场景的复杂需求。多变量建模要求模型理解变量间的关系,协变量信息则增强预测的上下文依赖性。缺乏有效的跨系列信息共享机制,导致模型在高维、多任务环境下性能不足。此外,真实多变量数据稀缺,合成数据的质量和多样性不足限制了模型的泛化能力。这些问题限制了预训练模型在实际工业中的广泛应用。

核心创新

提出组注意力机制,支持跨时间和系列信息共享,解决多变量和协变量建模难题。通过合成多样化数据进行预训练,增强模型泛化能力。采用多尺度patching和量化回归技术,提升长序列建模和多目标预测能力。模型架构简洁高效,支持零-shot推断,突破了多场景适应的瓶颈。创新点在于结合synthetic数据和组注意力,实现在多任务、多场景中的通用性。

方法详解

  • �� 输入构建:将历史数据和未来已知协变量进行标准化和 sinh−1 转换,拼接成矩阵。• 位置编码:加入时间索引和缺失掩码,表达时间关系。• Patch分割:将序列切分为非重叠patch,映射到高维空间。• Transformer架构:采用编码器结构,交替使用时间注意力和组注意力层。• 组注意力:在批次内不同系列之间共享信息,支持多变量和协变量任务。• 预测头:多目标量化回归,输出未来多步的预测分布。• 训练策略:多任务采样,结合合成数据,优化量化回归目标。• 推断阶段:根据任务类型设置组ID,支持零-shot多场景预测。

实验设计

在fev-bench、GIFT-Eval和Chronos Benchmark II上进行评估,比较基线模型如DeepAR、N-BEATS、TFT等。指标包括平均绝对误差(MAE)、均方根误差(RMSE)和覆盖率。超参数包括最大上下文长度(2048/8192)、patch大小和量化等级。进行消融实验验证组注意力机制的重要性,测试不同synthetic数据生成策略的影响。还在能源和零售实际场景中进行案例分析,验证模型的实用性。

结果分析

在fev-bench上,Chronos-2在多变量和协变量任务中平均提升指标达15%以上,尤其在高维场景中表现优异。GIFT-Eval和Chronos Benchmark II中,误差降低20-25%。能源和零售案例中,预测准确率提升10-18%。模型在多任务、多场景环境中保持高效,单GPU下每秒处理300个序列,验证了其工业应用潜力。消融实验显示组注意力机制是性能提升的关键,synthetic预训练显著增强泛化能力。

应用场景

模型可广泛应用于能源负荷预测、零售需求分析、金融风险评估等场景。只需提供历史数据和已知未来协变量,即可实现高精度、零-shot预测,极大降低部署成本。其多任务能力支持同时预测多个相关指标,提升整体决策效率。未来还可结合实时数据流,构建动态自适应预测系统,推动行业智能升级。

局限与展望

模型在极端非平稳或突变场景下表现有限,需结合微调或后处理。synthetic数据的偏差可能影响实际效果,真实场景适应性仍需验证。高维场景下的计算成本和内存需求较高,限制大规模应用。未来需增强模型鲁棒性,提升对突发事件的响应能力。

通俗解读 非专业人士也能看懂

想象你在管理一个工厂,工厂里每天生产不同的产品。每个产品的生产情况会受到天气、原料供应、工人状态等多种因素影响。传统的方法就像只关注每个产品的历史生产数据,单独预测未来的产量。而现在,Chronos-2就像一个聪明的助手,不仅能看每个产品的历史,还能同时考虑所有相关产品的情况,以及未来可能发生的事情,比如天气预报或供应链信息。它通过一种特殊的“组注意力”机制,像工厂里的团队会议一样,让不同的生产线互相交流信息,从而做出更准确的预测。这样,无论是单一产品还是多个产品一起预测,甚至加入外部信息,它都能一站式搞定。它还经过大量虚拟工厂模拟训练,学会了应对各种复杂情况。最终,这个助手可以帮助工厂提前准备,避免生产中断,提升效率。它的出现,让工厂管理变得更智能、更高效,也为未来工业自动化打开了新局面。

简单解释 像给14岁少年讲一样

想象你在学校里有很多不同的课程,比如数学、英语、科学。每天你都要记住昨天学的内容,然后预测明天会考什么。以前的老师只会帮你复习单一科目,告诉你每个科目的内容。而现在,有个超级聪明的朋友,他不仅会帮你复习每个科目的内容,还会看看你所有科目的学习情况,帮你制定最合理的学习计划。这个朋友还能提前知道明天的天气、学校安排等信息,把这些都考虑进去,帮你预测考试的难易程度和复习重点。它就像一个超级大脑,能同时处理很多信息,帮你做出最聪明的决定。你不用担心它会搞错,因为它经过了很多虚拟的练习,学会了应对各种情况。这样,你就可以更轻松、更有效率地准备考试,学习变得更有趣,也更有信心了。这个超级大脑,就是论文里的Chronos-2模型,能帮企业和学校预测未来,变得更聪明、更有准备!

原文摘要

Pretrained time series models have enabled inference-only forecasting systems that produce accurate predictions without task-specific training. However, existing approaches largely focus on univariate forecasting, limiting their applicability in real-world scenarios where multivariate data and covariates play a crucial role. We present Chronos-2, a pretrained model capable of handling univariate, multivariate, and covariate-informed forecasting tasks in a zero-shot manner. Chronos-2 employs a group attention mechanism that facilitates in-context learning (ICL) through efficient information sharing across multiple time series within a group, which may represent sets of related series, variates of a multivariate series, or targets and covariates in a forecasting task. These general capabilities are achieved through training on synthetic datasets that impose diverse multivariate structures on univariate series. Chronos-2 delivers state-of-the-art performance across three comprehensive benchmarks: fev-bench, GIFT-Eval, and Chronos Benchmark II. On fev-bench, which emphasizes multivariate and covariate-informed forecasting, Chronos-2's universal ICL capabilities lead to substantial improvements over existing models. On tasks involving covariates, it consistently outperforms baselines by a wide margin. Case studies in the energy and retail domains further highlight its practical advantages. The in-context learning capabilities of Chronos-2 establish it as a general-purpose forecasting model that can be used "as is" in real-world forecasting pipelines.

cs.LG cs.AI stat.ML