核心发现
方法论
本文提出基于Transformer的时间序列基础模型MantisV2，核心包括：• 使用CauKer框架生成大规模合成时间序列，避免数据泄露，提升泛化能力；• 通过控制消融实验优化架构，简化模型结构，提升性能；• 引入多层中间表示和输出聚合的测试时策略，增强模型鲁棒性；• 利用自集成和跨模型融合进一步提升零样本性能。预训练采用对比学习，利用随机裁剪与尺度变换增强数据多样性，确保模型在无标签场景下的泛化能力。模型架构结合卷积、差分和统计特征编码，采用六层Transformer，加入RoPE、SwiGLU等优化。多阶段实验验证在UCR、UEA、HAR及EEG数据集上均优于现有方法。
关键结果
- 在UCR数据集上，MantisV2和Mantis+在零样本条件下分别达到了85.0%和84.9%的准确率，显著优于之前的TSFMs（如TS2Vec的81.2%），提升了3-4个百分点；在UEA和HAR任务中表现亦优异，平均提升2-3%；通过合成数据预训练，模型性能与使用真实数据相当甚至更优，验证了合成数据的有效性；多层中间表示的利用使得模型在不同预训练轮次中表现出更好的泛化能力，尤其在大规模数据预训练后，表现出明显的性能提升。
- 结果还显示，测试时策略（如中间层表示融合、输入扰动自集成）能进一步提升性能，尤其在零样本场景下，融合多模型的表现接近微调模型的效果，极大缩短了模型部署的时间成本。
- 消融实验确认，合成数据预训练、架构优化和测试策略的结合是性能提升的关键，特别是合成数据的引入，使得模型在零样本条件下的表现超越了传统方法，开启了时间序列基础模型的新篇章。
研究意义
本研究突破了时间序列基础模型在零样本场景下的性能瓶颈，展示了合成数据与测试时策略结合的潜力。通过大规模合成数据训练，模型实现了跨任务的泛化能力，为实际应用提供了更为高效的解决方案。该方法减轻了对大量标注数据的依赖，推动了无监督学习在时间序列分析中的应用边界。模型的轻量化设计和多层中间表示的利用，为未来多模态、多任务场景中的基础模型提供了理论基础和实践指南，具有重要的学术价值和产业应用潜力。
技术贡献
本文提出基于Transformer的MantisV2架构，结合合成数据预训练、架构优化和测试时策略，显著提升零样本时间序列分类性能。创新点包括：• 利用CauKer生成大规模合成时间序列，避免数据泄露，增强模型泛化；• 通过消融研究优化模型结构，简化参数，提高效率；• 引入多层中间表示融合和输出聚合策略，提升模型鲁棒性；• 在预训练中采用对比学习，增强特征表达能力。模型在多个公开数据集上实现了SOTA性能，验证了其有效性和实用性。
新颖性
本研究首次将大规模合成数据引入时间序列基础模型预训练，突破了数据泄露和泛化的瓶颈。提出的多层中间表示融合策略和测试时优化方法，为零样本学习提供了新思路。与现有TSFMs多依赖微调不同，本文实现了纯粹的零样本高性能，推动了基础模型在时间序列分析中的应用创新。
局限性
- 模型在极端噪声或异常情况下表现仍有限，合成数据的多样性不足可能影响泛化能力；
- 预训练依赖大量合成数据，计算成本较高，实际部署时需考虑硬件资源；
- 目前主要验证在公开数据集，工业环境中的适应性和鲁棒性仍需验证。
未来方向
未来将探索多模态融合、多任务学习，提升模型在复杂场景中的表现；同时，优化合成数据生成策略，增强模型对异常和噪声的鲁棒性；此外，将结合少样本学习和迁移学习技术，推动模型在实际工业和医疗场景中的应用落地。
AI 总览摘要
时间序列分类一直是科学与工业界的核心难题，传统方法依赖大量标注数据，难以实现高效泛化。近年来，基础模型的兴起为这一问题带来了新希望，尤其是在视觉和语言领域，但在时间序列领域仍面临性能差距。本文提出的MantisV2，通过合成数据预训练、架构优化和测试时策略，有效缩小了零样本性能差距。
模型核心采用Transformer架构，结合卷积、差分和统计特征编码，利用大规模合成时间序列（由CauKer生成）进行自监督预训练，避免数据泄露问题。创新点在于引入多层中间表示融合策略，利用中间层丰富的特征信息，显著提升模型鲁棒性和泛化能力。测试时，通过融合中间层表示、输入扰动自集成等手段，进一步增强模型性能，使其在UCR、UEA、HAR和EEG数据集上均优于现有方法。
实验结果显示，MantisV2在零样本条件下达到了85%的准确率，优于之前的TSFMs（如TS2Vec的81.2%），验证了合成数据和多层融合策略的有效性。这一突破不仅推动了时间序列基础模型的发展，也为实际应用提供了高效、无需大量标注的解决方案。未来，模型将结合多模态、多任务场景，拓展在工业、医疗等领域的应用潜力，开启时间序列分析的新篇章。
深度分析
研究背景
时间序列分析在金融、医疗、工业监测等领域扮演关键角色。早期方法多依赖特征工程和浅层学习模型，效果有限。近年来，深度学习模型如CNN、RNN、Transformer逐步崛起，提升了性能，但多依赖大量标注数据，泛化能力不足。基础模型的出现（如TST、TS2Vec）试图解决这一问题，强调自监督预训练和特征表达，但在零样本场景下仍有差距。现有研究多关注模型复杂度和任务特异性，缺乏通用性强的预训练策略。本文在此背景下，提出利用合成数据增强预训练，结合架构优化和测试策略，推动时间序列基础模型向零样本高性能迈进。
核心问题
核心问题在于如何在无标签或少标签条件下，训练出具有强泛化能力的时间序列基础模型。现有模型在零样本场景下表现不佳，主要受制于数据依赖性强、模型复杂度高、鲁棒性不足等瓶颈。同时，数据泄露和过拟合问题限制了模型的实际应用。如何利用合成数据避免数据泄露，提升模型泛化能力，成为亟待解决的难题。此外，模型架构的优化和测试时策略的设计也直接影响零样本性能。
核心创新
本研究的创新点包括：1）利用CauKer框架生成大规模合成时间序列，避免数据泄露，增强模型泛化；2）通过消融实验优化模型架构，简化参数，提升效率；3）引入多层中间表示融合和输出聚合策略，增强模型鲁棒性；4）采用对比学习进行预训练，强化特征表达能力。模型架构结合卷积、差分和统计特征编码，利用Transformer的多层结构，加入RoPE、SwiGLU等优化技术，整体设计兼顾性能和效率。这些创新共同推动零样本时间序列分类性能达到新高。
方法详解
- �� 合成数据生成：利用CauKer框架，基于高斯过程和因果模型，生成多样化的时间序列样本，避免数据泄露。
- �� 预训练：采用对比学习，随机裁剪与尺度变换增强数据多样性，最大化特征空间的均匀性。
- �� 架构设计：结合卷积层、差分编码和统计特征编码，生成多层次的输入表示；采用六层Transformer，加入RoPE和SwiGLU优化。
- �� 测试时策略：融合中间层表示、输入扰动自集成、多模型融合，提升鲁棒性和泛化能力。
- �� 实验验证：在UCR、UEA、HAR和EEG数据集上进行广泛测试，比较不同架构和策略的效果，进行消融分析。
实验设计
实验采用公开的UCR、UEA、HAR和EEG数据集，评估模型在零样本条件下的分类准确率。基线包括TS2Vec、T-Loss等自监督模型，微调模型作为参考。模型超参数如Transformer层数、头数、隐藏维度均经过调优。采用随机裁剪尺度变换作为预训练增强手段，训练时间控制在合理范围内。通过消融实验验证架构优化和测试策略的贡献，统计模型性能的稳定性和泛化能力。结果显示，MantisV2在多个任务中均优于对比模型，验证了预训练合成数据和多层融合的有效性。
结果分析
在UCR数据集上，MantisV2的零样本准确率达85.0%，比TS2Vec的81.2%提升3.8个百分点，显著优于其他自监督模型。在UEA和HAR任务中，平均提升2-3%。合成数据预训练使模型泛化能力增强，避免了数据泄露风险。多层中间表示融合和测试策略的引入，使模型鲁棒性大幅提升，零样本性能接近微调模型。消融实验确认，架构简化和合成数据的引入是性能提升的关键因素。这些结果表明，提出的方法在实际应用中具有广泛的适用性和优越性。
应用场景
该模型适用于需要快速部署、无需大量标注的工业监测、医疗诊断和金融分析场景。只需少量或无标签数据，即可实现高效分类，降低成本。未来，结合多模态数据和迁移学习，能进一步拓展在复杂环境中的应用潜力，推动智能监控、健康管理和金融风控等行业的智能化升级。
局限与展望
模型在极端噪声或异常情况下表现仍有限，合成数据多样性不足可能影响泛化能力。预训练依赖大量计算资源，实际部署时成本较高。当前验证主要在公开数据集，工业环境中的适应性和鲁棒性仍需验证。未来需优化模型结构，提升在复杂场景中的表现，并降低计算成本。
通俗解读 非专业人士也能看懂
想象你在准备一份大餐，厨师需要准备各种食材。传统方法就像用现成的食材，虽然简单，但可能不够新鲜或不适合所有菜肴。现在，厨师开始用虚拟的食材——用电脑模拟出来的食材，既安全又丰富多样。这个研究就像让电脑自己创造大量虚拟食材，然后用这些虚拟食材训练厨师，让他学会做各种菜肴。这样，即使没有真实的食材，也能做出美味的菜肴。模型用一种叫Transformer的“厨师”架构，结合不同的“调料”和“烹饪技巧”，让它变得更聪明、更快。通过不断试验和调整，厨师变得越来越厉害，不仅能做出好菜，还能在没有实际食材的情况下，快速识别和分类不同的菜肴。这就像用虚拟的食材训练厨师，让他在任何厨房都能做出美味佳肴一样。
简单解释 像给14岁少年讲一样
想象你在学校的食堂，老师让你用不同的食材做菜。以前，你只能用自己见过的食材，做出来的菜也有限。现在，有个神奇的厨师，他可以用电脑模拟出各种虚拟食材，还能自己学习怎么做菜。这个研究就像让这个厨师用虚拟食材训练自己，学会识别各种菜肴。它用一种叫Transformer的“厨师”架构，结合不同的“调料”和“烹饪技巧”，让它变得更聪明、更快。通过不断试验和调整，这个厨师变得非常厉害，不仅能做出好菜，还能在没有真正食材的情况下，快速判断出菜的种类。就像你用虚拟的食材学习做菜一样，这个模型用虚拟数据训练自己，能在很多不同的任务中表现出色，特别是在没有很多例子的时候。它让机器变得更聪明，能帮人们更快、更好地理解时间序列数据，就像一个超级厨师一样！
术语表
Transformer（变换器）
一种基于自注意力机制的深度学习架构，擅长处理序列数据，能捕捉长距离依赖关系。在本文中用于时间序列特征提取。
模型架构核心，用于编码时间序列信息。
合成数据（Synthetic Data）
由算法生成的模拟真实数据，用于训练模型，避免数据泄露，增强泛化能力。
预训练阶段用到的合成时间序列。
对比学习（Contrastive Learning）
通过最大化相似样本的表示相似度，最小化不同样本的表示差异，提升模型的判别能力。
预训练目标。
RoPE（Rotary Positional Encoding）
一种位置编码技术，通过旋转操作引入位置信息，改善Transformer的序列建模能力。
模型中的位置编码方法。
SwiGLU（SwiGLU激活）
一种高效的激活函数，结合门控机制，提高模型表达能力。
Transformer中的激活函数选择。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升合成数据的多样性以增强模型鲁棒性？
- 2 在极端噪声环境下模型的表现机制及优化策略？
- 3 模型在工业实际应用中的适应性和稳定性如何保证？
应用场景
近期应用
工业监测
无需大量标注数据即可实现设备故障检测，提高维护效率，降低成本。
医疗诊断
利用无标签或少标签的时间序列数据进行疾病预测，缩短诊断时间。
远期愿景
智能监控系统
实现全天候、全场景的自动化监控，提前预警潜在风险，保障安全。
原文摘要
Developing foundation models for time series classification is of high practical relevance, as such models can serve as universal feature extractors for diverse downstream tasks. Although early models such as Mantis have shown the promise of this approach, a substantial performance gap remained between frozen and fine-tuned encoders. In this work, we introduce methods that significantly strengthen zero-shot feature extraction for time series. First, we introduce Mantis+, a variant of Mantis pre-trained entirely on synthetic time series. Second, through controlled ablation studies, we refine the architecture and obtain MantisV2, an improved and more lightweight encoder. Third, we propose an enhanced test-time methodology that leverages intermediate-layer representations and refines output-token aggregation. In addition, we show that performance can be further improved via self-ensembling and cross-model embedding fusion. Extensive experiments on UCR, UEA, Human Activity Recognition (HAR) benchmarks, and EEG datasets show that MantisV2 and Mantis+ consistently outperform prior time series foundation models, achieving state-of-the-art zero-shot performance.