核心发现
方法论
本文设计两项任务：关联任务通过动词时态推断当前年份，陈述任务直接查询年份。分析13个基础模型的预测误差，发现关联任务的预测误差平均为10个月，接近训练截止时间。采用因果干预（attention和MLP层击碎）定位模型内部机制，发现关联任务依赖事实回忆机制，而陈述任务缺乏一致的因果路径。通过提示、微调和权重编辑尝试同步更新两者，发现陈述任务易被调整（成功率94.6%），而关联任务几乎不变（成功率1.7%），且不同方法无法同时调整两者。
关键结果
- 关联任务的预测误差仅为10个月，极大接近训练截止时间，成为预训练数据截止时间的良好代理。模型在关联任务中表现出对过去和未来的连贯区分，且在不同提示变体中稳定。
- 因果分析显示，关联任务依赖于特定线性子空间，代表事实记忆机制；而陈述任务缺乏明确的内部因果路径，表现出机制不一致。
- 多种模型更新方法（提示、微调、权重编辑）中，陈述任务的年份可以高效调整（成功率94.6%），但关联任务几乎不能，且两者的机制不共享，难以同步更新。
研究意义
本研究揭示了语言模型中时间编码的复杂性，表明关联与陈述两种时间概念在机制上根本不同。这对模型的时间感知、知识更新及安全性提出挑战，强调需要新的机制设计以实现一致的时间表示。该工作有助于理解模型的认知机制，为未来模型的动态知识更新提供理论基础，也提醒行业在模型时间敏感性方面的潜在风险。
技术贡献
提出两类任务系统性检测模型时间编码，结合因果干预定位机制，揭示关联任务依赖事实记忆机制，而陈述任务缺乏一致路径。验证不同微调和编辑方法的局限性，展示机制不共享导致同步更新困难，推动模型时间编码机制的深入理解。
新颖性
首次系统性比较关联与陈述两类时间任务的机制差异，结合因果干预技术定位模型内部结构，揭示机制不一致的根源。提出关联任务作为预训练数据的时间代理，丰富了模型时间感知的理论框架。
局限性
- 研究仅针对特定模型（如GPT、OLMo系列），未来需验证多模型通用性。关联任务对动词时态敏感，可能受语言结构影响，限制适用范围。
- 干预方法主要局限于线性子空间，复杂机制可能未被完全捕获。模型更新方法未能实现机制同步，未来需探索更深层次的机制调控。
- 未充分考虑模型在实际应用中的时间偏差对性能的影响，未来需结合实际场景评估。
未来方向
未来将探索多模态和多任务机制，结合动态知识图谱实现模型时间的连续更新。研究更复杂的因果干预策略，提升机制同步能力，推动模型具备更稳健的时间认知能力。还需扩展到多语言、多文化背景下的时间编码机制，增强模型的普适性和鲁棒性。
AI 总览摘要
本研究关注语言模型中对当前时间的编码机制，特别是年份的表示。通过设计两个任务——关联任务（基于动词时态推断年份）和陈述任务（直接查询年份）——分析模型在不同训练阶段的表现。结果显示，基础模型在关联任务中预测的年份误差平均仅为10个月，极接近训练数据截止时间，表明关联任务的预测可以作为预训练截止时间的良好代理。相反，陈述任务的年份预测在微调后才趋于准确，反映其在训练后习得。机制分析采用因果干预技术，发现关联任务依赖于特定线性子空间，代表事实记忆机制；而陈述任务缺乏一致的因果路径。尝试用提示、微调和权重编辑同步更新两者的年份，发现陈述年份易被调整（成功率94.6%），但关联年份几乎不变（成功率1.7%），且不同方法不能同时调整两者。这表明，模型中两种时间概念在机制上根本不同，关联机制深植于预训练知识中，抗干预；而陈述机制则在训练后习得，易被调整。此发现对模型的时间感知、知识更新和安全性提出新挑战，强调需设计更复杂的机制以实现时间编码的一致性。未来工作将聚焦于机制的深层次理解和动态知识更新，推动模型具备更稳健的时间认知能力。
深度分析
研究背景
近年来，语言模型在自然语言理解中的表现不断提升，但对其时间感知能力的研究仍有限。早期工作如BERT、GPT系列主要关注知识存储和推理能力，少有系统性探讨模型如何编码时间信息。部分研究尝试通过微调或提示刷新模型知识，但缺乏对时间编码机制的深入理解。模型对时间的认知关系到事实正确性和安全性，尤其在动态事实（如政治领导人、事件年份）方面。已有工作如Park et al.（2025b）评估模型的时间推理能力，但未揭示其内部机制。本文结合因果干预技术，系统分析模型中时间编码的机制差异，填补了该领域的空白，为模型知识的动态更新提供理论基础。
核心问题
核心问题在于，语言模型是否以一致机制编码当前年份，及其机制的可调控性。关联任务和陈述任务在表现上虽都能估算年份，但机制不同，关联机制深植于预训练知识中，抗干预；而陈述机制在微调后习得，易被调整。如何同步更新两者，确保模型对时间的认知一致，是模型动态知识更新的关键难题。现有方法如提示、微调和权重编辑，不能同时调整两者的年份，反映机制差异带来的挑战。这限制了模型在时间敏感任务中的应用，亟需理解机制差异并提出有效的同步策略。
核心创新
本研究创新点主要在于：1）设计两类任务系统性检测模型时间编码，关联任务作为预训练数据的时间代理，陈述任务反映训练后习得的时间认知；2）结合因果干预技术，定位模型内部代表时间的线性子空间，揭示机制差异；3）系统评估多种模型更新方法，发现机制不共享导致同步困难。此工作首次系统性比较关联与陈述两类时间任务的机制差异，提出机制不一致是模型时间编码的根源，为未来机制调控提供理论基础。
方法详解
- �� 设计关联任务（In {year} there）和陈述任务（写故事关于当前年份）检测模型时间编码。• 采集13个基础模型的预测误差，验证关联任务预测误差平均为10个月，接近训练截止时间。• 使用因果干预（attention和MLP层击碎）定位模型内部代表时间的线性子空间，发现关联任务依赖事实记忆机制。• 通过提示、微调和权重编辑尝试同步更新两者年份，评估成功率。• 采用交互干预（interchange intervention accuracy）衡量机制的因果路径，验证机制差异。• 结合训练阶段分析，揭示关联机制受预训练数据影响，陈述机制在微调后习得。• 设计多样提示变体和干预策略，确保结果的稳健性。
实验设计
使用多种预训练模型（GPT、OLMo系列）和微调数据（Tulu3），评估关联和陈述任务的预测误差。采用不同提示模板，测量模型对年份的预测准确性。通过因果干预定位模型内部机制，验证线性子空间的代表性。比较提示、微调和权重编辑方法对年份更新的效果，统计成功率和误差变化。还分析了模型在不同训练阶段的机制演变，验证预训练数据对关联机制的影响。实验结果显示，关联任务误差极低，机制深植于预训练知识中，而陈述任务在微调后变得准确，机制表现出明显差异。
结果分析
关联任务的预测误差平均为10个月，成为预训练截止时间的良好代理，模型在关联任务中表现出对过去和未来的连贯区分。因果分析显示，关联机制依赖特定线性子空间，代表事实记忆；而陈述任务缺乏一致的因果路径，表现出机制不稳定。多种模型更新策略（提示、微调、权重编辑）中，陈述年份易被调整（成功率94.6%），但关联年份几乎不能，机制不共享导致同步难题。这些结果揭示模型时间编码的机制差异，为未来机制调控提供方向。
应用场景
该研究为模型时间感知的提升提供理论基础，适用于动态事实更新、时间敏感问答、知识库维护等场景。未来可结合动态知识图谱，实现模型对时间的连续更新，增强其在实际应用中的可靠性和安全性。行业中，尤其在自动问答、新闻生成、法律和金融等领域，模型对时间的准确理解至关重要。通过机制调控，可实现模型在不同时间点的知识同步，提升用户体验和系统安全。
局限与展望
目前研究主要针对特定模型（如GPT、OLMo），未来需验证多模型通用性。干预方法主要基于线性子空间，复杂机制可能未被完全捕获。机制不共享导致同步困难，未来需发展更深层次的调控策略。此外，模型在实际应用中的时间偏差和更新成本未充分考虑，未来应结合实际场景优化机制和效率。
通俗解读 非专业人士也能看懂
想象你有一个超级智能的工厂，工厂每天都在生产不同的产品。这个工厂的操作手册告诉你，某些机器在特定年份会用不同的方式工作，比如在1960年用一种方式，到了2000年会用另一种方式。模型就像这个工厂的操作员，它通过学习大量的生产记录，记住了这些年份和操作方式的关系。有一种方式是它记住了具体的事实，比如“在1960年，机器是这样工作的”，这叫事实记忆机制。另一种方式是它学会了根据提示猜年份，比如“在2020年，机器会这样工作”，这是在训练后习得的。研究发现，这两种记忆方式其实是不同的线性空间，彼此不能轻易互换。试图用一种方法改变另一种的年份，结果都很有限，就像你想用一种工具同时调整两个不同的机器，但每个机器的操作方式都不一样。这个发现告诉我们，模型的时间感知其实像两个不同的记忆仓库，彼此没有直接联系，要让它们同步变得很难。
简单解释 像给14岁少年讲一样
想象你有个超级聪明的机器人，它每天都在学习新东西。有时候，它知道今天是2024年，有时候它还记得以前的事情是在2010年发生的。科学家们想知道，这个机器人是怎么记住时间的。于是他们设计了两个小游戏：一个让机器人根据句子里的动词时态猜年份，比如“在1960年，他在学校”意味着那年在1960年；另一个是直接问机器人“今年是哪一年”。结果发现，机器人用来猜年份的两个方法其实用的机制完全不同。第一个方法像是在用一本大书里的事实记忆，记住了“1960年”对应的动词变化；第二个方法则是在训练后学会了根据提示自己猜年份。这两个机制就像两个不同的记忆仓库，彼此没有直接联系。科学家们还试图用不同的技巧，把两个年份都改到想要的年份，但发现很难让两个机制同时变。这意味着，机器人对时间的理解其实是由两个不同的“记忆系统”组成，要让它们同步变得很困难。这项研究让我们更清楚地知道，未来让机器人更聪明、更懂时间，还需要找到更好的方法来连接这两个“记忆系统”。
原文摘要
A consistent concept of the current time is important for temporal reasoning, yet how language models represent the current time is not well understood. We contribute two tasks that probe the current year in conceptually distinct ways: an associative task, which infers the current year from verb tense, and a declarative task, which directly queries for the current year. Both tasks estimate current years within one year of the post-training data cutoff of instruction-tuned language models. For base models, predictions on the associative task serve as a strong proxy for the pre-training data cutoff, with an average error of only 10 months across 13 models. However, their internal mechanisms diverge: the associative task uses mechanisms similar to factual recall, while the declarative task lacks consistent causal pathways. This divergence poses a challenge for updating the current year in language models. None of prompting, SFT, or weight editing succeed in shifting the associative and declarative years simultaneously. Prompting updates the declarative year (94.6% success across 351 target years) but leaves the associative year nearly unchanged (1.7% success). Year-shifted SFT also fails to shift the associative year, matching the target year in only one of eight models. Weight editing, while effective for both tasks individually, does not generalize across both. Overall, our results show that the current year is not consistently encoded in language models: The associative notion, deeply ingrained in linguistic structures learned in pre-training, uses different causal mechanisms and resists the same modifications that easily shift the declarative notion learned in post-training.