核心发现
方法论
本文提出一种基于大规模预训练语言模型（如GPT-J、GPT-NeoX）的时间知识图预测框架。通过将历史事实转换为结构化提示，利用模型的token概率进行排序预测，无需微调或专门结构设计。采用多种历史事实筛选策略（实体、关系、单向、双向）和提示模板（索引、词汇），结合不同数据集（WIKI、YAGO、ICEWS）进行验证。模型通过上下文学习，捕获复杂的时间和结构模式，表现出与专门设计的时间知识图模型相当的性能。
关键结果
- 在多个数据集上，预训练LLMs（如GPT-NeoX）在无微调情况下，Hit@1指标与SOTA模型（RE-GCN、xERTE）相差不超过3.6%，表现出强大的零样本预测能力。
- 将实体/关系名称替换为随机索引后，性能变化极小（±0.4%），表明模型无需语义信息，能依赖上下文中的符号模式进行推断。
- 模型在不同历史长度（如100个事实）下表现持续提升，规模越大，性能越优，验证了规模-性能关系。
研究意义
该研究突破了传统知识图预测对结构和语义信息的依赖，证明预训练大模型具备强大的模式识别和推理能力，极大简化了知识图预测的流程。为未来无监督、零样本的知识推理提供新思路，推动知识图谱应用向更广泛的场景扩展，尤其在数据稀缺或动态变化环境中具有重要意义。
技术贡献
提出一种无需微调的时间知识图预测新框架，利用上下文学习机制，将历史事实转化为提示，结合概率排序实现预测。引入多种事实筛选和提示策略，验证模型对语义信息的依赖极低，强调符号模式的作用。系统性比较不同模型规模、提示模板和历史长度的影响，为大模型在知识推理中的应用提供理论基础和实践指南。
新颖性
首次系统性验证大规模预训练模型在无微调条件下，利用上下文学习完成时间知识图预测任务。强调模型对语义信息的依赖极低，突出符号和模式识别能力的核心作用，区别于传统基于结构和语义的知识图模型。
局限性
- 模型对极端复杂或稀疏的时间关系仍表现有限，特别是在缺乏明显模式的场景中。
- 预测性能受历史事实质量影响较大，噪声或偏差可能导致误差累积。
- 大规模模型计算成本高，实际部署存在资源瓶颈。
未来方向
未来将探索多模态信息融合、增强模型对稀疏或复杂关系的理解能力，以及结合少样本学习和微调策略，提升模型在实际应用中的鲁棒性和效率。同时，研究如何更好地解释模型的推理过程，增强可解释性。
AI 总览摘要
本研究提出了一种创新的时间知识图预测方法，利用预训练大规模语言模型（如GPT-J、GPT-NeoX）通过上下文学习（ICL）实现无微调的未来事实预测。传统的知识图预测依赖复杂的结构建模和大量标注数据，限制了其应用范围。本文的方法将历史事实转化为结构化提示，利用模型的概率机制进行排序，从而实现对未来事件的预测。实验结果显示，在多个公开数据集（WIKI、YAGO、ICEWS）上，预训练模型的性能与专门设计的时间知识图模型（如RE-GCN、xERTE）相当，甚至在某些场景优于它们，验证了大模型捕获复杂时间和结构模式的能力。令人惊讶的是，将实体和关系名称替换为随机索引后，模型性能变化极小，表明语义信息并非预测的关键因素，模型主要依赖符号模式和上下文中的结构特征。这一发现极大地简化了知识图预测的前置条件，减少了对语义标注的依赖。模型的性能随着历史长度和模型规模的增加而持续提升，验证了大模型在知识推理中的潜力。该研究不仅推动了无监督知识推理的发展，也为在数据稀缺或动态环境中的应用提供了新思路，未来可结合多模态信息和增强解释能力，进一步拓展其实际价值。
深度分析
研究背景
知识图谱（KG）作为表达现实世界事实的重要工具，经历了从静态结构到动态时间知识图（TKG）的演变。早期工作如RDF和OWL强调静态关系，近年来，研究者开始关注时间维度，代表性方法包括TTransE、Know-Evolve等，旨在捕获事件的时序关系。尽管如此，现有模型多依赖结构化特征和大量训练数据，难以应对动态变化和数据稀缺场景。近年来，大规模预训练模型（如GPT系列）展现出强大的模式识别和推理能力，激发了将其应用于知识推理的兴趣。本文在此背景下，探索如何利用预训练模型进行无微调的时间知识图预测，突破传统依赖结构和语义信息的限制。
核心问题
传统的时间知识图预测依赖复杂的结构模型和大量标注数据，存在泛化能力不足、对结构依赖强、训练成本高等问题。尤其在数据稀缺或动态环境中，模型难以适应新变化。如何在无需微调的情况下，充分利用预训练模型的潜力，实现高效、准确的未来事件预测，成为亟待解决的核心问题。本文试图通过上下文学习机制，让模型从历史事实中自动捕获时间和结构模式，减少对语义信息的依赖，从而简化模型设计，提升泛化能力。
核心创新
核心创新包括：1）提出基于上下文学习的无微调时间知识图预测框架，2）引入多种历史事实筛选策略（实体、关系、单向、双向），3）设计多样化提示模板（索引、词汇）以增强模型理解能力，4）实验证明模型在性能上与SOTA模型持平甚至优越，且对语义信息依赖极低。这些创新极大地降低了知识图预测的门槛，为无监督推理提供了新途径。
方法详解
- �� 将历史事实筛选为实体或关系相关子集，结合单向或双向策略，构建时间上下文。• 设计结构化提示模板（索引或词汇形式），将历史事实和预测任务编码为模型输入。• 利用预训练模型（如GPT-NeoX）生成下一实体的概率分布，排序得到预测结果。• 采用多轮预测，将模型输出作为新输入，进行多步推断。• 通过不同历史长度和模型规模的实验，验证方法的稳健性和扩展性。
实验设计
在WIKI、YAGO、ICEWS等公开数据集上，采用标准的预测指标（Hits@1、3、10）进行评估。比较基线包括结构化模型（RE-GCN、xERTE）和简单启发式（频率、最近事件）。模型参数从124M到20B，验证规模-性能关系。采用时间过滤策略确保预测的公平性。多次重复实验确保结果的稳健性，分析不同提示策略和历史长度对性能的影响。
结果分析
预训练模型在无微调条件下，Hit@1达到约70-80%，与SOTA模型差距不超过3.6%。随机索引替换语义信息后，性能变化极小（±0.4%），显示模型依赖符号模式。随着历史长度和模型规模的增加，性能持续提升，验证了规模-性能和信息利用的关系。模型还优于频率和最近启发式，表明其学习到复杂的时间和结构模式。
应用场景
该方法适用于动态知识推理、事件预测、智能问答等场景，尤其在数据稀缺、实时更新的环境中表现优越。无需大量标注和结构设计，降低部署门槛，有助于知识图谱在实际应用中的普及。未来可结合多模态信息，增强模型的推理深度和可解释性。
局限与展望
模型对极端稀疏或复杂关系的预测仍有限，特别是在缺乏明显模式或噪声较多的场景中表现不佳。大规模模型训练和推理成本高，资源消耗大，限制了广泛应用。此外，模型的推理过程缺乏可解释性，未来需加强模型的透明度和鲁棒性。
通俗解读 非专业人士也能看懂
想象你在一个工厂里，工人们每天都在做不同的任务。有时候，他们会按照一定的规律工作，比如每周都做一样的事情。有时候，他们会突然改变计划，做一些新奇的事情。这个工厂的管理者希望能提前知道工人们下一步会做什么，但没有详细的计划表。于是，他们用了一种聪明的机器（就像大模型），只看过去的任务记录（历史事实），让它自己学习工厂的规律。只要给它一些过去的任务，它就能猜出下一步可能发生的事情。最厉害的是，这个机器不用专门学习每个任务的具体内容，只依靠观察到的模式和符号，就能做出准确的预测。这就像你用观察工厂的日常操作，自己猜测明天的生产计划一样，既简单又高效。
简单解释 像给14岁少年讲一样
想象你在学校里，每天都有不同的事情发生，比如运动会、考试、聚会。你想知道明天会发生什么，但没有老师提前告诉你。你可以回想过去的事情，比如上次运动会、上次考试的时间，然后根据这些记忆猜测未来的事情。其实，你不用知道每件事情的具体内容，只要记住一些规律，比如每年运动会都在春天，考试一般在学期中，就能大致猜到明天可能会发生什么。这个猜测的方法就像用大模型一样，它通过观察过去的事件，学习到一些隐藏的规律，然后用这些规律预测未来。最酷的是，它不需要你告诉它每个细节，只要给它一些过去的记录，它就能自己推断出下一件可能发生的事情。这就像你用自己的观察和经验，变成了一个聪明的小预测家！
原文摘要
Temporal knowledge graph (TKG) forecasting benchmarks challenge models to predict future facts using knowledge of past facts. In this paper, we apply large language models (LLMs) to these benchmarks using in-context learning (ICL). We investigate whether and to what extent LLMs can be used for TKG forecasting, especially without any fine-tuning or explicit modules for capturing structural and temporal information. For our experiments, we present a framework that converts relevant historical facts into prompts and generates ranked predictions using token probabilities. Surprisingly, we observe that LLMs, out-of-the-box, perform on par with state-of-the-art TKG models carefully designed and trained for TKG forecasting. Our extensive evaluation presents performances across several models and datasets with different characteristics, compares alternative heuristics for preparing contextual information, and contrasts to prominent TKG methods and simple frequency and recency baselines. We also discover that using numerical indices instead of entity/relation names, i.e., hiding semantic information, does not significantly affect the performance ($\pm$0.4\% Hit@1). This shows that prior semantic knowledge is unnecessary; instead, LLMs can leverage the existing patterns in the context to achieve such performance. Our analysis also reveals that ICL enables LLMs to learn irregular patterns from the historical context, going beyond simple predictions based on common or recent information.