核心发现
方法论
TRELAWNEY不改变Transformer架构或训练基础设施，而是在序列中插入由<T>与</T>包围的未来片段z。训练分布采用原始数据D与增强数据Daug的混合：D'=pD+(1-p)Daug；标准交叉熵仅屏蔽<T>位置，保留</T>损失，使模型既学习未来目标，也学习通往目标的路径。
关键结果
- 在Star Graph短路径任务中，NTP在G(20,5)上的自回归准确率仅0.05；TRELAWNEY-fixed与-random均达1.00。对更长的G(2,10)，random在模型生成目标后达0.91，明显高于NTP的0.50。
- 在CLRS-Text的Tarjan强连通分量任务中，NTP在scc-15上为0.27；TRELAWNEY-random在自动生成、显式目标下分别为0.512和0.544，规则策略仅为0.34和0.47。
- Tiny Stories实验训练30万样本、1个epoch，并用GPT-4评审100篇故事、重复6次；TRELAWNEY-implicit-pos相对NTP少样本提示获得76.53%的偏好率，显示目标控制能力增强。
研究意义
论文将“模型不会提前规划”重新表述为数据因子化问题，而非必须改造架构的问题。它缓解teacher forcing带来的Clever Hans作弊、不可解释早期token和exposure bias，为标准解码器提供低成本的长程依赖学习路径。若结果能在真实语料和更大模型上复现，该方法可能降低规划型语言模型的训练门槛，并改善代码、代理决策和叙事生成。
技术贡献
核心贡献是一个纯数据中心的序列重排框架：复制未来子序列、加入自然语言位置说明ζ(k,z)，并通过混合原始与增强分布保持普通语言建模能力。训练仍使用teacher forcing和masked cross-entropy，因此兼容现有并行训练。推理时可进行标准自回归、模型自主<T>-generation或用户指定目标；后两者把未来目标显式变成可控接口。
新颖性
相较multi-token prediction、Gloeckle等人的多未来预测，以及Hu等人需要双向架构和特殊解码的方法，TRELAWNEY仅改写数据、保留decoder-only Transformer和现成解码器。其新意不在增加预测头，而在通过替代因子化改变梯度信息流，使困难的早期分叉点直接接收未来目标信号。
局限性
- 实验主要是合成星图、CLRS-Text子集和Tiny Stories；目标片段z、决策点及句子边界依赖任务设计，尚不能证明对开放域长文本普遍有效。
- 论文未完整报告规模、计算开销和超参数敏感性；规则式增强在算法推理中反而弱于随机增强，说明目标选择机制仍缺乏理论解释。
- 故事实验依赖GPT-4主观评审，且给出的结果片段不完整，事实一致性、困惑度和人工评价仍需补充。
未来方向
未来应在大规模预训练语料、代码和真实代理轨迹上比较随机、规则和语义目标；研究目标长度、插入频率p与模型规模的关系，建立关于长程依赖和错误传播的理论。还可探索ζ触发的多步代理行为、自动发现决策点，以及将生成目标用于搜索、验证和反思。
AI 总览摘要
因果语言模型通常把写作视为逐token接龙：给定前缀，预测下一个token。teacher forcing让训练稳定且高度并行，却也让模型总能看到正确答案的前缀，可能依赖表面线索，跳过真正困难的早期规划。推理时一旦早期决策错误，后续错误会级联。
卡内基梅隆大学团队提出TRELAWNEY，用数据而非新架构解决这一错位。它在原序列的决策点插入未来片段，并以<T>、</T>标记；片段可以是随机复制的未来token，也可以带有“I want the [k]th sentence from here to be...”的位置目标。训练采用D与Daug混合分布和屏蔽<T>的标准交叉熵，保留对</T>的预测，从而让模型学习生成并利用长期目标。
结果覆盖规划、算法推理和故事生成。Star Graph中，NTP在G(20,5)准确率仅0.05，而TRELAWNEY达到1.00；在更长G(2,10)上，random方案结合模型自主目标生成达到0.91。CLRS-Text的Tarjan强连通分量任务中，scc-15从NTP的0.27提升至random的0.512或指定目标时的0.544。Tiny Stories中，GPT-4对TRELAWNEY故事的偏好率为76.53%。不过实验规模和任务仍有限，未来需要在开放域语料、代码与真实代理环境中验证。
深度分析
研究背景
NTP以Pθ(y)=∏t pθ(yt|y<t)建模序列，teacher forcing用真实前缀训练，带来稳定梯度和并行效率。Bachmann与Nagarajan指出，它也可能造成局部模式依赖；multi-token prediction虽预测多个未来token，却增加训练难度，Hu等人的前后缀方法则需要架构修改。论文因此选择数据中心路径。
核心问题
关键问题是：真实写作和推理通常先确定目标，再组织中间步骤；标准训练却把每一步当作独立的下一token预测。由于正确前缀包含答案线索，模型可能“作弊”，使真正困难的早期分叉点获得不足梯度，形成indecipherable token，并在推理阶段引发exposure bias和错误累积。
核心创新
TRELAWNEY在决策点d插入未来片段z：y1…yd<T>z</T>yd+1…yT。Copying策略复制未来连续子序列；positional information用ζ(k,z)说明目标距离和内容；fixed固定目标位置，random随机选择目标，rule-based按任务规则选择。与修改网络或解码器不同，它直接重排训练数据并保留标准工程栈。
方法详解
- �� 输入：原序列y、决策点d、未来片段z及可选位置描述ζ。
- �� 重排：构造aug(y)，在<T>和</T>之间放置未来信息。
- �� 分布：D'=pD+(1-p)Daug，同时保留普通文本能力。
- �� 损失：L=-E[|y|⁻¹∑j I(yj≠<T>)logP(yj|y<j)]，只屏蔽<T>，预测</T>。
- �� 推理：可标准自回归；也可插入<T>让模型生成z，或接受用户指定z，再继续生成主序列。
- �� 任务适配：星图排除v1和vgoal；CLRS使用Tarjan状态；故事用句子级ζ目标。
实验设计
星图训练20万程序生成样本，测试每图5000例，比较NTP、fixed、random及生成/指定目标。CLRS-Text使用强连通分量子集，训练6万例，按图长测试500例，比较random与rule-based。Tiny Stories训练30万例、1个epoch，比较NTP、implicit-pos和explicit-pos；GPT-4评审每模型100篇故事，6次重复并报告95%二项置信区间。
结果分析
NTP在星图G(2,5)、G(5,5)、G(20,5)、G(2,10)分别为0.50、0.20、0.05、0.50；random自动目标为1.00、1.00、1.00、0.91。CLRS的scc-15中，NTP为0.27，random自动生成0.512、指定目标0.544。更大模型的消融显示未来token规划能力随容量提升。
应用场景
可用于需要提前确定方向的代码生成、流程规划、数学与算法推理、长篇故事和对话控制。部署不要求新硬件或特殊解码器；但需定义合理的决策点、未来目标和分词方式。用户还可直接提供目标片段，获得更强的长期生成控制。
局限与展望
当前证据来自合成任务、CLRS-Text和Tiny Stories，难以外推到开放域知识、事实性和多模态代理。增强模板与目标选择需要人工或任务先验；random优于rule-based的原因尚不清楚。模型生成目标也可能错误，未来应评估目标质量、计算成本、不同p值、目标长度及大规模预训练稳定性。
通俗解读 非专业人士也能看懂
把模型想象成一名厨师。普通训练像要求厨师只看已经切好的食材，马上猜下一刀怎么切；因为训练菜谱已经把每一步写好，厨师很容易照抄，却未必理解最后要做成什么菜。TRELAWNEY会在菜谱中间放入一张小便签：“几步之后要完成一道酸甜汤”，并用特殊标记把便签框起来。厨师先看到未来目标，再决定眼前步骤。训练时既保留原菜谱，也加入带便签的菜谱，所以不会完全失去普通做菜能力。真正做菜时，他可以自己写目标，也可以接受客人的目标。星图实验中，普通方法在最难的图上只有5%成功率，而TRELAWNEY达到100%；更长路线配合自己生成的小目标也达到91%。
简单解释 像给14岁少年讲一样
想象你在玩迷宫游戏。普通训练像让电脑只学“现在该走哪一格”，而且练习时每一步都把正确路线告诉它。它看起来很会走，真的自己玩时却可能在第一个岔路口迷路。TRELAWNEY的做法很聪明：在练习路线中间偷偷放一张未来地图，告诉电脑“几步后要到蓝色房间”，再让它学习怎样走过去。
这张未来地图用<T>和</T>包起来。电脑可以自己生成一个小目标，也可以由玩家指定目标。这样，最早、最难的选择不会再被后面的正确答案遮住。它会先想方向，再安排路径，像玩游戏时先看任务目标，而不是只盯着脚下。
实验很直观：在星图任务中，普通电脑在G(20,5)上成功率只有5%，TRELAWNEY达到100%；在更长的G(2,10)中，电脑自己生成小目标后成功率为91%。在Tarjan算法推理任务中，scc-15也从27%提升到约51%—54%。
但它不是魔法。研究者还需要决定目标放在哪里、目标写多长，而且目前只测试了小型图、算法数据和Tiny Stories。以后还要看看它能否帮助写代码、做复杂计划，以及在真实世界中避免生成错误目标。
术语表
Next-token prediction（下一token预测）
模型根据前文预测下一个词元，并以链式概率表示整段序列。它是本文比较的标准基线。
NTP与TRELAWNEY模型进行自回归准确率比较。
Teacher forcing（教师强制）
训练每一步都输入真实历史，而不是模型此前的预测。它稳定且可并行，但可能隐藏早期规划错误。
论文分析其Clever Hans cheat与exposure bias。
TRELAWNEY
一种将未来片段插入当前序列的数据增强方法。它不改变模型架构，通过未来目标改善长程依赖。
论文的核心算法和训练数据构造框架。
Clever Hans cheat（聪明汉斯作弊）
模型利用训练时已提供的正确前缀或答案线索完成预测，却没有学到真正计划。
星图任务中排除关键节点v1以避免这种捷径。
Exposure bias（暴露偏差）
训练看真实前缀、推理看自身前缀造成的分布不一致。早期错误可能因此连续放大。
TRELAWNEY试图通过未来目标强化早期决策。
CLRS-Text
把算法执行过程文本化的算法推理基准。本文使用Tarjan强连通分量子集。
用于评估多分叉、可回溯推理。
开放问题 这项研究留下的未解疑问
- 1 未来目标z的最佳长度、位置和语义粒度尚无统一原则；随机策略有时优于规则策略，但其正则化机制缺乏理论解释。
- 2 尚不清楚在开放域、大模型和真实代理轨迹中，显式目标是否会提高事实性，还是仅增加新的错误传播通道。
应用场景
近期应用
可控故事与对话
内容系统可在训练文本中插入句子级未来目标，让用户指定几步后的情节或对话方向。无需改架构即可使用现成解码器，但需要可靠的句子分割和目标模板。
代码与算法规划
代码助手可将中间数据结构、测试结果或算法状态作为未来子目标，帮助模型先确定方案再生成细节。适合有明确执行轨迹的程序和图算法任务。
远期愿景
长期代理规划
未来模型可能自主提出多步目标，并在执行中不断验证和更新目标，形成轻量级计划—行动—反馈循环。主要障碍是目标错误、验证机制和真实环境分布差异。
原文摘要
The structure of causal language model training assumes that each token can be accurately predicted from the previous context. This contrasts with humans' natural writing and reasoning process, where goals are typically known before the exact argument or phrasings. While this mismatch has been well studied in the literature, the working assumption has been that architectural changes are needed to address this mismatch. We argue that rearranging and processing the training data sequences can allow models to more accurately imitate the true data-generating process, and does not require any other changes to the architecture or training infrastructure. We demonstrate that this technique, Trelawney, and the inference algorithms derived from it allow us to improve performance on several key benchmarks that span planning, algorithmic reasoning, and story generation tasks. Finally, our method naturally enables the generation of long-term goals at no additional cost. We investigate how using the model's goal-generation capability can further improve planning and reasoning. Additionally, we believe Trelawney could potentially open doors to new capabilities beyond the current language modeling paradigm.