核心发现
方法论
本文采用三阶段训练策略：首先通过监督微调（SFT）实现模型广泛参与对话游戏；其次利用局部偏好对（turn-local preference pairs）对模型在特定游戏家族（如Wordle）中的局部决策失败进行机械可验证的修复；最后通过权重空间缩放（delta scaling）在保持模型通用能力的同时，优化交互性能。具体算法包括基于LoRA的微调、DPO（Direct Preference Optimization）进行偏好学习，以及基于模型输出的故障诊断机制。模型在Wordle家族内的局部故障（如重复猜测、格式错误）被精确识别并修正，提升了在目标任务中的表现。
关键结果
- 在官方最终评测中，模型的公共clemscore从10.67提升至38.92，闭域内得分从13.41提升至41.17，静态性能几乎保持不变（44.14对比44.24），表明交互性能提升显著而模型整体能力未受损。
- 在未见的Wordle变体中，OOD clemscore由3.72提升至7.88，说明局部修复在相关变体中的迁移效果明显，特别是在目标家族外的变异中表现优异。
- 通过偏好对的局部修复策略，模型在局部决策错误（如长度、格式、重复）上的修正效果优于全对话偏好调优，验证了局部偏好学习的有效性。
研究意义
该研究揭示了在有限参数模型中，广泛参与的监督微调（SFT）是性能提升的主要驱动力，而局部偏好修复在特定故障场景中具有极高的效率。此方法为小模型在交互式任务中的应用提供了实证路径，突破了传统静态评测的局限，强调了故障诊断与修复在模型持续优化中的关键作用。未来可推广至多任务、多场景的对话系统，推动模型在实际应用中的鲁棒性和可靠性提升。
技术贡献
本文提出了结合偏好对（Preference Pairs）和模型诊断的后训练框架，创新性地实现了局部故障的机械可验证修复。利用LoRA进行参数高效微调，结合DPO优化偏好，显著提升模型在特定对话任务中的表现，同时通过权重缩放实现模型能力的平衡与保持。这一策略区别于传统的全模型微调或强化学习方法，提供了低成本、高效、可控的模型优化路径，特别适合资源有限的小模型应用场景。
新颖性
本研究首次系统性结合故障诊断、局部偏好学习与权重调节，提出“Acquire-Repair-Preserve”三步策略，专注于机械可验证的局部决策修复。相较于现有的全局微调或强化学习方法，强调在有限参数模型中实现高效修复与能力保持，突破了偏好调优在复杂对话任务中的应用瓶颈，具有显著的创新性。
局限性
- 修复策略依赖于明确的机械可验证故障场景（如Wordle中的猜测重复、格式错误），对语义或策略性错误的修复能力有限，难以推广到需要深层语义理解的任务。
- 局部偏好对的效果在目标家族（Wordle）内表现优异，但在更广泛的任务或未知场景中的迁移能力有限，尤其是超出相关变体的泛化能力不足。
- 模型能力的保持通过权重缩放实现，可能在极端调整下影响模型的整体性能，缺乏理论保证，未来需结合多目标优化策略进一步完善。
未来方向
未来可探索结合语义理解与策略推理的故障诊断机制，扩展偏好对的适用范围；同时，结合多任务学习与元学习技术，增强模型在未知场景中的泛化能力。还应研究更丰富的故障类型检测与修复策略，提升模型在复杂交互中的鲁棒性。此外，推动模型能力的动态平衡与多目标优化，将为实际应用提供更强的技术支撑。
AI 总览摘要
本研究针对小型对话模型在交互游戏中的表现瓶颈，提出了一套基于诊断的后训练策略。通过 acquire、repair、preserve 三个阶段，模型在特定任务中的表现得到了显著提升。首先，广泛的监督微调（SFT）使模型参与多样化对话，建立了基础能力。随后，利用机械可验证的偏好对（turn-local preference pairs）对模型在Wordle等游戏中的局部决策错误进行精准修复，特别是重复猜测、格式错误等问题。这一修复过程基于DPO算法，强调在每个决策点进行局部优化，避免破坏模型的通用能力。最后，通过权重空间缩放（delta scaling）在保持静态性能的同时，平衡交互能力的提升，确保模型在多任务环境中的鲁棒性。实验证明，该策略使模型的公共clemscore从10.67提升至38.92，闭域得分从13.41提升至41.17，静态性能几乎不变，展现出优异的交互性能改善效果。特别是在未见变体中，模型表现出良好的迁移能力，验证了局部修复的有效性。该方法的核心创新在于结合故障诊断、偏好学习和模型能力调节，为小模型在实际应用中的交互表现提供了新路径。未来，扩展故障检测范围、提升迁移能力，将推动小模型在多场景、多任务中的广泛应用。
深度分析
研究背景
近年来，随着预训练语言模型（如GPT、BERT）在自然语言处理中的突破，模型在多任务、多场景中的表现不断提升。然而，面对交互式对话游戏，模型需要持续维护状态、 interpret反馈、选择符合约束的行动，传统静态评测难以反映其动态交互能力。现有研究多关注模型的知识覆盖和生成质量，缺乏对局部决策错误的系统诊断与修复方法。Playpen和clembench等平台推动了对话游戏的评估框架，强调模型在动态环境中的表现，但仍存在模型在特定任务中反复犯错、格式或策略性失误的问题。特别是在小模型（如2B参数）中，这些问题更为突出，影响实际应用。此前的工作多采用全局微调或强化学习优化，成本高且难以控制模型的能力保持。故此，如何在保证模型通用能力的基础上，针对局部故障进行高效修复，成为当前研究的热点。
核心问题
核心问题在于小模型在对话游戏中的局部决策失败频繁，表现为重复猜测、格式错误、反馈违反等机械可验证的错误。这些错误虽不影响模型的知识面，但严重阻碍其在特定任务中的表现。传统微调难以针对这些局部错误进行有效修复，且全局优化可能破坏模型的通用能力。如何在有限参数下实现高效、精准的局部修复，提升模型的交互质量，成为亟待解决的难题。此外，模型的迁移能力有限，难以在未见变体中保持性能，限制了实际应用的推广。
核心创新
本研究的创新点包括：1）提出基于故障诊断的偏好对（Preference Pairs）构建机制，实现机械可验证的局部修复；2）结合LoRA微调技术，提升参数效率和训练速度；3）利用DPO算法在模型输出层面进行偏好优化，确保修复目标的局部性和有效性；4）引入权重空间缩放（delta scaling）策略，在保持静态性能的同时，平衡交互能力，避免过度调整带来的负面影响。这一体系突破了传统全局微调的局限，为小模型的交互优化提供了低成本、可控的解决方案。
方法详解
- �� 通过监督微调（SFT）在多样化对话数据中训练模型，使其参与广泛的对话场景。• 利用诊断机制识别模型在Wordle等游戏中的局部决策错误，如重复猜测、格式不符。• 构建偏好对（preference pairs），在模型产生错误后，选取成功对话中的对应决策作为偏好目标。• 采用DPO算法（Rafailov et al., 2023）在局部决策点进行偏好优化，调整模型输出概率分布，修正错误行为。• 在修复后，通过权重缩放（delta scaling）在模型参数空间中选择最优平衡点，确保模型在交互性能与静态能力间取得折中。• 最终，将修正的模型参数进行融合，获得既具修复能力又保持能力的模型。
实验设计
- �� 使用Playpen平台中的14个对话游戏，包含Wordle、Codenames等，评估模型的交互能力。• 训练数据来自playpen-data的成功与失败对话，采用不同阶段的微调策略。• 采用clemscore和statscore作为主要指标，评估模型的交互表现和静态能力。• 设计偏好对构建机制，针对Wordle中的局部故障生成偏好对，进行两轮偏好优化。• 通过不同的训练阶段（广泛SFT、局部修复、能力保持）逐步提升模型性能。• 实验中还包括偏好对的消融分析，验证局部偏好学习的效果，及不同参数缩放比例的影响。
结果分析
- �� 经过多阶段训练，模型的公共clemscore从10.67提升至38.92，闭域得分从13.41提升至41.17，静态性能几乎不变（44.14对比44.24）。• 在未见变体中，OOD clemscore由3.72提升至7.88，显示局部修复具有良好的迁移能力。• 局部偏好对显著改善了模型在Wordle中的局部决策错误，特别是重复猜测和格式问题，验证了偏好学习的有效性。• delta scaling策略成功在保持静态性能的基础上，显著提升交互表现，验证了模型能力调节的可行性。
应用场景
- �� 该方法适用于需要高效交互的智能助手、游戏AI等场景，尤其在资源有限的小模型中表现优异。• 未来可扩展至多任务、多场景的对话系统，通过局部修复提升模型的鲁棒性和用户体验。• 还可结合自动故障诊断与偏好学习，构建自我修复的智能系统，适应复杂动态环境。
局限与展望
- �� 依赖机械可验证的故障场景，难以应对语义或策略性错误，限制了应用范围。• 迁移能力主要局限于相关变体，超出相关家族的泛化仍不足。• 权重缩放策略虽有效，但缺乏理论保证，可能在极端调整下影响模型整体性能。未来需结合多目标优化与更丰富的故障检测机制。
通俗解读 非专业人士也能看懂
想象你在一家工厂工作，工厂里有很多机器，每个机器都负责生产不同的产品。有时候，某台机器会出错，比如重复生产、装错零件或者操作不符合规定。这些错误虽然不影响整个工厂的基本运作，但会降低效率甚至导致产品不合格。工厂的工程师会用专门的工具检测出这些错误，然后告诉机器怎么改正。经过多次调整后，机器变得更聪明，能自己避免这些错误。这个过程就像我们让模型学习对话游戏一样：先让它广泛参与（类似工厂的培训），再针对具体问题（如Wordle中的重复猜测）进行修正（偏好对），最后用调节参数的方法让它在保持整体能力的同时，专注于改正错误。这种方法让模型变得更聪明、更可靠，就像工厂里的机器一样。
简单解释 像给14岁少年讲一样
想象你在学校里参加一个游戏比赛，比赛规则很复杂，你要不断猜答案、听老师的反馈，然后做出正确的动作。有时候，你会反复猜错，比如猜了两次一样的答案，或者没有按照老师的提示行动。这些错误让你得分变低，但其实你已经知道了很多规则，只是偶尔会犯一些小错误。科学家们发现，要让模型变得更聪明，不是让它学会所有的知识，而是告诉它在哪些地方容易出错，然后帮它改正。就像你在游戏中遇到问题时，老师会告诉你哪里错了，然后你自己调整策略。通过不断检测错误、修正偏好，再用一些调节技巧，模型可以在特定任务中表现得更好。这样，模型就像一个聪明的学生，既懂得规则，又知道怎么避免犯错，变得更厉害了！
原文摘要
Interactive dialogue games test a capability that static benchmarks largely leave implicit: a model must carry state across turns, interpret feedback, and choose valid actions under changing constraints. We study this setting in the LM Playschool Challenge with a 2B open-weight model, and find that many failures are not only broad knowledge failures but also local decision failures: repeated guesses, malformed actions, and violations of feedback that the model has just seen. These diagnostics motivate a training recipe organized around three steps: acquire broad game participation through supervised fine-tuning, repair mechanically verifiable failures within one targeted dialogue-game family using turn-local preference pairs, and preserve general capabilities beyond these dialogue games. In the official final evaluation, our submission improves public clemscore from 10.67 to 38.92 and closed in-domain score from 13.41 to 41.17, while approximately preserving aggregate static performance (44.14 vs. 44.24 for the baseline). Out-of-domain clemscore remains low at 7.88, with the largest gains concentrated in unseen variants of the targeted family. Our results suggest that broad SFT brings most of the model's capability improvement; turn-local supervision can be effective when failure detection is precise, with observed transfer concentrated primarily within-family.