Thinking by Doing: Building Efficient World Model Reasoning in LLMs via Multi-turn Interaction

近年来，大型语言模型（如GPT系列）在推理、规划和环境理解方面取得显著进展。早期工作如Chain-of-Thought、Structured Reasoning强调预定义认知路径，但限制了模型的自主性和泛化能力。强化学习（RL）被引入以增强模型的环境适应性，代表性方法包括Agentic CPT、RLVMR等，强调结构化推理和任务规划。然而，这些方法依赖固定路径，难以适应复杂多变的环境。多轮交互技术逐渐兴起，允许模型通过环境反馈主动调整策略，但仍面临探索效率低、内化能力不足等问题。本文试图突破这些限制，提出无需预定义路径的主动推理策略，结合奖励机制和频率退火，推动模型自主学习环境动态。

现有方法在复杂环境中表现有限，主要问题包括：一是内部模拟的认知负担过重，导致效率低下；二是模型过度依赖外部反馈，缺乏内在环境动态的学习能力；三是探索策略冗余，造成资源浪费。这些问题限制了模型在长远推理和复杂任务中的应用潜力。尤其是在多轮交互中，如何平衡探索与利用、内化环境知识成为核心难题。解决这些瓶颈对于实现自主智能体具有重要意义。

本研究提出两大创新：一是奖励重标机制，通过按行动有效性调整奖励，激励模型减少无效操作，增强目标导向；二是交互频率退火策略，动态调节最大交互轮次，促使模型逐步内化环境知识，避免过度依赖外部反馈。这一组合机制突破了传统被动学习的局限，实现模型在无需预定义路径的情况下自主学习环境动态。采用PPO算法确保训练稳定性，验证在多环境中优越表现，显著提升推理效率和泛化能力。

• �� 训练框架：基于PPO算法，结合奖励重标和频率退火机制。
• �� 奖励重标：根据行动的有效性（状态变化）调整奖励，公式为R_scaled = R_outcome × (Neff/N)，激励减少无效操作。
• �� 频率退火：每τ轮训练，动态调整最大交互轮次L_max = (L̄ + L'_max)/2，逐步减少交互轮次，促使模型内化环境动态。
• �� 多轮交互：模型在每轮生成思考步骤T_t和行动集A_t，结合环境观察o_t，逐步优化策略。
• �� 训练目标：最大化期望奖励J(θ)，通过策略梯度方法实现。
• �� 机制协同：奖励重标引导有效探索，退火策略平衡探索与内化，整体提升推理效率。

在Sokoban、Maze和Taxi环境中验证，采用不同难度参数，训练模型在单轮内解决复杂任务。训练过程中比较PPO-EntirePlan、多轮交互和WMAct，指标包括成功率和泛化能力。评估在标准和挑战任务中表现，观察单轮推理逐步逼近多轮训练效果。超大规模模型（如Qwen3-8B）在多项推理基准测试中表现优异，验证方法的有效性。还进行了ablation研究，确认奖励重标和退火策略的贡献。

WMAct在Sokoban中达78.57%的成功率，远超PPO-EntirePlan的49.12%；在Hard-1和Hard-2任务中表现优异，分别达52.68%和49.90%。Maze和Taxi也取得88.14%和62.16%的高性能，验证了模型的迁移能力。训练曲线显示单轮推理准确率逐步逼近多轮训练效果，证明知识内化的有效性。多环境测试表明，该方法在复杂任务中具有优越的泛化能力，显著优于传统方法。

可应用于自动规划、机器人导航、智能问答等领域，尤其适合需要长远推理和环境理解的任务。模型在无需大量外部反馈的情况下，能自主内化环境知识，减少交互成本，提升效率。未来结合多模态信息，有望实现更复杂的自主智能系统，推动智能制造和自动化发展。

目前方法在极端高维状态空间和超复杂环境中仍存在探索效率不足的问题，模型可能陷入局部最优。训练成本较高，尤其在多轮交互和奖励调整中，限制了大规模应用。模型对环境反馈依赖较强，未来需增强内在推理能力，减少对外部信息的依赖。