核心发现
方法论
ODYSSE采用强化微调框架，核心是ESPO算法。ESPO通过引入情节级奖励机制和情节优势估计，解决个性化推理中的长时交互和跨步依赖问题。通过情节批采样器，ESPO将同一情节的动作组合成统一的训练批次，促进连贯优化。
关键结果
- ODYSSE在长时个性化GUI推理任务中表现优异，超越专业和通用LVLMs，提升了约15%的准确率。
- 在多个基准数据集上，ODYSSE的性能显著优于现有方法，特别是在处理模糊用户请求时。
- 消融实验表明，情节级奖励机制对性能提升贡献最大。
研究意义
该研究在个性化推理领域具有重要意义，解决了现有方法在处理模糊用户请求时的不足。通过引入情节级优化，ODYSSE为长时交互任务提供了新的解决方案，推动了智能代理系统的发展。
技术贡献
ODYSSE通过ESPO方法实现了情节级别的政策优化，区别于传统的逐步优化方法。该方法提供了新的理论保证和工程可能性，特别是在长时交互和个性化推理中。
新颖性
ODYSSE首次将情节级奖励机制应用于个性化推理，区别于现有的逐步优化方法。其创新在于通过情节优势估计实现跨步依赖的优化。
局限性
- 在处理极端模糊请求时，ODYSSE的性能可能下降，因为情节级奖励机制依赖于明确的用户反馈。
- 计算成本较高，尤其是在大规模数据集上的训练。
未来方向
未来研究可探索在更复杂环境中应用ODYSSE，并优化其计算效率。此外，结合其他强化学习技术可能进一步提升性能。
AI 总览摘要
ODYSSE是一种针对个性化推理的强化微调框架，旨在解决现有方法在处理模糊用户请求时的不足。通过引入情节级奖励机制和情节优势估计，ODYSSE实现了长时交互任务的优化，特别是在个性化GUI推理任务中表现出色。
ODYSSE的核心创新在于ESPO算法，它通过情节级别的优化解决了跨步依赖问题。实验结果显示，ODYSSE在多个基准数据集上性能优于现有方法，特别是在处理模糊用户请求时表现突出。
该研究为个性化推理领域提供了新的解决方案，推动了智能代理系统的发展。然而，ODYSSE在处理极端模糊请求时的性能仍有待提升，未来研究可探索在更复杂环境中的应用。
深度分析
研究背景
近年来，基于大规模视觉语言模型的智能代理系统在多模态理解和复杂推理方面表现出色。然而，现有方法在处理模糊用户请求时存在不足，尤其是在个性化推理任务中。
核心问题
个性化推理需要智能代理在模糊用户请求下推断用户偏好，这对现有方法提出了挑战。现有方法通常依赖于明确的指令，难以处理开放式解决方案空间。
核心创新
ODYSSE通过ESPO算法实现了情节级别的政策优化，解决了长时交互和跨步依赖问题。其创新在于引入情节级奖励机制和情节优势估计，促进个性化推理的优化。
方法详解
- �� 采用强化微调框架，结合ESPO算法。
- �� 引入情节级奖励机制，优化长时交互任务。
- �� 通过情节批采样器实现统一的训练批次。
- �� 进行情节优势估计，促进跨步依赖的优化。
实验设计
实验在多个基准数据集上进行，包括长时个性化GUI推理任务。使用的指标包括准确率和用户满意度，基线方法为现有的专业和通用LVLMs。
结果分析
ODYSSE在长时个性化GUI推理任务中表现优异，准确率提升约15%。消融实验表明，情节级奖励机制对性能提升贡献最大。
应用场景
ODYSSE可应用于个性化数字助理、智能家居系统等场景，特别适用于需要长时交互和个性化决策的任务。
局限与展望
ODYSSE在处理极端模糊请求时的性能可能下降，计算成本较高。未来研究可探索在更复杂环境中的应用，并优化其计算效率。
通俗解读 非专业人士也能看懂
想象你在一个餐厅，服务员需要根据你的模糊描述推荐菜品。ODYSSE就像一个聪明的服务员，它通过观察你的反应和反馈，逐步缩小选择范围，最终推荐出最符合你口味的菜品。这个过程类似于ODYSSE在处理模糊用户请求时，通过情节级奖励机制和情节优势估计，逐步优化个性化推理的过程。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，需要根据模糊的线索找到隐藏的宝藏。ODYSSE就像你的游戏助手，它会根据你的每一步行动，给出反馈和建议，帮助你逐步接近目标。这个过程就像ODYSSE在处理模糊用户请求时，通过情节级奖励机制和情节优势估计，逐步优化个性化推理的过程。
术语表
ODYSSE (个性化推理优化框架)
一种用于个性化推理的强化微调框架，旨在优化长时交互任务。
ODYSSE通过ESPO算法实现情节级别的政策优化。
ESPO (情节级政策优化)
一种扩展的政策优化方法，结合情节级奖励机制和情节优势估计。
ESPO是ODYSSE的核心算法，用于优化个性化推理。
GUI (图形用户界面)
用户与计算机系统交互的界面，通过图形元素进行操作。
ODYSSE在个性化GUI推理任务中进行实验。
强化学习 (Reinforcement Learning)
一种机器学习方法，通过奖励和惩罚机制优化决策过程。
ODYSSE采用强化学习框架进行个性化推理优化。
情节级奖励机制
一种奖励机制，通过评估整个情节的表现来指导优化。
ODYSSE通过情节级奖励机制优化个性化推理。
开放问题 这项研究留下的未解疑问
- 1 如何在极端模糊请求下提升ODYSSE的性能？现有方法依赖明确的用户反馈。
- 2 如何降低ODYSSE的计算成本？尤其是在大规模数据集上的训练。
应用场景
近期应用
个性化数字助理
ODYSSE可用于开发更智能的数字助理，帮助用户在模糊请求下做出决策。
远期愿景
智能家居系统
ODYSSE可用于智能家居系统，通过个性化推理优化用户体验。
原文摘要
Agentic systems have rapidly advanced in their ability to interact with real-world environments, leverage external tools, and provide services for users. However, unlike natural-world tasks that assume well-defined instructions, human-centered scenarios are characterized by ambiguous requests that lead to large, open-ended solution spaces. Decoding users' personalized preferences is therefore essential for narrowing the candidate solution space. This introduces a new challenge, personalized agentic reasoning, which requires agents to jointly interact with both users and environments to deliver personalized services. In this paper, we present ODYSSE, a Reinforced Fine-Tuning (RFT) framework for personalized agentic reasoning. At its core, ODYSSE proposes Episode-wise GRPO (ESPO), a novel extension of Group Relative Policy Optimization (GRPO) designed to address long action horizons and strong cross-step dependencies in personalized agentic reasoning. Rather than optimizing individual steps independently, ESPO introduces an episode-level reward mechanism together with episodic advantage estimation, enabling upstream evidence to effectively guide downstream personalized decisions and allowing agents to progressively resolve ambiguous user requests across multiple interaction steps. We further propose an episodic batch sampler that groups actions from the same episode into unified training batches, facilitating coherent optimization under ESPO. We evaluate ODYSSE on realistic long-horizon personalized GUI reasoning tasks. Experimental results demonstrate that ODYSSE consistently outperforms both specialist and general-purpose LVLMs, highlighting its effectiveness for personalized agentic reasoning.