核心发现
方法论
本文提出StateFactory，将未结构化观察转化为层次化对象-属性结构，利用语言模型进行语义分解。通过层级匹配实现奖励估计，避免训练偏差。评估在RewardPrediction基准上，涵盖五个领域，包含2454条轨迹。模型在零-shot条件下对比VLWM-critic和LLM-as-a-Judge，EPIC距离分别降低60%和8%。此结构增强了奖励的泛化能力，显著提升了代理的规划成功率。核心机制包括状态提取、目标解读和层级路由，确保语义一致性。
关键结果
- StateFactory在RewardPrediction基准中的零-shot EPIC距离平均降低至0.297，优于所有对比方法。对AlfWorld和ScienceWorld的成功率提升分别达21.64%和12.40%，优于反应式系统1。模型在五个环境中展现出强泛化能力，尤其在未见任务中表现优异。ablation分析显示，层次化对象-属性结构和动态目标解读是性能提升的关键因素。
研究意义
本研究突破了奖励模型对训练数据的依赖，提出基于语义层次结构的奖励预测方法，有效提升跨域泛化能力。对强化学习和规划系统具有重要意义，可应用于机器人、虚拟助手等多场景。解决了现有模型在新环境中表现不佳的问题，为零-shot智能系统的发展提供新路径。
技术贡献
引入StateFactory层次化对象-属性结构，结合语言模型实现无监督语义分解。提出基于语义相似度的奖励估计机制，避免偏差和过拟合。设计RewardPrediction基准，系统评估奖励质量，推动奖励模型的零-shot泛化研究。模型结构和评估指标创新性结合，为未来通用智能系统奠定基础。
新颖性
首次将层次化对象-属性结构引入奖励预测，结合动态目标解读实现跨域泛化。区别于传统监督模型和隐式推理方法，本方法强调语义层次匹配，提升零-shot性能。提出专用基准，系统评估奖励质量，填补该领域缺口。
局限性
- 当前方法依赖预训练语言模型，可能在极端复杂场景中表现不足。模型对动态环境变化的适应性仍有限，未来需增强目标解读的鲁棒性。计算成本较高，尤其在大规模场景中，实时性待提升。
未来方向
未来将结合强化学习优化奖励预测的连续性，探索多模态信息融合，增强模型对环境变化的适应能力。同时，扩展基准到更多复杂任务，推动奖励模型的通用化和高效性。
AI 总览摘要
在强化学习和规划任务中，奖励信号的准确预测至关重要。然而，现有模型多依赖训练数据，容易引入偏差，限制泛化能力。本文提出StateFactory，通过层次化对象-属性结构，将未结构化观察转化为语义丰富的层次表示。利用大规模语言模型进行动态目标解读和语义匹配，实现跨域零-shot奖励预测。基于RewardPrediction基准，涵盖五个不同领域，模型在未见任务中显著优于传统监督和隐式推理方法，EPIC距离降低60%以上。实验还显示，奖励质量的提升直接带动代理规划成功率的提升，AlfWorld和ScienceWorld的成功率分别提升21.64%和12.40%。该方法突破了奖励模型对训练数据的依赖，为通用智能系统提供了新思路。未来，将结合强化学习优化连续奖励预测，并扩展到更复杂场景，推动零-shot智能的广泛应用。
深度分析
研究背景
近年来，强化学习和规划系统的发展极大推动了智能体自主决策能力。早期方法多依赖于手工设计奖励函数，难以应对复杂环境。深度学习引入后，训练奖励模型成为主流，但其泛化能力受限，尤其在新环境中表现不佳。代表性工作如VLWM、LLM评判等，虽在特定任务表现优异，但缺乏跨域能力。语义表示和层次化结构逐渐成为研究热点，旨在提升奖励的泛化和鲁棒性。本文在此基础上，提出层次化对象-属性结构，结合语言模型实现无监督奖励预测，填补了现有方法在跨域泛化上的空白。
核心问题
核心问题在于如何构建既能反映任务进展，又具有良好泛化能力的奖励预测模型。传统监督模型容易过拟合训练数据，难以应对新任务。隐式推理方法虽具一定鲁棒性，但缺乏明确的语义层次，难以实现精细化奖励估计。此外，缺乏统一的评估基准，难以系统比较不同方法的奖励质量。这些问题限制了智能体在复杂、多样环境中的表现，亟需一种既能保持语义一致性，又具备跨域适应性的奖励预测机制。
核心创新
本研究的创新点包括：1）提出StateFactory，将观察转化为层次化对象-属性结构，增强语义表达能力；2）引入动态目标解读机制，使目标状态随环境变化实时调整；3）设计基于语义相似度的奖励估计方法，避免偏差和过拟合；4）构建RewardPrediction基准，系统评估奖励质量和泛化能力。这些创新共同推动奖励模型从训练依赖走向零-shot泛化，解决现有方法在新环境中的局限。
方法详解
- �� 状态提取：利用预训练语言模型，将观察分解为对象和属性，形成结构化状态；• 目标解读：动态更新目标状态，结合环境信息实现实时调整；• 层级路由：通过对象匹配和属性一致性，计算目标与状态的语义相似度；• 奖励估计：以语义相似度作为奖励信号，确保跨域一致性；• 训练与评估：在RewardPrediction基准上，采用EPIC距离衡量模型性能，进行 ablation 和泛化测试。
实验设计
采用五个多样化环境（AlfWorld、ScienceWorld、TextWorld、WebShop、BlocksWorld），每个环境包含不同任务和轨迹。模型在2454条轨迹上进行评估，比较基线包括监督模型、隐式推理模型和本方法。指标为EPIC距离，越低越好。通过ablation验证层次化结构和目标解读的贡献。结果显示，StateFactory在未见任务中的EPIC距离显著优于对比方法，成功率提升明显，验证其跨域泛化能力。
结果分析
模型在RewardPrediction基准中的平均EPIC距离为0.297，优于所有对比方法。在AlfWorld和ScienceWorld的成功率分别提升21.64%和12.40%。ablation分析确认，层次化对象-属性结构和动态目标解读是性能提升的关键。模型在未见任务中的泛化能力优异，接近全监督模型的表现，验证了其跨域适应性。奖励质量的提升直接转化为代理规划成功率的增长，显示出实际应用潜力。
应用场景
该方法可应用于机器人自主导航、虚拟助手任务、复杂环境中的自动规划等场景。只需提供任务描述和观察，模型即可实现高质量奖励预测，提升智能体决策效率。未来，结合强化学习优化奖励连续性，将推动其在更大规模和更复杂任务中的应用。
局限与展望
目前模型依赖预训练语言模型，可能在极端复杂或动态环境中表现不足。对环境变化的适应性仍有限，实时性和计算成本较高。未来需增强模型鲁棒性和效率，扩大应用范围。
通俗解读 非专业人士也能看懂
想象你在一个工厂里工作，工厂每天都在生产不同的产品。工厂的管理者希望你能判断每个生产环节是否顺利完成。以前，他们用一套固定的规则来判断，比如看是否有缺料或机器是否停工。但这些规则很难应对突然的变化，比如新产品或突发故障。现在，工厂引入了一个智能助手，它会观察每个环节的细节，比如机器的状态、工人的动作，然后用一种“理解”工厂的方式，判断生产是否接近完成。这个助手会把复杂的观察拆解成“对象”和“属性”，比如“机器A：工作正常”、“工人：正在装配”。它还会根据目标，比如“完成产品X”，动态调整判断标准。这样，无论工厂发生什么变化，这个助手都能准确判断生产进度，帮助管理者做出决策。这就像本文提出的StateFactory，把观察变成层次化的语义结构，用语义相似度判断任务是否完成。
简单解释 像给14岁少年讲一样
想象你在学校的厨房里帮忙做饭。平时，你只知道要做一道菜，但每次的材料和步骤都不同。有时候你用规则，比如“加盐”、“炒熟”，但如果菜谱变化太大，这些规则就不管用了。现在，你的老师告诉你一个新办法：你先观察所有的食材和工具，把它们分类，比如“蔬菜”、“调料”、“锅”、“刀”。然后，你根据目标菜肴，比如“炒青菜”，动态调整你的判断：你看看“青菜”是否变得嫩了，锅里的水是否蒸发了。这就像用一种“理解”厨房的方式，判断你是不是快做好了。这种方法比单纯记规则更聪明，因为它能适应不同的菜谱和变化。本文的StateFactory就像这个聪明的厨师，把所有观察拆成对象和属性，用语义相似度判断任务是否完成，帮助机器人或AI更好地理解环境和目标。
术语表
RewardPrediction (奖励预测)
预测智能体在特定状态和目标下的奖励值，帮助规划与决策。技术上通过语义相似度实现。
论文中提出的奖励预测机制。
EPIC distance (EPIC距离)
衡量预测奖励与真实奖励差异的指标，越小代表预测越准确。基于Pearson相关系数。
用于评估奖励模型的性能。
层次化对象-属性结构
将观察拆解为对象和其动态属性的层次结构，增强语义表达能力。
StateFactory的核心技术。
动态目标解读
实时根据环境变化调整目标状态，确保奖励估计的准确性。
实现跨域泛化的关键机制。
语义相似度
衡量两个语义表示的相似程度，用于奖励估计。
模型中用于奖励计算的核心指标。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升模型在极端复杂环境中的鲁棒性，尤其是在多模态信息融合方面仍未充分探索。
- 2 模型在高动态变化环境中的实时性和计算效率仍需优化，未来需结合硬件加速和模型剪枝技术。
应用场景
近期应用
机器人自主导航
利用StateFactory实现高精度奖励预测，提升机器人在未知环境中的路径规划和任务完成效率。
远期愿景
通用智能系统
推动跨域、零-shot奖励预测技术在虚拟助手、自动驾驶等领域的应用，逐步实现真正的通用智能。
原文摘要
Agents must infer action outcomes and select actions that maximize a reward signal indicating how close the goal is to being reached. Supervised learning of reward models could introduce biases inherent to training data, limiting generalization to novel goals and environments. In this paper, we investigate whether well-defined world state representations alone can enable accurate reward prediction across domains. To address this, we introduce StateFactory, a factorized representation method that transforms unstructured observations into a hierarchical object-attribute structure using language models. This structured representation allows rewards to be estimated naturally as the semantic similarity between the current state and the goal state under hierarchical constraint. Overall, the compact representation structure induced by StateFactory enables strong reward generalization capabilities. We evaluate on RewardPrediction, a new benchmark dataset spanning five diverse domains and comprising 2,454 unique action-observation trajectories with step-wise ground-truth rewards. Our method shows promising zero-shot results against both VLWM-critic and LLM-as-a-Judge reward models, achieving 60% and 8% lower EPIC distance, respectively. Furthermore, this superior reward quality successfully translates into improved agent planning performance, yielding success rate gains of +21.64% on AlfWorld and +12.40% on ScienceWorld over reactive system-1 policies and enhancing system-2 agent planning. Project Page: https://statefactory.github.io