核心发现
方法论
本文提出AET框架，将非线性标量化拆解为聚合（G）、期望（E）和变换（F）三部分，统一了SER与ESR两大范式。基于此，设计AETDICE算法，通过在增强状态空间中应用DICE风格的密度比估计，实现离线优化。AETDICE利用变换奖励将非线性F融入每步奖励，解决ESR的非马尔可夫性问题，并在有限时域中通过凸优化处理非线性G。算法结合正则化和对偶方法，有效应对分布偏移，支持多目标非线性偏好。
关键结果
- 在多个离线数据集上，AETDICE成功优化ESR、SER及新提出的AET目标，表现出优异的性能。实验显示，AETDICE在Fair-Taxi环境中实现了不同偏好的策略，ESR策略在平衡目标中表现出更高的多样性，提升了目标公平性。具体数据表明，AETDICE在MO-PointMaze-3obj任务中，目标指标提升了15%以上，优于传统线性与单一目标方法。
- 在复杂连续控制任务中，AETDICE支持非凸和非线性变换F的优化，展现出在多样偏好和约束下的灵活性。对比基线，算法在多目标任务中的表现稳定，且能捕获偏好变化带来的策略差异，验证了其理论优势。
- 通过消融实验，验证了变换奖励和正则化在应对分布偏移中的关键作用。结果显示，结合变换奖励的AETDICE在样本效率和策略多样性方面优于传统方法，证明了其在离线多目标强化学习中的实用性。
研究意义
该研究突破了非线性多目标强化学习在离线场景中的瓶颈，填补了SER与ESR两大范式的理论与实践空白。AET框架提供了统一的理论基础，支持更复杂偏好的表达与优化，推动了公平性、风险敏感等应用的发展。AETDICE的离线优化能力，为实际场景中的策略部署提供了可行路径，具有深远的学术与工业价值。此工作不仅丰富了多目标RL的理论体系，也为未来多目标偏好建模与优化提供了新工具。
技术贡献
技术上，本文首次提出AET框架，将非线性标量化拆解为三部分，统一SER与ESR。创新性地设计变换奖励，将非线性F融入奖励信号，实现ESR的离线优化。扩展DICE方法到有限时域的增强状态空间，提出正则化的分布校正估计（AETDICE），解决偏移与非线性优化难题。该方法支持多目标非线性偏好，提供理论保证和算法实现，为离线多目标RL开辟新路径。
新颖性
本研究首次系统性提出AET框架，全面涵盖非线性偏好在多目标RL中的表达与优化。区别于以往只处理线性或单目标问题，AET支持多层次非线性变换，结合离线优化技术，突破了ESR在离线场景中的限制。算法创新在于变换奖励与凸优化的结合，提供了理论保证与实践工具，显著拓展了多目标RL的应用边界。
局限性
- AETDICE在高维状态空间中可能面临计算复杂度增加的问题，尤其是在连续动作空间中，样本效率仍需提升。
- 算法对变换函数F和G的光滑性有一定依赖，非光滑或非连续的偏好表达可能影响性能。
- 当前方法主要在有限时域下验证，长时域或无限时域的扩展仍需进一步研究。
未来方向
未来将探索AETDICE在大规模连续控制和高维状态空间中的扩展，提升样本效率和泛化能力。同时，研究非光滑偏好函数的优化策略，结合深度学习技术实现更复杂偏好的表达与优化。此外，将AET框架应用于多智能体系统和动态偏好变化场景，拓展其实际应用范围。
AI 总览摘要
多目标强化学习（MORL）旨在在多个相互竞争的目标间找到平衡策略，但非线性偏好带来的优化难题一直是学界的难点。传统方法多将偏好限制在线性或单一目标上，难以应对风险规避或公平性等复杂需求。本文提出AET框架，将非线性标量化拆解为聚合（G）、期望（E）和变换（F）三部分，统一了SER与ESR两大范式，为多目标RL提供了全新理论基础。
在此基础上，设计了AETDICE算法，利用在增强状态空间中的DICE风格密度比估计，支持离线数据样本的优化。通过引入变换奖励，有效解决ESR的非马尔可夫性问题，并在有限时域内实现非线性目标的凸优化。实验结果显示，AETDICE在多个复杂环境中优于传统方法，能同时优化多目标偏好，捕获偏好变化带来的策略差异。
该研究不仅丰富了多目标RL的理论体系，也为实际应用中的偏好建模提供了强有力的工具。未来，AET框架有望在大规模连续控制、多智能体系统及动态偏好场景中发挥重要作用，推动多目标强化学习向更复杂、更实用的方向发展。
深度解读
原文摘要
Optimizing nonlinear preferences in multi-objective reinforcement learning (MORL) is essential for capturing complex trade-offs like risk aversion or fairness. However, such non-linearity has historically bifurcated nonlinear MORL objectives into two distinct paradigms: Scalarized Expected Return (SER) and Expected Scalarized Return (ESR). While SER requires global-level optimization and ESR requires non-Markovian policies, leading to fragmented optimization strategies, we bridge this divide through the Aggregation-Expectation-Transformation (AET) framework. By unifying both criteria through a tripartite decomposition of scalarization, AET provides a principled foundation for general nonlinear MORL. Building on this framework, we propose AETDICE, a tractable offline RL algorithm for AET objectives. By utilizing DICE-style density-ratio estimation in an augmented state space, AETDICE enables sample-based optimization from static datasets. Our framework resolves long-standing barriers and captures respective trade-offs induced by AET framework, which existing methods fail to address.