核心发现
方法论
TGPO方法将信号时序逻辑（STL）任务分解为定时子目标和不变约束，采用分层框架解决问题。高层组件为子目标分配具体时间，低层时间条件策略通过密集的阶段性奖励信号学习实现序列子目标。在推理过程中，采样各种时间分配并选择最有前途的分配进行策略网络的解算轨迹。通过Metropolis-Hastings采样，利用学习到的评论员指导高层时间搜索，专注于时间上可行的解决方案。
关键结果
- TGPO在五个环境中进行实验，涉及从低维导航到操控、无人机和四足动物运动的任务。在广泛的STL任务下，TGPO显著优于最先进的基线，尤其是在高维和长时间跨度的情况下，任务成功率平均提高了31.6%。
- 在“Quadrotor”和“Ant”环境中，TGPO*分别达到了86.46%和61.57%的成功率，而大多数基线方法的成功率不到10%。
- 在低维系统中，TGPO在处理复杂STL任务时表现出色，成功率显著高于其他基线方法。
研究意义
TGPO方法在信号时序逻辑任务中展示了显著的性能提升，尤其是在高维和长时间跨度的任务中。这一方法不仅在学术界具有重要意义，推动了复杂任务的自动化解决方案，同时在工业界也具有潜在的应用价值，特别是在机器人和自动化系统中。TGPO通过解决STL任务中的稀疏奖励问题，为复杂任务的规划和执行提供了新的思路。
技术贡献
TGPO的技术贡献在于其提出了一种新的分层强化学习框架，能够有效地处理一般的STL任务。通过将STL任务分解为子目标和不变约束，并利用Metropolis-Hastings采样指导时间分配，TGPO克服了传统RL方法在处理STL任务时的稀疏奖励问题。这一框架提供了新的理论保证和工程可能性，推动了复杂任务的自动化解决。
新颖性
TGPO是首个能够解决一般嵌套STL任务的分层无模型RL算法。与现有方法相比，TGPO通过评论员引导的贝叶斯采样机制和STL分解，构建了一个具有密集阶段性奖励的增强MDP，克服了现有RL方法面临的稀疏奖励挑战。
局限性
- TGPO在处理非常高维度的系统时可能会遇到计算复杂性问题，尤其是在时间分配的采样过程中。
- 在某些特定的STL任务中，TGPO可能需要较长的训练时间才能达到收敛。
未来方向
未来的研究方向包括优化TGPO的计算效率，特别是在高维系统中的应用。此外，探索TGPO在更多实际应用场景中的表现，以及与其他先进技术的结合，也是值得关注的方向。
AI 总览摘要
在机器人和自动化系统中，复杂、长时间跨度任务的控制策略学习一直是一个核心挑战。信号时序逻辑（STL）提供了一种强大而富有表现力的语言来指定此类任务，但其非马尔可夫性质和固有的稀疏奖励使得通过标准强化学习（RL）算法解决这些问题变得困难。现有的RL方法仅关注有限的STL片段或使用STL鲁棒性分数作为稀疏终端奖励。
本文提出了TGPO（Temporal Grounded Policy Optimization），一种解决一般STL任务的分层框架。TGPO将STL分解为定时子目标和不变约束，并提供一个分层框架来解决问题。高层组件为这些子目标提出具体的时间分配，低层时间条件策略通过密集的阶段性奖励信号学习实现序列子目标。在推理过程中，我们采样各种时间分配并选择最有前途的分配进行策略网络的解算轨迹。
我们在五个环境中进行了实验，涉及从低维导航到操控、无人机和四足动物运动的任务。在广泛的STL任务下，TGPO显著优于最先进的基线（尤其是在高维和长时间跨度的情况下），与最佳基线相比，任务成功率平均提高了31.6%。这一方法在学术界和工业界具有重要意义，推动了复杂任务的自动化解决方案。
深度解读
原文摘要
Learning control policies for complex, long-horizon tasks is a central challenge in robotics and autonomous systems. Signal Temporal Logic (STL) offers a powerful and expressive language for specifying such tasks, but its non-Markovian nature and inherent sparse reward make it difficult to be solved via standard Reinforcement Learning (RL) algorithms. Prior RL approaches focus only on limited STL fragments or use STL robustness scores as sparse terminal rewards. In this paper, we propose TGPO, Temporal Grounded Policy Optimization, to solve general STL tasks. TGPO decomposes STL into timed subgoals and invariant constraints and provides a hierarchical framework to tackle the problem. The high-level component of TGPO proposes concrete time allocations for these subgoals, and the low-level time-conditioned policy learns to achieve the sequenced subgoals using a dense, stage-wise reward signal. During inference, we sample various time allocations and select the most promising assignment for the policy network to rollout the solution trajectory. To foster efficient policy learning for complex STL with multiple subgoals, we leverage the learned critic to guide the high-level temporal search via Metropolis-Hastings sampling, focusing exploration on temporally feasible solutions. We conduct experiments on five environments, ranging from low-dimensional navigation to manipulation, drone, and quadrupedal locomotion. Under a wide range of STL tasks, TGPO significantly outperforms state-of-the-art baselines (especially for high-dimensional and long-horizon cases), with an average of 31.6% improvement in task success rate compared to the best baseline. The code will be available at https://github.com/mengyuest/TGPO