Learning Invariant Visual Representations for Planning with Joint-Embedding Predictive World Models

近年来，深度学习推动视觉感知在自主控制中的应用不断深化。早期方法依赖像DQN、A3C等强化学习算法，结合端到端训练实现目标导向控制。随着预训练视觉编码器（如DINO、SimCLR、iBOT）出现，模型逐步摆脱像素重建的限制，转向潜在空间预测。JEPAs（联合嵌入预测架构）成为主流，利用预测未来潜在状态实现无监督规划，代表作如DINO-WM。尽管取得一定成功，但在背景变化和慢特征干扰下表现出鲁棒性不足的问题逐渐显现。

核心问题在于，现有JEPAs过度关注慢变化的视觉特征，如背景和干扰物，导致模型在测试时对环境变化敏感，泛化能力不足。特别是在复杂或动态环境中，模型容易陷入只编码静态无关信息的退化状态，影响规划效果。如何在保持预测能力的同时，学习控制相关且对环境变化不敏感的潜在表示，成为亟待解决的难题。

本文提出引入贝西姆距离的双仿射编码器，结合PCA基础的变异-协方差正则化，有效抑制慢特征干扰。该方法在预训练特征基础上微调，学习控制相关的不变特征，潜在空间压缩至DINO-WM的十分之一。区别于传统端到端训练或全监督方法，本方案实现了无监督的鲁棒特征学习，显著提升模型在环境变化中的泛化能力。技术创新在于结合贝西姆距离和PCA正则化，提供理论保证和工程实现路径。

• �� 采用预训练视觉编码器（DINOv2、SimDINOv2、iBOT）提取基础特征。
• �� 设计贝西姆编码器，将高维特征映射到低维控制相关空间，训练目标结合贝西姆距离正则化，确保相似状态在潜在空间中距离较近。
• �� 引入PCA基础的变异-协方差正则化，避免特征坍塌，确保模型捕获多样性。
• �� 训练潜在动态模型（Transformer架构）预测未来状态，结合贝西姆正则化，增强鲁棒性。
• �� 通过CEM优化器实现规划，验证模型在背景变化和干扰下的性能提升。

在PointMaze导航任务中，采用不同背景变化和干扰条件，比较DINO-WM与提出模型的成功率、潜在空间维度和鲁棒性指标。使用DINOv2、SimDINOv2和iBOT作为特征提取器，设置潜在空间维度为原来的十分之一，训练参数包括贝西姆正则化系数和PCA正则化参数。通过多次随机背景变化测试，评估模型的泛化能力和鲁棒性。对比分析显示新模型在极端背景干扰中保持80%以上成功率，显著优于基线。

模型在背景变化和干扰条件下，成功率提升超过20%，潜在空间压缩至10%，鲁棒性增强明显。多预训练特征验证了方法的通用性，贝西姆正则化显著抑制慢特征干扰，模型在极端环境中仍能保持高效规划。实验还揭示了贝西姆距离对控制相关特征的强化作用，验证了理论假设。

该方法适用于自主导航、机器人控制、无人机等场景，尤其在复杂环境和视觉干扰多发的实际应用中表现优异。只需预训练视觉编码器，无需额外标注，便能提升模型泛化能力，为工业自动化和智能系统提供更稳健的解决方案。

模型依赖预训练特征质量，慢特征占比高时效果有限。贝西姆距离在复杂环境中计算偏差可能影响鲁棒性。未来需优化正则化策略，扩展至多模态信息融合和高复杂度任务，提升适应性和效率。