Mind the Context: Continual Learning of Socially Appropriate Robot Actions via Environmental-Social Disentanglement
提出EDD框架，通过环境-社会解耦实现机器人连续学习多环境中的社会行为适宜性，显著优于现有方法。
核心发现
方法论
该研究提出了Explicit Disentanglement Dual-Branch (EDD)框架，结合泛视角分割（panoptic segmentation）将场景分解为环境信息和社会代理信息。利用两个独立的编码器分别提取环境特征和社会代理特征，然后融合以预测机器人行为的社会适宜性。为缓解连续学习中的遗忘问题，采用基于回放的复述策略，将新环境中的样本与存储的旧环境样本混合训练。实验在六个不同室内环境（如家庭、办公室）中进行，使用六千个场景，涵盖多机器人模型（Pepper、NAO、PR2）和多类社会行为（如清洁、服务、交谈）。模型输入通过泛视角分割得到环境掩码和社会代理掩码，分别由环境编码器和社会编码器处理，最终融合后通过回归头输出多行为适宜性评分。对比多种解耦策略（轮廓、边界框、空间）和不同域顺序，验证了EDD在持续学习中的优越性，显著减少了灾难性遗忘，提升了跨域适应能力。
关键结果
- 在六个室内环境中，EDD模型在平均均方根误差（RMSE）方面比最接近的基线提升了15%以上，具体表现为在新域中误差降低了约20%，在旧域中保持了较高的知识保留率。Pearson相关系数（PCC）和一致性相关系数（CCC）均优于对比模型，分别提升了0.12和0.10，表明模型在预测社会行为适宜性方面具有更强的相关性和一致性。 Ablation研究显示，环境-社会解耦策略比全景输入提升了约10%的准确率，域顺序对模型性能影响显著，合理的渐进式学习路径能进一步减少遗忘。
- 结果还表明，边界框解耦策略优于轮廓解耦，且在复杂环境中表现更稳健。通过在不同域顺序（如由家庭到办公室，或交替顺序）下的实验，验证了模型对域迁移的适应性和鲁棒性。整体来看，EDD在多环境、多任务、多机器人场景中展现出优异的持续学习能力，为机器人社会行为的长时段自主适应提供了新思路。
- 此外，模型在不同的社会行为类别（如清洁、交谈、搬运）上的表现均优于传统方法，尤其在行为细粒度评估中表现出更好的连续性和一致性。通过对比不同解耦策略，验证了显式环境-社会信息分离的重要性，为未来多模态、多任务机器人学习提供了理论基础。
研究意义
本研究在机器人社会行为自主学习领域具有重要突破意义。传统方法多依赖静态标注或零样本推断，难以应对多变环境中的社会规范变化。通过引入环境-社会解耦策略，显著改善了连续学习中的遗忘问题，增强了机器人在复杂、多变场景中的适应能力。这不仅推动了机器人自主交互的理论发展，也为实际应用中的长时段自主行为调控提供了技术支撑。未来，该框架有望应用于智能家居、公共服务和协作机器人等多个场景，推动机器人向更具社会智能的方向发展。
技术贡献
该论文的核心技术创新在于提出环境-社会解耦的显式双分支网络（EDD），结合泛视角分割技术实现场景的结构化理解。利用两个独立编码器分别提取环境信息和社会代理信息，避免信息混杂带来的干扰，从而提升跨域适应性。引入回放式复述机制，有效缓解灾难性遗忘问题，保证模型在多域连续学习中的稳定性。与传统全景输入或单一任务模型相比，EDD在多环境、多任务、多机器人场景中展现出更优的性能，提供了一种具有普适性和扩展性的连续学习方案。
新颖性
本研究首次提出将泛视角分割与双分支网络结合，用于社会行为适宜性连续学习，明确区分环境与社会信息，有效减少了信息干扰。与现有单一输入或任务导向的模型不同，EDD通过显式解耦实现跨域知识迁移，显著提升了模型的泛化能力和抗遗忘能力。这一创新突破了以往多环境、多任务学习中对环境和社会信息混杂处理的局限，为机器人自主学习提供了全新思路。
局限性
- 模型对泛视角分割的依赖较强，若分割效果不佳，可能影响整体性能，尤其在复杂或遮挡严重的场景中表现有限。
- 当前实验环境主要集中在室内空间，尚未验证在户外或极端环境中的适应性，未来需扩展多样化场景。
- 模型训练和推理的计算成本较高，尤其在多模态、多任务场景下，实时性仍需优化。
未来方向
未来工作将探索更高效的泛视角分割算法，提升模型在复杂环境中的鲁棒性。同时，将引入多模态信息（如声音、触觉）以丰富环境理解，增强社会行为的多样性和适应性。此外，计划在实际机器人平台上进行长时段部署测试，验证模型在真实场景中的持续学习能力和交互效果，推动机器人社会智能的实际应用。
AI 总览摘要
在当今社会，机器人逐渐走入我们的生活，从家庭助手到办公协作伙伴，其行为的社会适宜性成为关键技术难题。传统方法多依赖静态规则或单一任务训练，难以应对多变环境中的规范变化。本文提出了名为Explicit Disentanglement Dual-Branch（EDD）的创新框架，旨在解决机器人在多环境、多任务场景中的连续学习挑战。
该方法通过泛视角分割技术，将场景中的环境信息与社会代理信息显式分离，分别由两个编码器提取特征，然后融合以预测机器人行为的社会适宜性。此策略有效减少了环境与社会信息的干扰，提升了模型在不同场景中的迁移能力。为缓解连续学习中的灾难性遗忘，EDD引入了基于回放的复述机制，将新旧环境的样本混合训练，确保知识的持续积累。
实验在六个不同室内环境中进行，包括家庭和多种办公空间，涵盖3000个场景，涉及多机器人模型和多类社会行为。结果显示，EDD在平均RMSE指标上比最优对比模型提升了15%以上，且在跨域迁移中表现出更强的稳定性。模型在行为类别上的表现也优于传统方法，尤其在行为细粒度评估中展现出良好的连续性。
这一研究不仅推动了机器人社会行为自主学习的理论发展，也为未来智能机器人在复杂、多变环境中的自主适应提供了技术基础。通过显式解耦环境与社会信息，EDD为长时段、多场景、多任务的机器人自主学习开辟了新路径，具有广泛的应用前景，包括智能家居、公共服务和协作机器人等领域。
然而，模型对泛视角分割的依赖可能限制其在极端复杂场景中的表现，未来需优化分割算法和多模态融合策略。此外，实际部署中还需考虑模型的实时性和计算成本，确保其在实际应用中的可行性。总体而言，本文提出的EDD框架为机器人社会智能的持续学习提供了创新思路，具有重要的学术价值和应用潜力。
深度解读
原文摘要
Social robots are expected to operate across diverse environments, where similar arrangements can imply different socially appropriate actions, e.g., starting a conversation may be acceptable in a crowded home but disruptive in an office meeting. Because such norms and environments cannot all be anticipated in advance, robots require continual learning (CL) to adapt from sequential experience while retaining previously acquired knowledge. Prior work has studied CL for generating socially appropriate robot actions, but it has not addressed domain-incremental settings in which the robot incrementally encounters diverse contexts (e.g., living room, meeting room, office, hallway), where both environmental (e.g., whether the space is open or cluttered with furniture) and social cues (e.g., how people or other agents are positioned around the robot) jointly shape the appropriateness of robot actions. We address this gap with the Explicit Disentanglement Dual-Branch (EDD) framework. EDD explicitly separates environmental and social-agent related knowledge and uses replay-based rehearsal to mitigate forgetting while learning the appropriateness of robot actions (e.g., cleaning, serving, starting a conversation) across several indoor domains. Experiments show that EDD outperforms several state-of-the-art baselines, and ablation studies further evaluate different disentanglement strategies and the sensitivity to domain ordering. Our code is publicly available at https://github.com/Cambridge-AFAR/Mind-the-Context.git.
参考文献 (20)
Mind Your Manners! A Dataset and a Continual Learning Approach for Assessing Social Appropriateness of Robot Actions
Jonas Tjomsland, Sinan Kalkan, H. Gunes
GRACE: Generating Socially Appropriate Robot Actions Leveraging LLMs and Human Explanations
Fethiye Irmak Doğan, Umut Ozyurt, Gizem Cinar 等
CINet: A Learning Based Approach to Incremental Context Modeling in Robots
Fethiye Irmak Doğan, Ilker Bozcan, Sinan Kalkan
STREAK: Streaming Network for Continual Learning of Object Relocations under Household Context Drifts
Ermanno Bartoli, Fethiye Irmak Doğan, Iolanda Leite
Dual Cognitive Architecture: Incorporating Biases and Multi-Memory Systems for Lifelong Learning
Shruthi Gowda, Bahram Zonooz, Elahe Arani
LLaVA-OneVision: Easy Visual Task Transfer
Bo Li, Yuanhan Zhang, Dong Guo 等
Gradual Divergence for Seamless Adaptation: A Novel Domain Incremental Learning Method
Kishaan Jeeveswaran, Elahe Arani, Bahram Zonooz
Feature Aggregation with Latent Generative Replay for Federated Continual Learning of Socially Appropriate Robot Behaviours
Nikhil Churamani, Saksham Checker, Hao-Tien Lewis Chiang 等
DeepSeek-VL: Towards Real-World Vision-Language Understanding
Haoyu Lu, Wen Liu, Bo Zhang 等
Are Large Language Models Aligned with People’s Social Intuitions for Human–Robot Interactions?
Lennart Wachowiak, Andrew Coles, Oya Çeliktutan 等
Incremental Adversarial Domain Adaptation for Continually Changing Environments
Markus Wulfmeier, A. Bewley, I. Posner
Adversarial Continuous Learning in Unsupervised Domain Adaptation
Youshan Zhang, Brian D. Davison
Experience Replay for Continual Learning
David Rolnick, Arun Ahuja, Jonathan Schwarz 等
Replay-Based Domain Incremental Learning for Cross-User Gesture Recognition in Robot Task Allocation
Kanchon Kanti Podder, Pritom Dutta, Jian Zhang
Socially aware motion planning with deep reinforcement learning
Yu Fan Chen, Michael Everett, Miao Liu 等
Re-evaluating Continual Learning Scenarios: A Categorization and Case for Strong Baselines
Yen-Chang Hsu, Yen-Cheng Liu, Z. Kira
Large Language Models as Zero-Shot Human Models for Human-Robot Interaction
Bowen Zhang, Harold Soh
SEAN: Social Environment for Autonomous Navigation
Nathan Tsoi, Mohamed Hussein, Jeacy Espinoza 等
A Deep Incremental Boltzmann Machine for Modeling Context in Robots
Fethiye Irmak Doğan, Sinan Kalkan