核心发现
方法论
Semantic Flip框架通过独立变换查询和视频记忆，生成缺乏充分视觉支撑的辅助OOD样本，无需外部标注。利用冻结预训练模型提取联合特征，训练轻量级拒绝模块，适配多任务场景。Q-FLIP扰乱查询，V-FLIP扰乱视觉记忆，增强模型对无效输入的识别能力。实验证明在ABSTAINEQA和SPACEREJECT两个基准上，均优于强Prompt基线，F1分别达0.7110和0.9559。
关键结果
- 在ABSTAINEQA上，7B模型结合轻量拒绝模块实现F1=0.7110，超越32B Prompt基线0.6746，显示合成OOD样本有效提升拒绝性能。
- 在SPACEREJECT空间定位任务中，Semantic Flip实现F1=0.9559，显著优于未使用合成样本的模型，验证其在长视频记忆中的鲁棒性。
- 拒绝模块只需少量训练，且无需微调基础VLM，极大简化部署流程，兼容多任务场景。
研究意义
该研究突破了视觉-语言模型在实际应用中对无效输入的识别瓶颈，提供一种无需外部OOD标注的高效训练策略。其在 embodied问答和空间导航中的成功应用，显著增强机器人和智能系统的安全性与可靠性，为未来自主系统的可信性提供技术支撑。模型在保持高性能的同时，减少了对大规模标注数据的依赖，推动了无监督和半监督学习在多模态理解中的发展。
技术贡献
提出Semantic Flip框架，通过独立扰乱查询或视觉记忆，合成辅助OOD样本，训练轻量级拒绝模块。该模块基于冻结的预训练VLM，避免微调基础模型，兼容多任务场景。引入空间拒绝基准SPACEREJECT，扩展空间定位任务的拒绝能力。实验证明，模型在两个基准上均优于Prompt方法，彰显其在多模态拒绝中的创新优势。
新颖性
首次提出无需外部OOD标注的合成样本策略，有效提升 embodied模型的拒绝能力。区别于传统基于监督或提示的方法，Semantic Flip利用数据增强实现无标注OOD样本生成，突破了现有方法对类别标注的依赖，具有较强的实用性和扩展性。
局限性
- 合成样本仅通过单一模态扰乱，可能无法覆盖所有无效输入类型，导致某些类别的拒绝性能仍有提升空间。
- 视觉扰乱依赖于Inpainting和目标检测，可能引入残余伪影影响特征表达，影响模型鲁棒性。
- 模型在极端复杂场景或多模态噪声下的表现尚未充分验证，未来需考虑多模态鲁棒性提升。
未来方向
未来将探索多模态联合扰乱策略，增强合成样本的多样性与代表性。同时，结合主动学习和自监督技术，提升拒绝模块的泛化能力。还计划将该框架应用于更复杂的机器人交互场景和多模态任务中，推动自主系统的安全性和可信性发展。
AI 总览摘要
在智能机器人和多模态系统的应用中，识别无效或无法回答的用户请求一直是关键难题。现有模型常因过度自信而给出误导性答案，尤其在 embodied问答和空间导航任务中，错误的响应可能导致严重后果。为解决这一问题，本文提出Semantic Flip框架，通过合成缺乏视觉支撑的辅助OOD样本，有效训练模型识别无效输入。该方法无需外部标注，利用冻结的预训练视觉-语言模型，扰乱查询或视觉记忆，生成多样化的无效样本，增强模型的拒绝能力。实验证明，在ABSTAINEQA和SPACEREJECT两个基准上，模型均优于传统Prompt方法，F1分别达0.7110和0.9559，显著提升了模型在复杂场景中的鲁棒性。这一技术突破不仅简化了模型部署流程，还大幅提升了系统的安全性和可靠性，为未来自主系统的可信性提供了坚实基础。该研究的核心创新在于无需外部标注即可实现高效的无效输入识别，为多模态理解和机器人交互带来新的可能性。
深度分析
研究背景
多模态视觉-语言模型（VLM）近年来取得巨大进展，广泛应用于 embodied问答和空间导航等任务。代表性工作如ReMEmbR和META-MEMORY引入长时记忆机制，提升机器人对复杂场景的理解能力。然而，模型在面对无法回答的请求时，常表现出过度自信，导致误导用户或执行错误操作。传统方法多依赖监督学习或提示工程，但在开放环境中难以覆盖所有无效输入类型。近年来，OOD检测技术逐渐应用于多模态场景，但多为后处理或需大量标注，难以直接部署。本文基于此背景，提出一种无需外部OOD标注的合成样本策略，旨在提升模型的拒绝能力，满足实际应用需求。
核心问题
在 embodied问答和空间导航中，模型需要识别用户请求是否可回答。现有系统多在面对无效请求时，表现出过度自信，导致误导或危险操作。传统监督方法依赖预定义类别，难以应对开放环境中的未知无效输入。Prompt方法虽能鼓励模型表达“我不知道”，但对提示词敏感，效果不稳定。如何在无需大量标注的情况下，训练模型准确识别无效输入，成为关键难题。这不仅关系到系统的安全性，也影响用户体验和信任度。
核心创新
本文创新点在于提出Semantic Flip框架，通过独立扰乱查询（Q-FLIP）或视觉记忆（V-FLIP），合成多样化的辅助OOD样本。这些样本在不依赖外部标注的情况下，增强模型识别无效请求的能力。核心创新包括：
- �� 采用预训练VLM作为特征提取器，冻结参数，避免微调基础模型。
- �� 设计轻量级的拒绝模块（MLP），在合成样本上训练，提升泛化能力。
- �� 引入空间拒绝基准SPACEREJECT，扩展空间定位任务的拒绝能力，验证模型鲁棒性。
- �� 不依赖类别标签或大规模OOD数据，极大简化部署流程，提升实用性。
方法详解
- �� 训练集仅包含答题有效的样本（Q, V, A），通过
- Q-FLIP：用语言模型（如GPT-3）生成无法由视觉支持的问题，扰乱查询。
- V-FLIP：利用目标检测（如Grounding-DINO）定位目标，并用Inpainting（如LaMa）去除目标区域，扰乱视觉记忆。
- �� 通过冻结的VLM编码器提取联合特征，训练一个3层MLP作为拒绝门控（gθ），输出答复概率。
- �� 训练数据包括原始样本和合成的OOD样本，标签为0（答题）或1（拒绝）。
- �� 在推理阶段，将输入（Q, V）通过VLM编码，MLP输出拒绝概率，超过阈值则拒绝回答或导航。
- �� 该方法可集成到任何基于VLM的多模态系统中，无需微调基础模型。
实验设计
- �� 采用ABSTAINEQA和SPACEREJECT两个基准，分别测试问答拒绝和空间定位。
- �� 在ABSTAINEQA中，使用7B模型结合轻量拒绝模块，F1达0.7110，优于32B Prompt基线（0.6746）。
- �� 在SPACEREJECT中，模型实现F1=0.9559，显著优于未使用合成样本的模型。
- �� 通过消融实验验证Q-FLIP和V-FLIP的贡献，发现两者结合效果最佳。
- �� 训练仅需少量样本，推理无需微调基础模型，极大简化部署流程。
结果分析
- �� 在ABSTAINEQA上，Semantic Flip显著提升模型拒绝能力，F1值超越大规模Prompt方法。
- �� 在空间任务中，模型在长视频记忆中表现出极强鲁棒性，F1达0.9559。
- �� 合成样本有效增强模型识别无效请求的能力，且训练成本低，易于集成。
- �� 结果表明，无需外部标注即可实现高性能拒绝，推动多模态系统的安全应用。
应用场景
- �� 立即应用：机器人导航、智能问答系统，确保系统在面对无效请求时能正确拒绝，避免误导或危险操作。
- �� 长远目标：推动自主系统在复杂环境中的可信性，减少对大量标注数据的依赖，实现更智能、更安全的交互体验。
局限与展望
- �� 仅通过单一模态扰乱，可能无法覆盖所有类型的无效输入，未来需结合多模态联合扰乱策略。
- �� 视觉扰乱依赖于目标检测和Inpainting技术，可能引入伪影，影响特征表达。
- �� 在极端复杂场景或多模态噪声下的表现尚未充分验证，需进一步优化鲁棒性。
通俗解读 非专业人士也能看懂
想象你在一个工厂里工作，工厂里有很多机器和工人。每次有人问你一个问题，比如“这个机器在做什么？”，你需要根据工厂里的情况给出答案。有时候，问题很简单，比如“这个机器在生产什么？”你可以直接看机器上的标签和操作情况，给出答案。但有时候，问题很难，比如“这个机器是不是坏了？”或者“工厂里有没有这个零件？”。如果你没有看到相关信息，不能确定答案，就应该说“我不知道”。
Semantic Flip就像在工厂里制造一些“假信息”，让你学会在没有足够信息时说“我不知道”。它通过故意扰乱问题或工厂的照片，制造一些看起来合理但实际上没有依据的场景，让你训练识别“无效请求”。这样，机器人或系统就能更聪明地知道什么时候该回答，什么时候该说“我不知道”，避免误导用户或造成错误操作。这种方法简单有效，不需要额外收集大量假数据，就能让系统变得更安全、更可靠。
简单解释 像给14岁少年讲一样
想象你在学校里，有很多老师和同学。有时候有人问你问题，比如“今天的数学作业在哪里？”你可以直接告诉他们答案。但有时候，问题很奇怪，比如“你知道我是不是忘了带书？”或者“这个问题是不是我没学会的？”如果你不知道答案，你会说“我不知道”。
Semantic Flip就像教你在不知道答案时说“我不知道”。它通过制造一些假问题或假图片，让你练习识别哪些问题没有答案。比如，把图片里原本有的东西擦掉，或者让问题变得模糊不清。这样，你就学会了在不确定时说“我不知道”，而不是胡乱猜。这对机器人或智能系统也一样，能让它们在遇到无法回答的问题时，聪明地选择不回答，避免误导别人。这种方法简单又实用，能让机器人变得更聪明、更可靠。
原文摘要
Detecting unanswerable user queries remains essential for the reliable deployment of real-world embodied agents. However, modern vision-language models (VLMs) often generate overly confident answers even when the available visual memory cannot support the query. Such overconfidence poses various task-dependent risks. The agent may provide misleading information to the user in Embodied Question Answering and select an arbitrary coordinate and physically guide the user there in spatial reasoning for navigation. Despite these high stakes, only a few prior studies directly address when and how an embodied VLM should respond with "I do not know." This work proposes Semantic Flip, a simple yet effective framework that synthesizes auxiliary out-of-distribution (OOD) samples for embodied refusal without requiring external OOD annotations. The key idea is to independently transform the query and video memory to construct auxiliary OOD pairs that lack sufficient visual grounding. These synthesized pairs enable training a lightweight rejection module on top of a frozen pretrained VLM. The module attaches to any existing VLM-based pipeline without retraining the underlying model. Across two complementary benchmarks, Semantic Flip consistently outperforms strong prompting baselines. This work also introduces SpaceReject, a new refusal benchmark for spatial localization with deliberately unanswerable queries over long video memory, where Semantic Flip achieves an $F_1$ score of 0.9559. The source codes and datasets are publicly available at https://github.com/ndb796/SemanticFlip.