Human-in-the-Loop Local Corrections of 3D Scene Layouts via Infilling
基于SceneScript的多任务模型实现3D场景布局的全局预测与局部修正，显著提升局部修正性能。
核心发现
方法论
本文提出结合结构化语言与多任务训练的SceneScript模型，利用infilling技术实现3D场景局部修正。模型采用稀疏点云编码器和Transformer解码器，支持全局预测与局部修正双任务。训练过程中，采用多任务学习策略，平衡两者性能。局部修正通过掩码特定实体，利用infilling生成缺失部分，结合egocentric定位实现高效交互。系统集成于混合现实环境，用户通过“单击修正”实现逐步优化场景布局。
关键结果
- 在ASE合成数据集上，模型实现了92.1%的平均F1分数（墙体），局部修正任务中提升至98.6%，比单任务模型提升约7个百分点，验证了多任务训练的有效性。
- 在AEO真实场景数据集上，全球预测性能略有下降（约1点），但局部修正性能显著增强（提升约10点F1），表现出良好的跨域泛化能力。
- 不同语言排序和位置编码策略的消融实验显示，角度排序和子序列位置编码显著提升修正效率，减少用户交互次数，验证了设计选择的合理性。
研究意义
该研究突破了传统单次全局预测的局限，通过引入人机交互的局部修正机制，有效应对复杂、非训练分布的场景布局问题。模型支持用户在虚拟环境中快速、精准地修正错误，极大提升场景理解的实用性和鲁棒性，为未来智能场景构建和增强现实应用提供了新思路。
技术贡献
提出多任务SceneScript模型，结合infilling技术实现局部修正，保持全局预测性能的同时显著增强局部修正能力。创新采用egocentric anchoring和子序列位置编码，优化模型在复杂场景中的交互效率。系统集成于混合现实设备，支持低摩擦的“单击修正”流程，推动人机协作的场景理解发展。
新颖性
首次将自然语言中的infilling任务引入3D场景布局的局部修正中，结合多任务训练实现模型在全局预测与局部修正间的性能平衡。创新性地利用egocentric定位和子序列位置编码，提升交互效率，突破传统单一预测限制，推动人机协作场景理解的边界。
局限性
- 模型在极端复杂或布局极不规则的场景中仍存在修正不准确的问题，主要由于训练数据不足以覆盖所有复杂情况。
- 系统依赖于稀疏点云和结构化语言，可能在低质量感知或非结构化场景中表现不佳。
- 交互流程虽高效，但仍需用户手动识别错误点，未来需引入自动错误检测机制。
未来方向
未来将探索自动错误检测与修正的结合，提升系统自主性；扩展模型支持更多类型的场景元素和复杂布局；优化交互流程，降低用户操作成本，推动3D场景理解的智能化发展。
AI 总览摘要
本研究提出了一种基于SceneScript的多任务模型，结合自然语言中的infilling技术，实现3D场景布局的全局预测与局部修正。传统的场景理解方法多依赖一次性预测，难以应对复杂环境中的细节错误，尤其在实际应用中场景分布偏离训练数据时表现不足。为此，本文引入人机交互理念，利用虚拟现实设备中的egocentric视角，允许用户通过“单击修正”快速标记错误区域，模型则自动进行局部修正，从而实现逐步优化场景布局的目标。模型采用稀疏点云编码器与Transformer解码器，支持同时进行全局预测和局部修正任务。训练过程中，采用多任务学习策略，确保模型在两个任务上的性能均衡。局部修正通过掩码特定实体，利用infilling生成缺失部分，极大提升修正效率。实验结果显示，在合成数据集ASE上，模型在墙体、门窗等关键元素的F1分数均超过90%，局部修正性能提升7个百分点，在真实场景AEO中也表现出良好的跨域泛化能力。该方法不仅提升了场景理解的准确性，也为虚拟现实和增强现实中的场景编辑提供了强大工具。未来，系统将结合自动错误检测与更复杂场景支持，推动人机协作的智能场景理解迈向新高度。
深度分析
研究背景
随着3D计算机视觉的发展，场景重建、目标检测和理解已取得显著进步。代表性工作如SceneGraph、Neural Scene Representation等，推动了场景理解的深度学习应用。然而，单次预测模型在复杂环境中表现有限，尤其在部分可见性和遮挡条件下难以准确建模。近年来，结构化语言与自然语言处理技术被引入场景描述，提升了表达能力，但仍缺乏高效的局部修正机制。人机交互在2D视觉中的成功应用激发了将其引入3D场景理解的兴趣，尤其在虚拟现实中，用户需求逐渐从全局预测转向细节修正。SceneScript作为一种结构化语言表示方法，为3D场景布局提供了良好的基础，但其局限在于全局预测缺乏局部修正能力。本文试图结合infilling技术，弥补这一空白，推动场景理解的交互式发展。
核心问题
传统3D场景布局预测多依赖一次性全局模型，难以应对复杂场景中的局部错误，尤其在实际应用中场景分布偏离训练集时表现不佳。用户在虚拟环境中识别错误并修正，仍需繁琐操作，效率低下。如何实现高效、精准的局部修正，成为关键难题。现有方法缺乏灵活的局部修正能力，无法满足复杂场景中的细节调整需求，限制了场景理解的实用性和鲁棒性。
核心创新
本文的核心创新在于：1）引入基于结构化语言的多任务SceneScript模型，支持全局预测与局部修正；2）利用自然语言中的infilling技术，将局部修正任务转化为文本填空问题，提升模型的修正能力；3）采用egocentric定位和子序列位置编码，增强模型在复杂场景中的交互效率；4）系统集成于虚拟现实设备，实现低摩擦的“单击修正”交互流程，推动人机协作场景理解的发展。这些创新突破了传统模型的局限，为复杂环境中的场景布局提供了更强的适应性。
方法详解
- �� 使用SceneScript的结构化命令描述场景布局，输入为稀疏点云，输出为结构化语言序列。
- �� 设计多任务训练策略，随机采样全局预测或局部修正样本，平衡两者性能。
- �� 全局预测：编码点云，Transformer解码器生成完整场景布局。
- �� 局部修正：用户在虚拟环境中选择错误实体，模型掩码后利用infilling技术生成缺失部分。
- �� egocentric anchoring：以用户视角为中心，简化学习任务。
- �� 子序列位置编码：区分前缀、目标、后缀，提升修正效率。
- �� 系统集成：在混合现实设备中实现“单击修正”交互流程，支持多轮迭代优化。
实验设计
- �� 训练数据：ASE合成数据集（10万场景）和AEO真实场景数据集，涵盖多样布局。
- �� 评估指标：平均F1分数（AvgF1），衡量布局预测和修正效果。
- �� 实验设计：对比单任务与多任务模型，分析不同排序和位置编码策略的影响，进行消融实验验证设计选择的有效性。
- �� 超参数：500k训练轮次，学习率5e-4，批次64，采用余弦退火。
- �� 评估场景：不同复杂度场景，验证模型泛化能力和交互效率。
结果分析
- �� 多任务训练模型在ASE上墙体F1达92.1%，局部修正提升至98.6%，比单任务模型提升约7个百分点。
- �� 在AEO数据集，全球预测性能略降（约1点），但局部修正性能提升10点，表现出良好的跨域适应性。
- �� 消融实验显示，角度排序和子序列位置编码显著减少用户交互次数，验证设计合理性。
应用场景
- �� 立体场景编辑：虚拟现实中快速修正场景布局，提升用户体验。
- �� 建筑设计：设计师可在虚拟环境中实时调整布局，减少反复修改时间。
- �� 机器人导航：增强自主机器人对复杂环境的理解与修正能力，提升自主性。
局限与展望
- �� 在极端复杂或不规则场景中，模型仍可能出现修正偏差，主要因训练数据不足。
- �� 依赖稀疏点云和结构化语言，面对低质量感知或非结构化场景表现有限。
- �� 用户识别错误点仍需手动操作，未来需引入自动检测机制。
通俗解读 非专业人士也能看懂
想象你在一个工厂里工作，工厂里有很多不同的机器和工人。每个机器都按照说明书上的步骤来操作，但有时候，某个机器可能因为某个零件装错了，导致整个生产线出问题。工人可以用手指指着哪个机器出错，然后告诉机器人帮忙修理。机器人听到指令后，会自动找到出错的零件，把它拆掉，然后用新的零件装上去。这样，工厂的生产就能顺利进行。这个过程就像我们用电脑模型修正3D场景中的错误一样，用户指出哪里出错，模型自动帮忙修正，效率大大提高。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的乐高城堡游戏，有很多块积木组成城堡。有时候，某块积木放错了位置，看起来不对劲。你可以用手指点一下那块积木，然后告诉电脑“帮我修一下”。电脑会根据你的指示，把那块积木拆掉，然后用正确的积木重新拼好。这样，你的城堡就变得更漂亮、更像你想象的样子。这就像论文里的系统一样，用户只需要点一点，模型就会帮忙修正错误，让整个场景变得更完美。这个过程非常快，也很方便，就像在玩拼图游戏一样有趣！
原文摘要
We present a novel human-in-the-loop approach to estimate 3D scene layout that uses human feedback from an egocentric standpoint. We study this approach through introduction of a novel local correction task, where users identify local errors and prompt a model to automatically correct them. Building on SceneScript, a state-of-the-art framework for 3D scene layout estimation that leverages structured language, we propose a solution that structures this problem as "infilling", a task studied in natural language processing. We train a multi-task version of SceneScript that maintains performance on global predictions while significantly improving its local correction ability. We integrate this into a human-in-the-loop system, enabling a user to iteratively refine scene layout estimates via a low-friction "one-click fix'' workflow. Our system enables the final refined layout to diverge from the training distribution, allowing for more accurate modelling of complex layouts.