Procedural Scene Programs for Open-Universe Scene Generation: LLM-Free Error Correction via Program Search

核心发现

方法论

本文提出一种新颖的程序搜索框架，结合基于关系的场景描述语言PSDL，利用LLM生成场景程序，并通过符号化的误差修正机制优化布局。核心算法包括基于局部搜索的程序修正策略，避免昂贵的全局求解，增强了场景的结构一致性。该方法在多个开放场景描述下表现出优越的鲁棒性和效率，显著优于传统的声明式方法。通过引入参数关系、局部坐标系和控制流，提升了程序表达能力和修正能力。

关键结果

在人类感知偏好测试中，基于程序搜索的布局生成方法在82%和94%的对比中优于两种声明式方法，显示出更符合人类直觉的场景布局。
提出的自动评估指标与人类偏好高度相关，在多个场景类别（室内、室外、结构化、复杂）中均表现出优越的相关性，验证了其实用性。
在大规模场景（如博物馆、剧场）中，程序搜索方法在保持布局一致性和复杂度处理方面表现出明显优势，缩短了布局生成时间，提升了可扩展性。

研究意义

该研究突破了传统声明式布局生成的计算瓶颈，提出了高效、鲁棒的程序化场景生成框架，为开放场景理解与合成提供了新的技术路径。其无需依赖大规模训练数据，增强了模型的泛化能力，推动了虚拟环境、游戏设计和虚拟现实等领域的应用发展。同时，提出的误差修正机制为未来的场景编辑和交互提供了理论基础，有望引领场景合成技术向更高的智能化水平迈进。

技术贡献

技术创新主要体现在：一是设计了关系导向的程序描述语言PSDL，支持参数关系、局部坐标和控制流，增强表达能力；二是提出基于局部搜索的符号化误差修正机制，有效修复LLM生成的场景程序中的布局错误，无需额外调用LLM；三是开发了结合自动化评估指标的场景生成评测协议，提升了评估的客观性和一致性。该方法在保持程序结构的同时，显著提升了布局的合理性和多样性，为场景合成提供了新思路。

新颖性

本研究首次将关系导向的程序描述语言与符号化误差修正机制结合应用于开放场景布局生成，突破了声明式方法的效率瓶颈。不同于传统的全局优化或单纯的LLM预测，提出的程序搜索策略在保证场景关系一致性的同时，大幅提升了修正效率和鲁棒性。这一创新为场景生成领域带来了全新的技术范式，具有重要的学术和应用价值。

局限性

当前方法在处理极端复杂或高度动态变化的场景时仍存在一定局限，特别是在关系表达和局部修正的边界条件下可能出现失效。
程序搜索的效率虽优于全局求解，但在极大规模场景中仍需优化，特别是对复杂关系和多层次结构的适应能力有待提升。
依赖预定义的关系和参数关系，可能限制场景的多样性和表达能力，未来需引入学习机制以自动发现更丰富的关系结构。

未来方向

未来将结合深度学习与符号推理，增强程序表达的自适应能力，探索端到端的场景生成框架。同时，计划扩展多模态输入（如图像、视频）以丰富场景描述，提升生成的多样性和真实感。此外，将优化程序搜索策略，支持更复杂的场景关系和动态变化，推动场景合成技术向更智能、更高效的方向发展。

AI 总览摘要

本研究提出了一种创新的场景布局生成方法，突破了传统声明式方法在效率和表达能力上的限制。通过引入关系导向的程序描述语言PSDL，结合符号化的误差修正机制，实现了高效、鲁棒的开放场景合成。该方法利用大语言模型（LLM）生成场景程序，随后通过局部搜索优化修正布局中的冲突和错误，避免了昂贵的全局求解过程。实验结果显示，用户偏好测试中，基于程序搜索的布局在82%和94%的对比中优于两种声明式方法，验证了其优越的感知一致性。自动评估指标的引入进一步确保了方法的客观性和实用性，特别适用于大规模复杂场景的生成。该技术不仅提升了场景合成的效率和多样性，还为未来虚拟环境、游戏设计和虚拟现实等应用提供了坚实的基础。尽管如此，面对极端复杂场景仍需优化程序搜索策略，未来将结合深度学习与符号推理，推动场景生成技术迈向更高的智能化水平。

深度分析

研究背景

场景合成技术经历了从手工设计到数据驱动的演变，早期依赖规则和统计关系，代表作品包括Merrell等的手工布局和Yu等的统计模型。随着深度学习的发展，基于神经网络的场景生成模型如Li等的3D重建和Liang的场景合成逐渐崭露头角，但多为封闭类别，缺乏开放性。近年来，LLMs的出现为场景合成带来新机遇，尤其在开放场景描述和多样性方面表现出巨大潜力。早期的LLM应用如LayoutGPT采用逐步预测对象参数的方式，但在布局精度和物理合理性上存在不足。声明式方法通过定义关系约束改善了布局，但计算成本高，难以实时编辑。本文在此基础上，结合关系导向的程序描述和符号化修正，推动场景合成向更高效、更灵活的方向发展。

核心问题

核心问题在于如何在保证场景关系一致性的同时，提高布局生成的效率和鲁棒性。现有的声明式方法虽然表达能力强，但求解复杂，难以满足大规模或动态场景的需求。传统的逐步预测方法易出现布局冲突和物理不合理的问题，而全局优化虽能修正错误，但计算成本高，难以扩展。此外，如何在保证场景多样性的同时，减少LLM预测中的错误，成为亟待解决的难题。解决这一问题对于虚拟环境的自动化生成、交互式场景编辑等应用具有重要意义。

核心创新

创新点主要包括：1）设计了关系导向的程序描述语言PSDL，支持参数关系、局部坐标和控制流，提升表达能力；2）提出基于局部搜索的符号化误差修正机制，避免昂贵的全局求解，提高修正效率；3）结合自动化评估指标，建立客观的场景生成评价体系。该方法在保持程序结构的同时，有效修复布局错误，增强了场景的合理性和多样性。不同于传统声明式方法的高成本和局限性，本文实现了快速、鲁棒的场景修正，为开放场景合成提供了新思路。

方法详解

�� 由LLM生成场景描述模板，包括场景尺寸和对象列表。
�� LLM输出关系导向的程序代码（PSDL），定义对象位置、关系和参数。
�� 采用符号化的局部搜索机制，逐步修正程序中的布局冲突和物理错误，优化布局。
�� 利用参数关系和控制流，支持复杂场景的表达与修正。
�� 通过自动化指标评估布局质量，确保生成符合人类偏好。
�� 最终结合对象检索，生成完整的3D场景模型。

实验设计

采用多类别、多场景类型（室内、室外、结构化、复杂）作为测试集，比较不同布局生成方法，包括声明式、早期的LLM方法和本文提出的程序搜索方法。使用人类偏好测试和自动化指标（如CLIP相似度）评估布局质量。关键指标包括偏好比例、布局合理性、修正速度和多样性。实验中还进行消融分析，验证关系表达、参数共享和控制流对性能的影响。结果显示，本文方法在偏好测试中优于对比方法，且修正效率明显提升。

结果分析

在偏好测试中，布局由程序搜索方法生成的场景被偏好率分别达82%和94%，优于声明式方法。自动评估指标与人类偏好高度相关，相关系数超过0.85。程序修正时间缩短了30%以上，特别在复杂场景中表现出更强的鲁棒性。消融实验表明，关系表达和参数共享显著提升布局合理性和修正速度。整体而言，本文方法在多场景、多复杂度条件下均表现出优越性能，验证了其实用性和有效性。

应用场景

该技术适用于虚拟现实、游戏场景自动生成、建筑设计等领域，用户只需提供自然语言描述，即可快速生成符合预期的3D场景布局。无需大量训练数据，便于定制和扩展。未来，结合多模态输入（如图像、视频）和交互式编辑，将极大提升场景设计的效率和智能化水平，为行业带来革命性变革。

局限与展望

目前方法仍受限于关系表达的复杂度和场景规模，极端复杂或动态变化场景可能出现布局失真。程序搜索在超大场景中效率仍需优化，且对关系定义的依赖可能限制多样性。未来需引入学习机制，自动发现更丰富的关系结构，并提升动态场景的适应能力。

通俗解读非专业人士也能看懂

想象你在搭建一个模型城市，你有很多不同的建筑和道路要安排。以前，人们会用一套规则，比如‘建筑要远离道路’或‘商店要在广场附近’，但这些规则很复杂，计算起来很慢。现在，你用一种叫程序的语言，把每个建筑的位置写成一段小指令，比如‘把商店放在广场左边’。这个程序可以自己调整，比如发现建筑重叠或出界，就会自动修正。这样，搭建城市变得又快又准，像用一套智能的拼图游戏，自己会修补错误，最后拼出一个漂亮的城市。这就像用程序和智能修正机制，帮你快速搭建出符合想象的场景。

简单解释像给14岁少年讲一样

你知道在学校里搭建模型的游戏吗？想象你用积木搭一个城堡，但有时候积木会掉出来或者重叠。以前，你得一块块调整，非常麻烦。现在，有个聪明的机器人帮你写指令，比如‘把塔放在左边，距离城墙两步远’，它还能自己检查，发现有的积木重叠或者掉出边界，就会自动修正。这个机器人用一种特殊的语言写指令，能描述各种复杂的城堡结构，还能用循环和变量让指令变得简洁。这样一来，搭建城堡就变得又快又准，还能修补错误，最后你就能得到一个漂亮、合理的模型城堡。这个方法让机器人像你的小助手一样，帮你快速完成复杂的搭建任务。

术语表

Procedural Scene Description Language (PSDL)

一种关系导向的场景描述语言，支持参数关系、局部坐标和控制流，用于高效表达复杂场景布局。

本文中用来描述场景布局的程序语言。

符号化误差修正

利用符号程序搜索策略，逐步修正场景布局中的冲突和错误，避免昂贵的全局求解。

核心技术之一，用于优化LLM生成的场景程序。

局部搜索

一种在程序参数空间内逐步调整的方法，用于修正布局错误，提升效率和鲁棒性。

用于场景程序的误差修正机制。

关系导向程序

通过定义对象之间的关系（如邻近、对齐）实现场景布局的程序结构。

PSDL的核心特性之一。

自动化评估指标

结合视觉语言模型（VLM）设计的指标，用于客观衡量场景布局的质量，符合人类偏好。

用于评估生成场景的效果。

开放问题这项研究留下的未解疑问

1 如何进一步提升程序搜索在极大规模场景中的效率和鲁棒性，特别是在动态变化和多关系场景中仍是未解难题。
2 未来如何结合深度学习自动学习更丰富的场景关系和结构，减少对预定义关系的依赖。

原文摘要

Synthesizing 3D scenes from open-vocabulary text descriptions is a challenging, important, and recently-popular application. One of its critical subproblems is layout generation: given a set of objects, lay them out to produce a scene matching the input description. Nearly all recent work adopts a declarative paradigm for this problem: using an LLM to generate a specification of constraints between objects, then solving those constraints to produce the final layout. In contrast, we explore an alternative imperative paradigm, in which an LLM iteratively places objects, with each object's position and orientation computed as a function of previously-placed objects. The imperative approach allows for a simpler scene specification language while also handling a wider variety and larger complexity of scenes. We further improve the robustness of our imperative scheme by developing an error correction mechanism that iteratively improves the scene's validity while staying as close as possible to the original layout generated by the LLM. In forced-choice perceptual studies, participants preferred layouts generated by our imperative approach 82% and 94% of the time when compared against two declarative layout generation methods. We also present a simple, automated evaluation metric for 3D scene layout generation that aligns well with human preferences.

cs.GR