核心发现
方法论
本文提出基于大规模语言模型(LLM)的代理框架，结合集群布局优化和任务感知摄像机路径规划，自动生成多样化、物理合理的3D场景。首先，利用LLM迭代提取场景描述中的程序约束；然后，通过集群策略优化复杂密集场景布局；最后，采用前沿探索算法生成覆盖所有目标对象的摄像机轨迹，确保视频输入符合VLM的空间推理需求。该流程实现了场景复杂度的参数化控制和无限扩展，显著优于传统的纯程序化或基于Diffusion的场景生成方法。
关键结果
- 在高复杂度场景中，InfiniBench在prompt忠实度和物理合理性方面均优于现有方法，Fidelity指标达0.98，CLIP得分31.8，碰撞数和越界对象数几乎为零，显示出极强的场景真实性和一致性。
- 在不同场景密度（低、中、高）下，InfiniBench保持优异的性能，Fidelity持续高于0.94，Realism评分达0.93，显著优于Infinigen和LayoutGPT等基线。
- 通过生成测量、视角转换和时空追踪任务的基准，验证其在空间推理任务中的应用潜力，展示了对复杂场景的适应性和可扩展性。
研究意义
该研究突破了空间推理场景的定制化瓶颈，为评估和提升视觉-语言模型的空间理解能力提供了强大工具。InfiniBench实现了从自然语言到高质量3D场景的自动转化，极大降低了场景设计门槛，推动了虚拟环境在机器人导航、增强现实和智能交互中的应用。其无限扩展能力满足未来多样化、多任务场景的需求，为AI在复杂空间推理中的性能提升奠定基础。
技术贡献
创新点在于引入LLM驱动的场景约束生成、集群基础的布局优化和任务感知的摄像机路径规划，结合多阶段自动化流程，显著提升场景复杂度和物理一致性。该框架突破了传统方法在场景密集度和多样性上的限制，提供了可扩展、可调控的场景生成平台，具备理论保证和工程实现的双重优势。
新颖性
本研究首次实现了基于LLM的端到端无限场景生成框架，结合集群优化策略和任务感知摄像机路径，解决了以往场景生成在复杂密集布局和物理合理性方面的瓶颈。相较于早期的Blender渲染或Diffusion模型，InfiniBench实现了更高的场景多样性和真实性，开创了自然语言指导3D场景生成的新范式。
局限性
- 当前方法在极端复杂场景中仍可能出现布局冲突或物理不合理的问题，尤其在高密度、多层次关系场景中，优化时间较长，计算成本较高。
- 摄像机路径规划虽能覆盖目标对象，但在动态交互或多视角任务中仍存在盲点，未来需引入多目标、多视角优化策略。
- 对场景描述的依赖较强，复杂语义理解可能导致约束提取偏差，影响场景质量，需结合更强的语义理解模型。
未来方向
未来将探索多模态信息融合，提升场景描述的语义丰富性和准确性；同时，优化摄像机路径的多目标、多视角策略，增强场景的动态交互能力。此外，将引入学习驱动的场景布局优化，减少人工调参，推动场景生成的实时性和智能化，为空间推理和机器人导航提供更强支持。
AI 总览摘要
随着视觉-语言模型(VLM)在空间推理任务中的崛起，评估其在复杂场景中的能力成为关键挑战。现有基准多受限于场景多样性、可扩展性和定制性，难以全面揭示模型的失败模式。本文提出InfiniBench，一种全自动、可定制的3D场景生成平台，结合大规模语言模型(LLM)、集群布局优化和任务感知摄像机路径规划，实现无限多样化的场景合成。该系统以自然语言描述为输入，经过多轮迭代生成符合物理和语义约束的高逼真度场景视频，满足空间推理的多维需求。实验显示，InfiniBench在高复杂度场景中超越了现有方法，不仅在prompt忠实度和真实性方面表现优异，还能生成用于测量、视角转换和时空追踪的多任务基准。其创新的端到端流程极大地降低了场景设计门槛，为未来空间推理模型的训练和评估提供了强大工具。未来，系统将融合多模态信息，提升动态场景生成能力，推动虚拟环境在机器人、增强现实等领域的应用。该研究为AI在复杂空间理解中的性能提升提供了新的技术路径，开启了无限场景生成的可能性。
深度分析
研究背景
空间推理作为AI理解复杂场景的核心能力，经历了从二维语义识别到三维几何理解的演变。早期工作如CLEVR和GQA提供了有限的空间关系测试集，但缺乏真实场景的多样性。近年来，合成数据和程序化渲染如Blender、IsaacSim被用来生成场景，但在真实性和多样性上受限。Diffusion模型和3D-aware生成技术提升了视觉丰富性，但缺乏语义标注和物理一致性。LLM引入语义理解能力，但在空间布局上仍有限制。现有方法难以兼顾场景复杂度、真实性和可定制性，制约了空间推理模型的评估和训练。
核心问题
核心问题在于缺乏能同时满足多样性、可扩展性和定制性的空间场景基准。现有场景生成方法或受限于规则硬编码，难以生成密集复杂布局；或依赖训练数据，难以保证物理合理性。缺少一种自动化、参数化且高逼真度的场景生成工具，限制了空间推理模型的性能分析和提升。如何实现自然语言到高质量3D场景的无缝转换，成为亟待解决的难题。
核心创新
本研究提出三大创新：1）基于LLM的场景约束生成框架，通过多轮迭代实现高效、合理的场景描述转化；2）集群基础布局优化策略，突破传统层级优化瓶颈，支持密集复杂场景的生成；3）任务感知摄像机路径规划，确保视频输入完整覆盖目标对象。结合多阶段自动化流程，实现场景的无限扩展和高物理一致性，显著优于现有的纯规则或深度学习方法。
方法详解
- �� 用户通过自然语言描述场景，输入到LLM代理框架；• LLM利用预定义API和示例，生成场景约束，进行多轮迭代优化；• 约束输入集成集群策略，优化场景布局，避免碰撞和不合理配置；• 采用前沿探索算法，规划摄像机路径，确保全景覆盖目标对象；• 最终通过Blender Cycles引擎渲染高逼真视频，作为VLM的输入。整个流程实现了场景参数化、多样性和物理合理性的统一。
实验设计
在不同复杂度和密度场景中，采用公开数据集和自定义场景描述，比较InfiniBench与Infinigen、LayoutGPT等基线。指标包括prompt忠实度、CLIP得分、场景真实性、碰撞数和越界对象数。通过多轮参数调优和消融实验，验证集群优化和路径规划的关键作用。大规模测试显示，InfiniBench在复杂场景中保持高性能，显著优于对比方法。
结果分析
实验结果表明，InfiniBench在高复杂度场景中Fidelity达0.98，CLIP得分31.8，碰撞和越界几乎为零，优于所有对比方法。不同密度场景中，性能稳定，保持Fidelity超过0.94，真实性评分达0.93。多任务基准验证其在测量、视角变化和时空追踪中的应用潜力，展示了极强的适应性和扩展性。
应用场景
该平台可用于评估和训练空间推理模型，支持机器人导航、虚拟现实、增强现实等场景的智能交互。只需输入自然语言描述，即可生成符合特定任务需求的场景视频，降低场景设计门槛，推动多模态AI的发展。未来还可结合多模态信息，增强动态场景的生成和理解能力。
局限与展望
目前在极端密集场景中仍存在布局冲突和物理不合理问题，优化时间较长，计算成本较高。摄像机路径规划在复杂交互场景中仍有盲点，未来需引入多目标、多视角优化。对自然语言描述的依赖较强，语义理解偏差可能影响场景质量。未来将结合学习驱动和多模态信息，提升实时性和场景多样性。
通俗解读 非专业人士也能看懂
想象你在一个工厂里，工厂里有很多不同的机器和工人。你想让机器人帮你安排这些机器的位置，让它们既不碰撞，又能方便工作。你告诉机器人“请把机器A放在角落，机器B放在中间，距离要合适”。机器人会根据你的描述，自动设计出一个布局，确保每台机器都在正确的位置，空间合理，没有碰撞。这个工厂还会有摄像头拍摄整个场景，确保每个机器都能被看到。这个过程就像用自然语言告诉机器人怎么布置，然后它用智能算法帮你实现。InfiniBench也是这样，它用自然语言描述场景，然后自动生成复杂、真实的3D场景，满足不同的空间推理任务需求。它可以无限扩展场景的复杂度，就像工厂可以不断增加机器，保持合理布局一样。这样，研究人员可以用它来测试AI模型在理解复杂空间关系上的能力，帮助AI变得更聪明、更懂空间。
原文摘要
Modern vision-language models (VLMs) are expected to have abilities of spatial reasoning with diverse scene complexities, but evaluating such abilities is difficult due to the lack of benchmarks that are not only diverse and scalable but also fully customizable. Existing benchmarks offer limited customizability over the scene complexity and are incapable of isolating and analyzing specific VLM failure modes under distinct spatial conditions. To address this gap, instead of individually presenting benchmarks for different scene complexities, in this paper we present InfiniBench, a fully automated, customizable and user-friendly benchmark generator that can synthesize a theoretically infinite variety of 3D scenes with parameterized control on scene complexity. InfiniBench uniquely translates scene descriptions in natural language into photo-realistic videos with complex and physically plausible 3D layouts. This is achieved through three key innovations: 1) a LLM-based agentic framework that iteratively refines procedural scene constraints from scene descriptions; 2) a flexible cluster-based layout optimizer that generates dense and cluttered scenes previously intractable for procedural methods; and 3) a task-aware camera trajectory optimization method that renders scenes into videos with full object coverage as VLM input. Experiments demonstrate that InfiniBench outperforms state-of-the-art procedural and LLM-based 3D generation methods in prompt fidelity and physical plausibility, especially in high-complexity scenarios. We further showcased the usefulness of InfiniBench, by generating benchmarks for representative spatial reasoning tasks including measurement, perspective-taking and spatiotemporal tracking.