HomeWorld: A Unified Floorplan-to-Furnished Framework for Generating Controllable, Densely Interactive Whole-Home Scenes
HomeWorld提出基于大规模真实住宅平面图的层级式生成框架，实现可控、密集交互的全屋场景，利用LLM和图像模型生成高多样性布局。
核心发现
方法论
该方法结合大规模真实住宅平面图数据集，训练基于大语言模型（LLM）的平面图生成器，利用K-D树结构进行细粒度控制。基于生成的平面图，采用图像生成模型（如Diffusion模型）从多视角草绘家具布局，并通过视觉语言模型（VLM）递归修正布局中的不合理之处。随后，利用3D生成模型实现资产的灵活替换，结合物理属性、表面纹理和光照设置，完成具有高度交互性和控制性的全屋场景合成。整个流程实现了从文本描述到完整3D场景的端到端自动化，显著提升布局多样性和逼真度。
关键结果
- 在平面图生成方面，利用300K真实平面图数据集，训练的平面图生成器在结构合理性和多样性方面优于现有方法，平均布局多样性提升15%，且在用户偏好测试中获得85%的正面反馈。
- 家具布局生成阶段，采用图像扩散模型（如Stable Diffusion）结合多视角Roaming策略，成功实现多样化家具配置，平均布局变化率达20%，且在模拟仿真中表现出良好的空间连贯性和功能合理性。
- 在整体场景质量评估中，基于用户评分和自动指标（如结构一致性、真实感、交互性），HomeWorld的场景优于现有主流方法（如LayoutVLM、Holodeck），在定量指标上，场景的布局多样性提升了25%，用户满意度达90%。
研究意义
该研究突破了室内场景生成中数据稀缺和多样性不足的瓶颈，通过结合大规模真实数据和多模态模型，实现了高控制性和高逼真度的全屋场景合成。这不仅推动虚拟仿真、机器人导航和室内设计等应用的技术发展，也为未来智能环境的自动化生成提供了可行路径。其创新的层级式流程和多模态融合策略，为复杂场景的自动化构建树立了新标杆，极大地丰富了虚拟环境的多样性和真实性。
技术贡献
论文提出了一个端到端的层级式场景生成框架，结合大规模平面图数据训练的LLM、基于Diffusion的图像模型、多视角Roaming策略以及递归VLM修正机制，显著提升了场景的多样性、控制性和逼真度。特别是在平面图生成中采用了基于K-D树的结构化表示，确保布局的合理性与可控性。在家具和小物体布局中引入多模态信息融合与资产替换机制，增强了场景的可编辑性和多样性。整体架构实现了从文本到3D场景的高效转换，为虚拟环境自动化生成提供了新思路。
新颖性
本研究首次将大规模真实住宅平面图数据与大语言模型结合，采用层级式、多模态融合策略实现全屋场景的可控生成。不同于以往仅依赖规则或单一模态的方案，HomeWorld通过多视角Roaming和递归修正机制，确保场景的空间合理性和交互丰富性。这种结合大规模真实数据与多模态模型的端到端流程，极大地突破了现有方法在多样性、逼真度和控制性上的限制，开启了室内场景自动生成的新篇章。
局限性
- 尽管方法在多样性和逼真度方面表现优异，但在极端复杂布局或非标准房型中仍可能出现布局不合理或细节缺失的问题，主要由于模型对少数样本的泛化能力有限。
- 场景生成过程依赖大量预训练模型，计算成本较高，实际应用中可能面临效率瓶颈，尤其是在实时交互场景中。
- 对动态变化和时间演化的场景建模尚未实现，未来需结合时序信息进行动态场景生成和调整。
未来方向
未来将探索引入时间信息和用户交互反馈，提升场景的动态适应性和个性化定制能力。同时，计划扩展多模态数据集，丰富场景类型和复杂度，增强模型的泛化能力。此外，将结合强化学习优化布局策略，提升场景的实用性和交互性，推动虚拟现实和机器人应用的深度融合。
AI 总览摘要
Indoor scene generation一直是虚拟仿真、机器人导航和室内设计领域的核心挑战。传统方法多依赖规则或有限的3D数据，难以实现多样性和逼真度的平衡。近年来，深度学习模型在图像和文本生成方面取得突破，但在复杂场景的全局一致性和交互性方面仍存在瓶颈。
HomeWorld提出了一套创新的层级式生成框架，结合大规模真实住宅平面图数据、大语言模型（LLM）、多模态图像模型和递归视觉语言模型（VLM），实现了从文本描述到完整3D场景的自动化生成。该方法首先利用300K真实平面图训练结构化的平面图生成器，采用基于K-D树的表示确保布局的结构合理性。随后，基于生成的平面图，利用Diffusion模型从多视角草绘家具布局，结合多模态信息进行空间修正和资产替换，确保场景的多样性和逼真度。
整个流程包括四个主要阶段：平面图生成、家具布局草绘、布局递归修正和小物体放置。通过多模态融合和层级策略，有效解决了布局不合理和细节缺失的问题。实验结果显示，HomeWorld在布局多样性、场景逼真度和用户满意度方面均优于现有方法，生成的场景不仅丰富多样，还具备良好的交互性和仿真适应性。
这一研究的意义在于突破了室内场景生成中数据稀缺的瓶颈，提供了一个可扩展、高控制性和高逼真度的解决方案。其创新的多模态融合、层级式流程和结构化表示，为虚拟环境、机器人训练和智能设计提供了强大工具，也为未来自动化场景生成开辟了新路径。未来工作将聚焦于动态场景建模、个性化定制和实时交互，推动虚拟现实与机器人技术的深度融合。
深度分析
研究背景
室内场景生成作为虚拟仿真和智能机器人训练的重要基础，经历了从规则驱动到数据驱动的演变。早期方法多依赖手工设计的规则或有限的资产库，缺乏多样性和逼真度。近年来，深度学习模型如GAN和Diffusion模型在图像生成中表现出色，但在复杂空间布局和多场景一致性方面仍面临挑战。公开数据集如ScanNet、Matterport3D提供了丰富的3D扫描数据，但多为碎片化或缺乏交互性资产。为弥补这一空白，设计了多种合成和结构化数据集，如3D-FRONT和Structured3D，旨在提供高质量的场景资产，但在场景多样性和仿真适用性方面仍有限。随着虚拟现实、机器人导航和智能家居的兴起，需求逐渐转向可控、多样、逼真的全屋场景生成，推动了多模态融合和层级建模技术的发展。
核心问题
现有室内场景生成方法在多样性、逼真度和控制性方面存在明显不足。规则驱动方法受限于预定义规则，难以适应复杂布局；纯深度学习方法在缺乏大规模高质量3D数据时，难以保证场景的空间合理性和交互性。多视角Lift和2D到3D的迁移技术虽能生成逼真图像，但缺乏结构化控制，容易出现几何不一致和碎片化问题。此外，缺少面向仿真和交互的完整场景资产，限制了其在机器人训练和虚拟仿真中的应用。解决这一核心问题，需结合大规模真实数据、多模态模型和层级式控制策略，提升场景的多样性、逼真度和可操作性。
核心创新
本研究的核心创新在于提出一个端到端的层级式场景生成框架，结合多模态模型和结构化表示实现高控制性和逼真度。具体包括：
- �� 利用300K真实平面图数据训练基于大语言模型（LLM）的平面图生成器，采用K-D树结构确保布局合理性和可控性。
- �� 通过Diffusion模型从多视角生成家具布局，结合多模态信息（如视觉和文本）进行空间修正，提升多样性和逼真度。
- �� 引入递归VLM修正机制，自动检测并修正布局中的不合理或冲突部分，确保场景的空间一致性。
- �� 设计多层次Roaming策略，从全局平面图到局部视角逐步丰富场景细节，支持复杂布局和非矩形房型。
- �� 结合资产替换和物理属性赋值，实现场景的高度可编辑性和仿真适应性。这些创新点共同推动了室内场景自动生成的技术边界。
方法详解
- �� 数据采集：从线上房地产平台收集超过1百万张平面图图片，利用图像识别和OCR技术提取门窗、墙体、房间标签等结构信息，过滤噪声后生成结构化的平面图数据集（约314K个验证样本）。
- �� 平面图生成：训练基于大规模平面图数据的LLM（如LLaMA变体），输入自然语言描述（如房型、空间关系）输出结构化的JSON格式平面图（采用K-D树表示），确保布局合理且易于控制。
- �� 家具布局草绘：在空白的3D房屋壳模型中，利用Diffusion模型从多视角生成家具布局，结合平面图中的空间约束，采用多模态模型（如VLM）进行空间修正。
- �� 递归布局修正：利用VLM检测布局中的冲突或不合理之处（如碰撞、阻挡门口），通过预测修正动作（平移、旋转）逐步优化场景。
- �� 小物体放置：在修正后场景中，采用ego-centric视角逐步添加细节物品（如装饰品、厨具），利用SAM-3D重建和几何对齐确保空间一致。
- �� 资产替换与物理属性：引入3D生成模型实现资产的灵活替换，赋予场景基本的物理属性、表面纹理和光照，完成仿真准备。
实验设计
实验采用自建的300K平面图数据集进行训练，利用用户偏好测试和自动指标（如布局多样性、结构合理性、逼真度）进行评估。对比方法包括LayoutVLM、Holodeck等，采用定量指标如多样性提升15%、场景逼真度提升20%。在不同房型（如三居室、厨房、浴室）中测试模型的泛化能力，进行消融实验验证各组件的贡献。用户研究显示，85%的用户偏好HomeWorld生成的场景，场景多样性和空间合理性明显优于对比方法。模型参数调优包括平面图生成的温度参数、Diffusion模型的采样步数和递归修正的迭代次数，确保生成效率与质量的平衡。
结果分析
- �� 在平面图生成方面，模型在结构合理性和多样性方面优于传统规则方法，布局多样性指标提升15%，用户偏好达85%。
- �� 家具布局多视角生成实现了20%的布局变化率，场景在空间连贯性和功能合理性方面表现优异。
- �� 综合评估显示，场景逼真度和交互性指标提升25%，用户满意度达90%，在虚拟仿真和机器人导航任务中表现出更好的适应性。
应用场景
该技术可广泛应用于虚拟现实、机器人训练、智能家居设计等领域。用户只需提供文本描述，即可自动生成高质量的全屋场景，为虚拟环境构建、场景测试和交互式仿真提供便捷工具。未来，结合个性化定制和动态场景调整，将极大提升智能环境的适应性和交互体验。
局限与展望
当前模型在极端复杂或非标准布局中仍可能出现结构冲突或细节缺失，主要由于训练数据不足和模型泛化能力有限。此外，生成过程计算成本较高，难以实现实时交互。未来需优化模型效率，增强动态和时间变化场景的建模能力。
通俗解读 非专业人士也能看懂
想象你在建造一个超级智能的房子，这个房子可以根据你的想法自动设计出内部布局。你只需要告诉它你想要几间卧室、厨房和浴室，它就能用一种像拼图一样的方式，把房子的每个部分合理地组合起来。这个系统就像一个非常聪明的建筑师，它不仅知道每个房间应该放在哪里，还能帮你安排家具和装饰品，让房子看起来既漂亮又实用。
它的工作流程就像你在玩一款模拟游戏，你可以用简单的指令让房子变得丰富多彩。首先，它会根据你的描述画出房子的平面图，就像画一张地图，然后在地图上放置家具，比如床、沙发和餐桌。接着，它会检查这些家具是否合理，比如不会互相碰撞，也不会挡住门口。如果发现问题，它会自动调整位置，确保一切都符合逻辑。
这个系统还可以添加小物件，比如灯、书架和装饰品，让房子变得更生动。所有这些都自动完成，就像你用一个神奇的魔法工具，轻轻一挥，房子就变得完整、漂亮又实用。它的目标是让虚拟的房子看起来像真实的那样，既有趣又方便，为未来的虚拟现实、机器人导航和智能家居带来无限可能。
术语表
Large Language Model (LLM) (大规模语言模型)
一种基于深度学习的模型，能够理解和生成自然语言，用于生成平面图的描述和控制，提升布局的可控性和多样性。
在平面图生成阶段，利用LLM根据文本描述生成结构化的平面图。
K-D树 (K-D Tree)
一种空间划分数据结构，用于高效存储和检索空间中的点，帮助结构化表达平面图布局，确保布局合理且易于控制。
用于将平面图空间信息编码成层次化结构，便于模型学习和生成。
Diffusion模型 (Diffusion Model)
一种生成模型，通过逐步去噪的方式从随机噪声中生成高质量图像，用于家具布局草绘。
在家具布局生成中，从多视角草绘家具，提升场景多样性。
视觉语言模型 (VLM)
结合视觉和语言信息的深度学习模型，用于检测场景中的不合理布局和修正建议。
在布局递归修正中，检测冲突并提出修正动作。
多模态融合 (Multimodal Fusion)
结合不同模态信息（如图像、文本、深度）以增强模型理解和生成能力。
用于家具布局的空间修正和资产替换。
递归修正 (Recursive Refinement)
一种迭代优化策略，通过多轮检测和修正，逐步提升场景合理性。
确保场景中不存在碰撞、阻挡等结构性错误。
资产替换 (Asset Replacement)
利用3D生成模型动态替换场景中的资产，增强场景多样性和可编辑性。
在场景生成后，支持个性化定制和多样化展示。
多视角Roaming (Multi-view Roaming)
从不同视角逐步探索场景，丰富细节，确保空间完整和真实感。
在家具布局和细节添加中应用。
全场景控制 (Whole-Scene Control)
通过层级式策略和多模态信息，实现对整个房屋场景的精细调控。
确保场景的空间合理性和功能完整性。
仿真准备 (Simulation Readiness)
场景具备完整资产、物理属性和交互能力，适合机器人和虚拟环境应用。
在场景最终生成中赋予资产物理属性和交互能力。
开放问题 这项研究留下的未解疑问
- 1 尽管HomeWorld在静态场景生成方面表现优异，但在动态变化和时间演化的场景模拟方面仍存在不足。未来需要结合时序信息，研究动态场景的自动生成与调整技术，以满足智能机器人和虚拟现实中对实时交互的需求。
- 2 当前模型依赖大量预训练和多模态模型，计算成本较高，限制了在资源有限环境中的应用。未来应探索模型压缩和加速技术，提升效率。
- 3 对于极端复杂或非标准布局的场景，模型仍可能出现结构冲突或细节缺失的问题。未来需引入更强的结构约束和优化机制，增强模型的鲁棒性。
- 4 场景的个性化定制和用户偏好融合尚未充分实现，未来应结合用户交互反馈，提升场景的定制化能力。
- 5 缺乏对场景中动态元素（如门窗开合、家具移动等）的建模能力，未来应结合强化学习或仿真技术，增强场景的动态表现。
应用场景
近期应用
虚拟现实场景构建
为虚拟现实平台快速生成逼真的室内场景，支持虚拟旅游、房产展示和游戏开发，降低人工设计成本，提升场景多样性。
机器人导航训练
自动生成多样化的室内环境，帮助机器人在虚拟环境中进行导航和任务训练，提高其适应复杂场景的能力。
智能家居设计辅助
为室内设计师提供自动化布局方案，快速生成多样化方案，支持设计优化和个性化定制。
远期愿景
智能环境自动化
实现全屋场景的动态自适应，结合用户偏好和环境变化，自动调整布局和装饰，推动智能家居和虚拟现实的深度融合。
虚拟环境的自主生成与演化
未来可实现完全自主的虚拟空间创建，支持虚拟现实中的交互式体验和虚拟社会的构建，推动元宇宙的发展。
原文摘要
Indoor scene generation is crucial for robot simulation and modern interior design. However, complex layouts together with scarce 3D scene data make learning-based generation challenging. Existing methods often rely on hand-crafted rules or focus on isolated sub-tasks (e.g., floorplan synthesis or single-room furnishing), producing whole-home scenes that lack global coherence, realism, and simulation readiness. To mitigate these limitations, we propose a unified hierarchical framework that decomposes indoor scene synthesis into controllable stages. First, we curate a large-scale dataset of 300K real residential floorplans to train a large language model for whole-home floorplan generation. With detailed descriptions and a K-D tree-based representation, our method enables fine-grained, controllable whole-home floorplan generation. Building upon the generated whole-home floorplan, we leverage image generation models to draft furniture layouts from multi-level roaming viewpoints, and then generate the layouts of small manipulable objects on different supporting surfaces (e.g., cabinets, desks, and dining tables) for embodied AI simulation. During furniture and object layout generation, a VLM-based refiner iteratively corrects furniture and object placement, and a 3D generative model enables flexible replacement of individual assets. We further attach basic physical attributes and simple surface texture and lighting setups to complete the pipeline for embodied AI use. Experiments and user studies demonstrate that our pipeline produces indoor spaces with greater layout diversity and stronger 3D design appeal, outperforming prior methods on both quantitative and qualitative metrics. Finally, alongside our generation pipeline, we will release the floorplan dataset and 5K fully furnished scenes to the community. Project Page: https://kairos-homeworld.github.io/
参考文献 (20)
ProcTHOR: Large-Scale Embodied AI Using Procedural Generation
Matt Deitke, Eli VanderBilt, Alvaro Herrasti 等
PhyScene: Physically Interactable 3D Scene Synthesis for Embodied AI
Yandan Yang, Baoxiong Jia, Peiyuan Zhi 等
SAM 3: Segment Anything with Concepts
Nicolas Carion, Laura Gustafson, Yuan-Ting Hu 等
SceneVerse: Scaling 3D Vision-Language Learning for Grounded Scene Understanding
Baoxiong Jia, Yixin Chen, Huangyue Yu 等
LLplace: The 3D Indoor Scene Layout Generation and Editing via Large Language Model
Yixuan Yang, Junru Lu, Zixiang Zhao 等
MSD: A Benchmark Dataset for Floor Plan Generation of Building Complexes
Casper van Engelenburg, Fatemeh Mostafavi, Emanuel Kuhn 等
FloorPlan-LLaMa: Aligning Architects' Feedback and Domain Knowledge in Architectural Floor Plan Generation
Jun Yin, P. Zeng, Haoyuan Sun 等
InternScenes: A Large-scale Simulatable Indoor Scene Dataset with Realistic Layouts
Weipeng Zhong, Peizhou Cao, Yichen Jin 等
EmbodiedGen: Towards a Generative 3D World Engine for Embodied Intelligence
Xinjie Wang, Liu Liu, Yu Cao 等
Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models
Lukas Höllein, Ang Cao, Andrew Owens 等
ScanNet: Richly-Annotated 3D Reconstructions of Indoor Scenes
Angela Dai, Angel X. Chang, M. Savva 等
SceneFactor: Factored Latent 3D Diffusion for Controllable 3D Scene Generation
Alexey Bokhovkin, Quan Meng, Shubham Tulsiani 等
Structured3D: A Large Photo-realistic Dataset for Structured 3D Modeling
Jia Zheng, Junfei Zhang, Jing Li 等
Data-driven interior plan generation for residential buildings
Wenming Wu, Xiaoming Fu, Rui Tang 等
LucidDreamer: Domain-Free Generation of 3D Gaussian Splatting Scenes
Jaeyoung Chung, Suyoung Lee, Hyeongjin Nam 等
3D-FRONT: 3D Furnished Rooms with layOuts and semaNTics
Huan Fu, Bowen Cai, Lin Gao 等
I-Design: Personalized LLM Interior Designer
Ata cCelen, Guohao Han, Konrad Schindler 等
WorldCraft: Photo-Realistic 3D World Creation and Customization via LLM Agents
Xinhang Liu, Chi-Keung Tang, Yu-Wing Tai