核心发现
方法论
本文提出基于点云的几何条件自回归框架BrickAnything，结合结构感知树Tokenization，将砖块结构表示为局部连接关系序列。模型采用OPT-350M变换器，通过点云编码器提取几何特征，利用构建的结构树序列进行逐步生成。引入偏好引导的DPO训练策略，结合几何保真和结构稳定性奖励，优化生成质量。推理阶段采用有效性约束解码和基于稳定性的回滚机制，确保生成结构的物理可行性。实验显示，该方法在几何保真度和稳定性方面优于传统方法，显著减少回滚次数，提升构造的合理性。
关键结果
- 在ShapeNet和Objaverse数据集上，BrickAnything实现了83.4%的稳定率和100%的有效率，IoU达到0.586，平均回滚次数仅为0.422，优于基线方法。对比传统启发式搜索，显著提升了复杂几何目标的构建成功率。结构感知Tokenization有效减少了回滚和重建，增强了序列的结构一致性。
- 引入偏好引导的DPO后，模型在几何和结构指标上均有提升，IoU提升约4%，稳定率提升至83.4%。有效性约束和回滚机制进一步保证了生成结构的物理稳定性，提升了整体建造的可靠性。
- 消融实验表明，去除结构感知Tokenization或偏好引导会导致回滚次数增加50%以上，几何保真度下降，验证了各组件的协同作用和重要性。
研究意义
该研究突破了传统砖块结构生成的局限，提出了融合几何信息与结构关系的统一模型，为复杂3D结构的自动化设计提供了新途径。其在建筑、机器人装配等领域具有广泛应用潜力，尤其适合自动化建造和虚拟仿真。通过引入结构感知Tokenization，有效解决了序列生成中的结构依赖问题，提升了模型的物理可行性和泛化能力，为未来智能制造和数字建筑奠定基础。
技术贡献
本研究的核心创新在于提出结构感知树Tokenization，将砖块结构转化为局部连接关系序列，显著改善了序列的结构表达能力。结合点云几何编码和变换器模型，实现了多模态几何条件下的高效生成。引入偏好引导的DPO策略，有效优化了结构稳定性和几何保真指标，超越了传统最大似然训练。推理中采用的有效性约束和基于稳定性的回滚机制，增强了生成的物理可靠性。这些技术创新为3D结构生成提供了新的理论和工程工具。
新颖性
本工作首次将结构感知树Tokenization应用于砖块结构生成，显著区别于以往基于全局序列的表示方法。结合点云几何编码与结构关系建模，提出了端到端的建造序列生成框架，并通过偏好引导的奖励机制优化结构稳定性，填补了几何条件生成与结构约束之间的空白。这在学术和工业应用中具有开创性意义。
局限性
- 模型在极端复杂或非规则几何形状下仍可能出现结构不稳定或几何偏差，主要受限于点云编码的表达能力和结构树的局部连接假设。
- 训练依赖大量高质量的几何数据，数据偏差可能影响模型泛化能力，且训练成本较高。
- 推理过程中，回滚机制虽提升稳定性，但在极端场景下仍可能无法完全避免结构失稳或生成失败。
未来方向
未来可探索多模态输入（如图像、文本）与点云的融合，提升模型的泛化能力。优化结构感知Tokenization的表达效率，支持更复杂的几何和结构关系。结合强化学习或模拟环境，进一步提升生成结构的物理可靠性和实际建造的可行性。
AI 总览摘要
BrickAnything提出了一种基于点云的几何条件自回归框架，旨在生成符合结构稳定性和几何保真的砖块结构。传统方法多依赖启发式搜索或语义引导，难以同时保证复杂几何形状的物理可建造性。本文创新性地引入结构感知树Tokenization，将砖块结构转化为局部连接关系序列，更贴近实际建造过程。结合点云编码和变换器模型，实现了多模态几何指导下的高效序列生成。通过偏好引导的DPO训练，模型在几何和结构指标上均优于现有方法，显著减少了回滚次数，提升了结构稳定性和几何保真度。推理阶段采用有效性约束和基于稳定性的回滚机制，有效保障了生成结构的物理可行性。大量实验验证了该方法在复杂几何目标上的优越性能，为自动化建筑设计和虚拟仿真提供了新工具。未来，结合多模态输入和强化学习，有望实现更智能、更可靠的自动建造系统。
深度分析
研究背景
随着数字几何和自动化建造的发展，基于离散砖块的结构设计逐渐成为研究热点。早期方法多依赖启发式规则或搜索算法，如Legolization，强调结构稳定和空间布局，但在复杂几何和大规模场景中表现有限。近年来，深度学习模型如BrickGPT、BrickNet引入序列预测思想，提升了生成的灵活性，但多依赖语义或二维视觉信息，难以保证几何精度和物理可建造性。点云作为丰富的空间几何表达，逐渐成为主流输入方式，但如何结合结构关系进行高效生成仍是挑战。
核心问题
现有方法在生成复杂几何结构时，常因缺乏明确的结构关系建模而导致生成结果不稳定或不符合物理建造要求。启发式搜索虽能保证稳定性，但计算成本高且缺乏泛化能力。深度学习方法虽具灵活性，但多忽略局部连接关系，导致生成序列缺乏结构一致性。如何在保证几何保真度的同时，确保结构的稳定性和可建造性，成为亟待解决的问题。
核心创新
本研究提出结构感知树Tokenization，将砖块结构转化为局部连接关系序列，更贴近实际建造流程，提升序列的结构表达能力。结合点云几何编码，利用变换器模型实现多模态条件下的高效生成。引入偏好引导的DPO训练策略，优化结构稳定性和几何保真指标，超越传统最大似然训练。推理中采用有效性约束和基于稳定性的回滚机制，增强生成的物理可靠性。这些创新共同推动了3D结构生成技术的发展。
方法详解
- �� 输入：多模态3D数据（点云、网格等）通过预训练编码器提取几何特征；
- �� 树Tokenization：构建砖块的局部连接关系树，根节点为底部砖块，子节点通过局部连接关系编码；
- �� 结构序列生成：利用变换器模型逐步预测砖块的局部连接关系和位置；
- �� 训练：结合最大似然和偏好引导的奖励，优化模型参数；
- �� 推理：采用有效性约束筛选候选，利用稳定性回滚修正不稳定结构，确保物理可行性。
实验设计
采用ShapeNet和Objaverse数据集，训练模型并在稳定和复杂目标上评估。指标包括IoU、Chamfer距离、结构有效率和稳定率。对比启发式方法和基线模型，验证结构感知Tokenization和偏好引导的有效性。进行消融实验，分析各组件贡献。参数调优确保模型在多样几何目标上的泛化能力。
结果分析
在复杂目标上，模型实现83.4%的稳定率，IoU达0.586，回滚次数平均为0.422，优于传统方法。偏好引导提升了几何和结构指标，结构感知Tokenization减少了回滚和重建，验证了其有效性。消融实验显示，去除结构感知Tokenization或偏好引导会导致性能明显下降。
应用场景
可应用于自动建筑设计、虚拟仿真、机器人装配等场景，支持复杂几何结构的自动化生成。依赖点云输入，适合工业机器人和虚拟环境中的结构规划。未来结合多模态信息，将推动智能制造和数字建筑的发展。
局限与展望
模型在极端复杂或非规则几何下仍存在稳定性不足的问题，受限于点云表达能力。训练依赖大量高质量数据，计算成本较高。回滚机制虽有效，但在极端场景下仍可能失效，未来需优化模型的泛化和鲁棒性。
通俗解读 非专业人士也能看懂
想象你在搭建一个乐高城堡。每一块砖都必须正确连接，才能保证城堡稳固。传统方法就像用手工拼装，既费时又容易出错。而这项技术就像有个聪明的机器人助手，它能根据城堡的设计图，自动选择合适的砖块，按照正确的顺序拼装。它不仅能理解每块砖的形状和位置，还能判断城堡是否会倒塌。通过学习大量的城堡模型，它变得越来越聪明，能在保证城堡稳固的同时，还能快速完成拼装。这就像有了一个智能的搭建伙伴，让复杂的建筑变得简单又可靠。
简单解释 像给14岁少年讲一样
想象你在玩乐高积木游戏，你要搭建一座漂亮又稳固的城堡。以前的方法就像你自己慢慢拼，容易拼错或倒塗。而现在，有个超级聪明的机器人助手，它可以帮你快速找到正确的砖块，告诉你怎么拼，确保城堡不会倒。它会看你的设计图（像点云一样的空间信息），然后一步步拼出城堡，还能在发现砖块不稳时，自动重新调整。这个机器人学会了很多城堡的搭建方法，能帮你省时省力，还能建得更漂亮、更稳固。未来，它还能帮建筑师设计更复杂的建筑，甚至帮机器人自己搭建房子！
原文摘要
Generating physically buildable brick structures from 3D shapes requires more than geometric reconstruction: the output must also satisfy discrete part constraints and structural stability. Existing brick generation methods either rely on heuristic optimization, which can break down when the target 3D shape does not admit a feasible structure under predefined constraints, or generate brick sequences without explicitly modeling the underlying 3D geometry and assembly relations. In this work, we present BrickAnything, a geometry-conditioned autoregressive framework for generating buildable brick structures from diverse 3D representations. BrickAnything uses point clouds as a unified geometric interface and predicts brick sequences that reconstruct the target shape under assembly constraints. To model structural dependencies among bricks, we introduce a structure-aware tree tokenization, which represents brick structures through local attachment relations. This formulation makes sequence generation more consistent with the physical construction process, and reduces invalid intermediate states. We further introduce preference-based alignment post-training, validity-constrained decoding and adaptive rollback to improve buildability objectives such as stability and geometric fidelity. Extensive experiments demonstrate that BrickAnything produces geometrically faithful and physically realizable brick structures, and that the proposed tokenization effectively reduces rollback and regeneration compared with conventional ordering strategies.