DeepJEB++: Foundation Model-Driven Large-Scale 3D Engineering Dataset via 2D Latent Space Augmentation

TL;DR

DeepJEB++通过2D潜空间增强,扩展小样本喷气发动机支架3D数据集,自动标注性能指标。

cs.LG 🔴 高级 2026-06-11 40 次浏览
Soyoung Yoo Leekyo Jeong Jinsu Ra Dongeon Lee Sunwoong Yang Hyogu Jeong Namwoo Kang
3D数据增强 基础模型 工程设计 生成模型 自动标注

核心发现

方法论

DeepJEB++采用三阶段策略:第一阶段在多视角渲染基础上微调预训练的2D潜扩散模型,通过潜空间插值生成新视图,并利用视觉-语言模型筛选高质量设计;第二阶段将筛选后图像利用领域适应的生成基础模型升至3D网格,确保几何细节;第三阶段自动识别载荷和螺栓接口,利用有限元分析自动赋予质量标签。该流程在有限资源下,从少于400个种子设计扩展到15360个带仿真标签的3D支架,展现出跨模态迁移与自动化的强大能力。

关键结果

  • 从不到400个种子设计,成功生成15360个带仿真标签的3D支架,扩展倍率达40倍,且每阶段仅用单GPU,验证了模型的高效性和可扩展性。
  • 在制造可行性、标签保真度和分布一致性三个指标上均表现优异,筛选后高质量图像达2.2万余张,显著优于传统数据增强技术。
  • 采用领域适应的3D生成模型TRELLIS,能从单视角重建几何细节,保证了后续有限元分析的准确性,验证了自动标签的可靠性。

研究意义

该研究突破了工程领域大规模3D数据集缺乏的瓶颈,利用预训练基础模型实现跨模态迁移,极大降低了数据扩展成本,为机械设计、结构优化等应用提供了丰富的仿真数据基础。其自动化流程减少了人工干预,提高了数据生成的效率和一致性,推动了AI在工程设计中的普及与应用。未来,该方法可扩展至其他复杂结构和多物理场仿真,助力智能制造和数字孪生的发展。

技术贡献

本研究创新性地将2D潜空间插值与3D几何重建相结合,突破了传统依赖手工设计和领域特定生成模型的限制。引入视觉-语言模型进行质量筛选,有效避免生成伪造和缺陷图像,提升数据质量。采用领域适应的TRELLIS模型实现高效多格式3D重建,支持单视角重建,显著降低计算成本。整个流程实现了在有限硬件条件下,从少量种子设计快速扩展大规模高质量3D工程数据集,为工程AI应用提供了新范式。

新颖性

本工作首次提出在工程领域中,利用预训练的2D潜空间插值结合视觉-语言模型进行高效自动化数据增强,突破了传统3D生成的规模瓶颈。与以往依赖从零训练的隐式表示模型不同,采用跨模态迁移策略,显著提升了几何多样性和边界条件的多样性,填补了工程数据自动化扩展的空白。

局限性

  • 当前流程依赖多视角渲染,可能在复杂几何或细节丰富的结构中表现不足,存在重建精度限制。
  • 自动识别载荷和螺栓接口仍受几何复杂度影响,部分边界条件识别可能出现误差。
  • 模型在极端变形或非标准设计上泛化能力有限,未来需引入更强的鲁棒性机制。

未来方向

未来将探索多模态融合技术,增强模型对复杂几何和物理边界的理解能力,提升生成多样性和精度。同时,计划引入主动学习策略,优化筛选流程,扩大数据集规模,推动工程仿真与优化的深度融合。

AI 总览摘要

在现代工程设计中,获取大规模高质量的3D数据集一直是制约创新的关键难题。传统方法依赖手工建模和高成本仿真,难以满足快速迭代和多样性需求。本文提出的DeepJEB++框架,利用预训练的2D潜空间模型,通过多视角插值生成大量高质量的设计图像,并结合视觉-语言模型进行筛选,确保设计的制造可行性。随后,采用领域适应的3D生成模型TRELLIS,将筛选后的图像升格为三维网格,保证几何细节的完整性。最后,自动识别载荷和螺栓接口,结合有限元分析自动赋予性能标签,实现从少量种子设计到大规模仿真数据的快速扩展。整个流程在资源有限的条件下,仅用单GPU,即可从400个样本扩展到15360个带标签的工程支架,展现出极强的效率和实用性。这一创新方法不仅突破了工程数据的规模瓶颈,也为自动化设计、结构优化和数字孪生等领域提供了宝贵的数据基础。未来,随着多模态技术和主动学习的引入,DeepJEB++有望在更复杂的结构和多物理场仿真中发挥更大作用,推动工程智能化的快速发展。

深度分析

研究背景

工程设计中,3D几何模型与物理性能标签的结合是实现智能优化的基础。ShapeNet等通用数据集虽规模庞大,但缺乏工程性能信息。SimJEB提供有限的FEA数据,深度学习模型如DeepJEB尝试自动扩展,但受限于隐式表示的几何平滑和边界条件单一。近年来,预训练基础模型在图像和3D生成中表现出色,但在工程领域的应用仍受制于数据规模和多样性不足的问题。本研究旨在突破这一瓶颈,通过跨模态迁移实现高效自动化数据增强。

核心问题

现有工程3D数据集规模有限,难以满足深度学习对大规模、多样性数据的需求。手工建模和仿真成本高昂,限制了数据的快速扩展。传统增强技术在保持几何细节和边界条件多样性方面表现不足,导致模型泛化能力有限。如何在有限资源下,自动生成高质量、多样化的工程3D模型,成为亟待解决的核心问题。

核心创新

本研究提出利用预训练的2D潜空间模型进行多视角插值,生成丰富的设计变体,解决几何多样性不足的问题。引入视觉-语言模型进行自动质量筛选,有效避免伪造和缺陷设计。采用领域适应的TRELLIS模型实现高效多格式3D重建,支持单视角重建,降低计算成本。整体流程实现了跨模态迁移与自动化,极大提升数据扩展效率,突破传统工程数据瓶颈。

方法详解

  • ��第一阶段:在多视角渲染基础上微调预训练的2D潜扩散模型,利用潜空间插值生成新视图,并用VLM筛选高质量设计。
  • ��第二阶段:将筛选后图像通过领域适应模型升格为3D网格,确保几何细节的完整。
  • ��第三阶段:自动识别载荷和螺栓接口,结合有限元分析自动赋予性能标签。
  • ��整个流程依赖少量种子设计,利用跨模态迁移实现大规模数据扩展,确保几何多样性和边界条件的多样性。

实验设计

采用SimJEB数据集作为种子,渲染26视角生成多视图图像,微调Stable Diffusion模型,进行潜空间插值,筛选后升格为3D网格。评估指标包括制造可行性、标签保真度和分布一致性。对比传统方法,验证了在单GPU条件下,数据扩展倍率达40倍,生成的模型在FEA中表现出良好的性能和多样性。

结果分析

从不足400个样本扩展到15360个带仿真标签的3D支架,验证了方法的高效性。筛选后高质量设计达2.2万余张,几何多样性明显优于传统增强技术。利用领域适应模型,单视角重建几何细节,保证了后续仿真准确性。整体流程展现出在有限硬件条件下实现大规模工程数据自动化的潜力。

应用场景

该方法可广泛应用于机械设计、结构优化、数字孪生等领域,快速生成多样化的工程3D模型,降低数据获取成本,提升仿真效率。未来还可结合多物理场仿真,支持复杂结构的自动设计与优化,为工业智能化提供坚实基础。

局限与展望

当前流程在复杂几何和细节丰富结构中可能存在重建精度不足的问题,自动接口识别在高复杂度模型中也会出现误差。模型泛化能力有限,需引入更鲁棒的算法。未来需解决多场耦合仿真和多尺度建模的挑战,以实现更广泛的工业应用。

通俗解读 非专业人士也能看懂

想象你在一个工厂里,工人们需要制造各种不同的机械零件。过去,每个零件都要用手工设计,然后用昂贵的机器进行测试,这样既费时又费钱。现在,科学家们发明了一种智能系统,就像一个超级聪明的画家,它可以从少量的设计图开始,通过模仿和变换,快速画出许多不同的零件。这些画出来的零件还可以自动检测是否符合制造要求,比如是否坚固、是否容易装配。接着,系统还能把这些2D的设计变成3D模型,就像把平面画变成立体模型一样。最后,系统会自动给每个模型贴上性能标签,比如承重能力、变形程度,就像老师给作业打分一样。这种方法让工厂可以用更少的人力和时间,制造出更多更好的零件,大大提高了生产效率,也让设计变得更智能、更灵活。

简单解释 像给14岁少年讲一样

想象你在学校的美术课上,有一个超级厉害的画家,他可以用少量的画作,变出很多不同的画风。这个画家不仅能画出漂亮的画,还能帮你检查画的细节,比如颜色是否搭配、线条是否流畅。现在,科学家们用类似的想法,开发了一个智能系统,叫DeepJEB++,它可以从少量的工程设计图开始,变出很多不同的机械零件模型。它先用一个特别聪明的“画家”——一个叫潜空间模型——在很多角度画出零件,然后用一种叫视觉-语言模型的“检查员”筛选出最好的设计。接着,它用另一个“3D工厂”把这些平面图变成立体模型。最后,系统还能自动给模型贴上性能标签,比如承重、变形等,就像老师给作业打分一样。这让工厂不用花很多时间和钱,就能快速制造出各种复杂的零件,变得更聪明、更快、更便宜!

原文摘要

Data-driven engineering design is constrained by the lack of large-scale 3D datasets that pair geometry with physics-based performance labels. In particular, existing 3D data augmentation techniques have limitations in preserving subtle and diverse geometric variations, and it remains difficult to automate the subsequent simulation-labeling process, where boundary conditions vary depending on the generated geometry. We present DeepJEB++, a foundation-model-driven data-augmentation framework that expands a small seed set of jet engine brackets into a large, simulation-labeled 3D dataset under constrained resources. Our key idea is to augment in the data-rich 2D latent space, then transfer to 3D. In Stage 1, we fine-tune a pretrained 2D latent diffusion model on multi-view renders and synthesize novel views by latent interpolation, retaining manufacturable designs through a vision-language-model (VLM) quality filter. In Stage 2, the validated images are lifted to 3D meshes by a domain-adapted generative foundation model. In Stage 3, an automated pipeline recognizes the load and bolt interfaces on each mesh and assigns finite-element labels -- mass, stress, and displacement -- without manual intervention. We assess augmentation quality along three intrinsic axes: manufacturability, label fidelity against the SimJEB ground truth, and distributional consistency. Starting from fewer than 400 seed designs, DeepJEB++ yields 15,360 simulation-labeled 3D brackets -- a 40x expansion -- using a single GPU per stage. The dataset will be made publicly available to support reproducible engineering-AI research.

cs.LG cs.CE