SinAE: A Single-Architecture Flow-Matching Autoencoder for Cross-Domain Atomic Systems

TL;DR

SinAE:一种用于跨域原子系统的单架构流匹配自编码器,显著降低重建误差。

cs.LG 🔴 高级 2026-07-14 34 次浏览
Yuxuan Ren Fan Yang Jianhua Yao Yatao Bian
自编码器 跨域 原子系统 流匹配 Transformer

核心发现

方法论

SinAE使用普通Transformer作为编码器和解码器,采用流匹配解码器进行迭代重建,避免了对细粒度几何的编码需求。通过统一的重建目标实现跨域的近乎无损重建。

关键结果

  • 在QM9数据集上,SinAE实现了0.0002Å的重建RMSD,显著优于之前的基线。
  • 在MP-20数据集上,SinAE的重建RMSD为0.0017Å,跨域训练进一步提升了性能。
  • 在蛋白质数据集CASP15上,SinAE实现了0.013Å的CA-RMSD,表现优异。

研究意义

SinAE通过统一的架构和训练目标,实现了分子、晶体和蛋白质的高精度生成,解决了领域数据稀缺的问题。其跨域训练能力为化学和材料科学的研究提供了新的可能性。

技术贡献

SinAE在技术上突破了现有方法的局限,采用流匹配解码器实现了跨域的无损重建,并通过共享的原子潜在空间实现了跨域迁移。

新颖性

SinAE首次在单一架构下实现了分子、晶体和蛋白质的无损重建,突破了传统方法在架构和损失函数上的限制。

局限性

  • SinAE在处理更大规模的蛋白质时需要重新训练,受限于当前的长度预算。
  • 对于特定的晶体结构,可能需要额外的对称性处理。

未来方向

未来的研究方向包括扩展SinAE以支持更大规模的蛋白质结构,以及探索更多的跨域应用场景。

AI 总览摘要

SinAE是一种新型的跨域原子系统生成方法,解决了现有方法在架构和数据稀缺上的不足。通过使用普通Transformer作为编码器和解码器,SinAE实现了分子、晶体和蛋白质的高精度生成。

其核心技术是流匹配解码器,该解码器通过迭代重建实现了跨域的无损重建,显著降低了重建误差。实验结果显示,SinAE在多个基准数据集上均表现出色,尤其是在QM9和MP-20数据集上,其重建RMSD远低于现有基线。

SinAE的跨域训练能力为化学和材料科学的研究提供了新的可能性。然而,在处理更大规模的蛋白质结构时,SinAE需要重新训练,这也是未来研究的一个重要方向。

深度分析

研究背景

近年来,原子系统的生成技术在药物发现、材料设计和蛋白质工程中发挥了重要作用。然而,现有的方法通常局限于特定领域,难以实现跨域的高效生成。传统的分子生成器依赖于等变消息传递网络,而晶体生成器需要处理周期性边界条件和晶格基不变性。蛋白质生成器则依赖于残基级参数化。这些方法在数据稀缺的情况下表现不佳。

核心问题

现有的生成方法在处理跨域原子系统时面临挑战,尤其是在架构和损失函数的设计上。如何在单一架构下实现分子、晶体和蛋白质的高精度生成,是一个亟待解决的问题。

核心创新

SinAE通过引入流匹配解码器,实现了跨域的无损重建。其创新之处在于使用普通Transformer作为编码器和解码器,避免了对细粒度几何的编码需求。与传统方法相比,SinAE在架构和损失函数上更加统一。

方法详解

  • �� 使用普通Transformer作为编码器和解码器。
  • �� 采用流匹配解码器进行迭代重建。
  • �� 通过统一的重建目标实现跨域的近乎无损重建。
  • �� 在训练过程中,使用随机SO(3)旋转增强模型的旋转鲁棒性。

实验设计

实验在QM9、MP-20和CASP15等标准数据集上进行。使用Adam优化器,学习率为10^-4。评估指标包括重建RMSD和结构匹配率。实验结果显示,SinAE在所有数据集上均实现了显著的性能提升。

结果分析

SinAE在QM9数据集上实现了0.0002Å的重建RMSD,在MP-20数据集上为0.0017Å,均显著优于现有基线。在CASP15数据集上,SinAE实现了0.013Å的CA-RMSD,表现优异。

应用场景

SinAE可用于药物发现中的分子生成、材料科学中的晶体设计以及蛋白质工程中的结构预测。其跨域训练能力为这些领域的研究提供了新的可能性。

局限与展望

SinAE在处理更大规模的蛋白质时需要重新训练,受限于当前的长度预算。对于特定的晶体结构,可能需要额外的对称性处理。未来的研究方向包括扩展SinAE以支持更大规模的蛋白质结构,以及探索更多的跨域应用场景。

通俗解读 非专业人士也能看懂

想象你在厨房里做饭。每种食材都有自己的特性,比如蔬菜需要切块,肉类需要腌制。现有的方法就像不同的厨具,每种厨具只能处理特定的食材。SinAE就像一把万能刀,可以处理所有食材,无论是切块、腌制还是煮熟。它通过一种新的切割技术,确保每种食材都能被完美处理,而不需要更换刀具。这种技术不仅节省了时间,还提高了效率,让你可以在短时间内准备出一桌美味佳肴。

简单解释 像给14岁少年讲一样

嘿,小伙伴们!想象一下你在玩一个超级酷的游戏,你需要建造一个完美的城市。每个建筑都有自己的规则,比如学校需要在安静的地方,商店要靠近居民区。现有的方法就像不同的建筑工具,每个工具只能建造特定的建筑。SinAE就像一个超级工具,可以建造所有类型的建筑,无论是学校、商店还是公园。它通过一种新的建造方式,确保每个建筑都能完美地融入城市,而不需要更换工具。这种方式不仅节省了时间,还让你的城市更加美丽和高效!

术语表

自编码器 (Autoencoder)

一种神经网络,用于学习数据的有效表示。

SinAE使用自编码器进行跨域原子系统的生成。

流匹配 (Flow Matching)

一种优化技术,用于提高生成模型的重建精度。

SinAE的解码器采用流匹配技术进行迭代重建。

Transformer

一种基于注意力机制的神经网络架构,广泛用于自然语言处理。

SinAE使用普通Transformer作为编码器和解码器。

RMSD (均方根偏差)

一种用于衡量结构重建精度的指标。

SinAE在多个数据集上实现了低RMSD。

跨域训练 (Cross-Domain Training)

一种训练方法,通过共享的潜在空间实现不同领域间的知识迁移。

SinAE通过跨域训练提高了生成模型的性能。

开放问题 这项研究留下的未解疑问

  • 1 如何在不增加计算复杂度的情况下扩展SinAE以支持更大规模的蛋白质结构?
  • 2 在处理特定晶体结构时,如何更好地处理对称性问题?

应用场景

近期应用

药物发现

SinAE可以用于生成新型分子结构,加速药物研发进程。

远期愿景

材料设计

通过跨域生成技术,SinAE可以帮助设计具有特定性质的新材料。

原文摘要

Small molecules, crystals, and proteins all reduce to atoms in 3D space, yet their generative pipelines remain fragmented across domains, each with its Small molecules, crystals, and proteins all reduce to atoms in 3D space, yet their generative pipelines remain fragmented across domains, each with its own graph, equivariant, or frame-based architecture. Cross-domain training would mitigate per-domain data scarcity, but direct generation in 3D coordinate space cannot easily handle the heterogeneous structural priors of all three domains, and no prior latent autoencoder is simultaneously lossless and architecturally general across all three. We introduce SinAE, a single-architecture flow-matching autoencoder for molecules, crystals, and proteins, with vanilla Transformer encoder and decoder and no equivariant, graph, or domain-specific operators. Rather than requiring the encoder to capture fine-grained geometry, SinAE shifts the reconstruction burden into an iterative flow-matching decoder, achieving near-lossless reconstruction across domains and reducing reconstruction errors by orders of magnitude relative to prior latent baselines. The same per-token latent supports a standard Diffusion Transformer prior that reaches strong performance on molecular, crystal, and protein generation benchmarks. Joint molecule--crystal training strictly improves both domains, providing direct evidence of cross-domain transfer through a shared atomic latent. Code is available at https://github.com/BlueWhaleLab/SinAE .

cs.LG