核心发现
方法论
FreqFM采用离散余弦变换(DCT)将动作频率显式化，并在流匹配的三个阶段中引入频率条件化：频谱匹配的源分布、功率归一化的多任务优化目标、以及频率约束的推理指导。该方法无需修改VLA主干网络。
关键结果
- 在LIBERO-Plus基准上，FreqFM相较于时间域基线提升9.3个百分点，尤其在Camera和Robot扰动下表现显著提升。
- 在VLA-Arena基准上，FreqFM在π0.5主干上总成功率提升4.2个百分点，特别是在长时间任务中表现优异。
- 在真实机器人任务中，FreqFM在需要精确对齐的任务中表现出显著优势，例如文件夹插入任务成功率提升23%。
研究意义
FreqFM通过显式建模动作的频率特性，解决了现有流匹配方法无法有效处理频率异质性的问题，为机器人多模态生成模型提供了新的设计空间，显著提升了模型在复杂场景中的鲁棒性和泛化能力。
技术贡献
FreqFM首次将频率作为流匹配的条件化维度，提出了频谱匹配的源分布、功率归一化的多任务优化目标和频率约束的推理指导，解决了频率分布不均对生成质量的影响。
新颖性
FreqFM是首个在流匹配框架中显式建模频率特性的工作，与现有方法相比，其创新在于将频率从隐式属性提升为显式条件化维度。
局限性
- 频率统计依赖于训练数据分布，当测试分布偏离训练分布时性能可能下降。
- 推理阶段的频率约束需要额外计算，可能增加计算开销。
- 方法在高频动作分量较少的任务中增益有限。
未来方向
未来工作可探索动态调整频率条件化参数以适应分布偏移，并研究如何将FreqFM扩展到更广泛的多模态生成任务。
AI 总览摘要
现有基于流匹配的视觉-语言-动作(VLA)模型通常在时间域生成动作轨迹，未能显式建模动作的频率特性。FreqFM通过引入频率条件化流匹配框架，将动作频率从隐式属性提升为显式条件化维度，显著改善了模型在复杂场景中的性能。
FreqFM的核心创新包括：1) 在离散余弦变换(DCT)频率坐标中构建频谱匹配的源分布，减少源目标协方差失配；2) 通过功率归一化的多任务优化目标平衡不同频率的贡献；3) 在推理阶段约束频率指导残差，确保生成轨迹的频率一致性。这些改进无需修改VLA主干网络。
实验结果表明，FreqFM在LIBERO-Plus基准上提升了9.3个百分点，在VLA-Arena基准上提升了4.2个百分点，并在真实机器人任务中表现出色。尽管存在对训练分布依赖的局限性，FreqFM为多模态生成模型提供了新的设计思路，具有广泛的应用潜力。
深度分析
研究背景
机器人动作生成需要处理时间相关的轨迹，其频率分量具有高度非均匀的能量分布。现有基于流匹配的VLA模型在时间域生成动作，未能显式建模频率特性，导致在复杂场景中表现受限。
核心问题
现有方法未能有效处理动作频率的异质性，尤其是低频和高频分量的能量差异可能导致生成质量下降。这一问题在复杂场景和长时间任务中尤为显著。
核心创新
FreqFM的核心创新包括：1) 使用DCT将动作频率显式化；2) 构建频谱匹配的源分布，减少协方差失配；3) 引入功率归一化的多任务优化目标；4) 在推理阶段约束频率指导残差。
方法详解
- �� 使用DCT将动作转换到频率坐标。
- �� 构建频谱匹配的源分布，确保源目标频率一致。
- �� 通过功率归一化的多任务目标优化频率贡献。
- �� 在推理阶段约束频率指导残差，确保频率一致性。
实验设计
实验在LIBERO、LIBERO-Plus和VLA-Arena基准上进行，评估模型在多种场景和扰动下的性能。此外，还在真实机器人任务中验证了方法的实际应用效果。
结果分析
FreqFM在LIBERO-Plus上提升9.3分，在VLA-Arena上提升4.2分。在真实机器人任务中，复杂任务的成功率显著提高。
应用场景
FreqFM适用于需要生成复杂动作轨迹的机器人任务，如工业自动化、服务机器人和人机交互。
局限与展望
FreqFM对训练分布依赖较强，可能在分布偏移时性能下降。此外，推理阶段的计算开销略有增加。
通俗解读 非专业人士也能看懂
想象你在厨房准备食材。低频动作像搬运食材，高频动作像切菜。FreqFM就像一个智能助手，能根据不同任务调整动作的频率分量，既高效又精准。
简单解释 像给14岁少年讲一样
想象你玩一个机器人游戏，机器人要完成任务，比如搬东西或精确放置物品。FreqFM就像一个超级外挂，能让机器人更聪明地处理复杂任务，特别是在困难的场景下！
术语表
流匹配 (Flow Matching)
一种生成方法，通过学习条件速度场将简单分布映射到目标分布。
用于生成机器人动作轨迹。
离散余弦变换 (DCT)
一种将信号转换到频率域的数学工具。
用于显式化动作的频率分量。
频谱匹配
调整源分布的频率特性以匹配目标分布。
减少源目标协方差失配。
功率归一化
通过归一化频率分量的功率平衡优化目标。
用于多任务优化目标。
频率指导残差
推理阶段的额外频率调整，用于确保生成轨迹的频率一致性。
在推理阶段约束生成质量。
开放问题 这项研究留下的未解疑问
- 1 如何动态调整频率条件化参数以适应分布偏移？
- 2 如何将FreqFM扩展到非机器人领域的多模态生成任务？
应用场景
近期应用
工业机器人
提升工业机器人在复杂任务中的精确性和鲁棒性，如装配和搬运。
服务机器人
改进服务机器人在动态环境中的表现，如家庭助理或医疗辅助。
远期愿景
通用机器人智能
通过频率建模提升机器人在开放世界中的适应能力，实现更高水平的通用智能。
原文摘要
Robot actions are temporally correlated trajectories whose frequency components encode motion at different scales with highly non-uniform energy distributions. Yet Flow Matching--based vision-language-action (VLA) models typically generate actions in temporal coordinates, without explicitly modeling or systematically leveraging this frequency heterogeneity. We introduce \emph{FreqFM}, a frequency-conditioned Flow Matching framework for VLA models. It raises action frequency from an implicit trajectory property to an explicit conditioning dimension that spans the entire generation pipeline. Concretely, in DCT frequency coordinates, FreqFM constructs a spectrum-matched source distribution, adaptively balances the objective across frequencies, and constrains per-frequency guidance residuals using the corresponding reference transport scales. FreqFM integrates into existing Flow Matching action experts without changing the VLA backbone. Across LIBERO, LIBERO-Plus, and VLA-Arena, FreqFM consistently improves performance, including a 9.3-point gain on LIBERO-Plus, and further demonstrates its effectiveness on six real-robot tasks.