Modulating State Space Model with SlowFast Framework for Compute-Efficient Ultra Low-Latency Speech Enhancement
提出SlowFast框架结合状态空间模型，实现2ms低延迟语音增强，计算降低70%。
核心发现
方法论
本文提出的SlowFast框架由两个分支组成：低帧率的慢分支分析声学环境，高帧率的快分支在时域进行语音增强。快分支采用状态空间模型（SSM），其状态转移由慢分支动态调制。具体实现中，慢分支通过GRU和全连接层提取环境特征，生成调制参数ϵS，随后在快分支中用以调节状态转移矩阵。快分支中的状态转移矩阵简化为对角矩阵，减少参数量，提升效率。训练采用多任务损失，包括谱MSE、SISNR、PESQ和STOI，确保增强质量。实验在Voice Bank+Demand数据集上，满足2ms算法延迟，展示了70%的计算成本节省，且性能与单分支网络持平。
关键结果
- 在Voice Bank+Demand数据集上，基于SSMM的SlowFast模型在2ms延迟条件下，PESQ-NB达3.12，SISNR达16.62，计算成本仅为100M MACs/s，显著优于传统单分支网络（MACs约126M），性能无明显下降。
- 在样本级别极低延迟（62.5μs）场景中，模型只需每1ms计算一次慢分支，极大降低了边缘设备的计算负担，适合实时应用。
- 不同调制方式（EC、FiLM、SSMM）中，SSMM表现出更强的鲁棒性和性能稳定性，尤其在调制频率较低时仍能保持优异性能。
研究意义
该研究突破了低延迟语音增强的计算瓶颈，首次实现单样本级延迟（62.5μs）下的高效神经网络。通过多分支调制机制，有效利用环境信息，显著降低边缘设备的计算压力，为未来实时语音处理提供新思路。该方法兼顾性能与效率，适应多场景应用需求，如语音通信、虚拟现实等，推动深度学习在低延迟语音处理中的应用落地。
技术贡献
提出结合状态空间模型的Fast分支，通过慢分支调制状态转移，实现信息的动态调节，突破传统单分支架构的计算限制。引入多分支融合策略和调制机制，显著降低计算复杂度（70%减少），同时保持或提升语音增强性能。实现单样本级极低延迟，开启低延迟语音增强新方向，为边缘计算和实时通信提供技术基础。
新颖性
首次将状态空间模型引入低延迟语音增强，结合SlowFast架构实现极低延迟下的高效计算。相较于传统单分支网络，创新在于利用慢分支调制快分支状态转移，极大降低冗余计算，且实现单样本级延迟，填补该领域的技术空白。
局限性
- 模型在极端噪声环境或非静态声学场景下的鲁棒性仍需验证，可能影响增强效果。
- 调制参数的估计依赖慢分支的准确性，若环境变化剧烈，可能引入误差。
- 在超低延迟场景中，模型的泛化能力和稳定性仍有待进一步优化。
未来方向
未来将探索多模态信息融合、端到端优化策略，提升模型在复杂环境中的鲁棒性。还将结合硬件加速技术，进一步降低延迟和能耗，推动在实际设备中的部署应用。
AI 总览摘要
随着语音交互设备的普及，低延迟语音增强成为关键技术。传统深度学习方法在追求极低延迟时，面临计算量激增的挑战。本文提出的SlowFast框架，通过双分支设计，有效平衡性能与效率。慢分支在低帧率下分析声学环境，快速分支在高帧率下进行时域增强，二者通过状态空间模型（SSM）动态调节，实现信息的高效传递。该模型利用慢分支生成调制参数，调控快分支的状态转移，从而在保证极低延迟的同时，大幅降低计算成本。实验在Voice Bank+Demand数据集上，验证了该方法在2ms延迟条件下，性能与传统网络持平，计算成本降低70%。更令人振奋的是，模型实现了62.5微秒的样本级延迟，仅需100M MACs/s，极大推动了实时语音处理的边缘部署潜力。这一创新架构为未来低延迟语音增强提供了新思路，兼顾性能、效率与实用性。未来，结合硬件优化和多模态信息，将进一步拓展其应用范围，满足更苛刻的实时需求。
深度分析
研究背景
语音增强技术经历了从传统信号处理到深度学习的快速发展。早期方法依赖于谱减法和Wiener滤波，效果有限。近年来，深度神经网络（如TasNet、Dual-Path RNN）显著提升了性能，但在低延迟场景中计算成本激增，限制了边缘设备的应用。为解决这一问题，研究者尝试采用因果模型、非对称窗口等策略，减少延迟，但仍面临效率瓶颈。随着智能设备对实时性要求不断提高，低延迟、低计算的语音增强方案成为研究热点。现有方法多在性能和延迟之间权衡，缺乏兼顾两者的创新架构。本文基于此背景，提出结合状态空间模型的多分支架构，旨在突破低延迟下的计算瓶颈。
核心问题
核心问题在于如何在极低算法延迟（如2ms）条件下，保持语音增强的效果同时大幅降低计算量。传统深度模型在每帧都执行完整网络，导致计算成本随帧数线性增长，难以满足边缘设备的实时需求。降低帧移（hop size）虽能减少延迟，但会引入大量冗余，造成计算浪费。如何设计一种结构，既能实现极低延迟，又能避免冗余计算，是当前的技术难题。本文试图通过多分支调制机制，利用环境信息动态调节快分支的状态转移，从而实现高效计算。
核心创新
创新点包括：1）引入双分支架构，慢分支分析环境信息，快分支进行时域增强，减少冗余计算；2）采用状态空间模型（SSM），通过慢分支调制快分支的状态转移，实现信息的动态调节；3）实现单样本级延迟（62.5μs），满足极端低延迟需求；4）多调制策略（EC、FiLM、SSMM），增强模型鲁棒性和适应性。这些创新突破了传统单分支模型在低延迟下的效率瓶颈，为实时语音增强提供新思路。
方法详解
- �� 输入声学特征被分为慢分支和快分支，慢分支以较大窗口处理环境信息，生成调制参数ϵS。• 快分支采用状态空间模型（SSM），状态转移由ϵS调节，具体为hFi = ASj × hFi−1 + gSj · FIN(xFi)。• ϵS由慢分支通过全连接层生成，调节状态转移矩阵ASj（对角矩阵简化）和门控gSj。• 快分支中的输出通过FOUT映射回时域，得到增强帧。• 训练采用多任务损失，包括谱MSE、SISNR、PESQ和STOI，确保增强质量。• 通过调节帧长和重用因子δ，实现不同延迟和计算成本的折衷。• 实验验证模型在Voice Bank+Demand数据集上的性能，比较不同调制策略和参数设置。
实验设计
在Voice Bank+Demand数据集上，采用不同调制频率（δ=1,2,3,4,5,10）评估模型性能。模型参数包括：LF=32，∆F=16，LS=2∆S，H=32。训练采用200轮仅谱MSE，后使用全损失优化。指标包括PESQ、SISNR、STOI等。对比基线单分支模型和其他低复杂度网络，验证在2ms延迟下的性能和计算成本。还测试了样本级延迟（62.5μs）场景，验证模型在极端低延迟条件下的效果。
结果分析
模型在Voice Bank+Demand数据集上，2ms延迟条件下，PESQ-NB达3.12，SISNR达16.62，计算成本仅为100M MACs/s，比传统单分支网络节省70%。在样本级延迟场景中，模型每1ms只需计算一次慢分支，显著降低边缘设备负担。调制策略中，SSMM表现出优异的鲁棒性和性能稳定性，调制频率降低时仍能保持较好效果。这些结果验证了多分支调制机制在低延迟语音增强中的有效性。
应用场景
该技术适用于实时语音通信、虚拟现实、听力辅助等场景，尤其在硬件资源有限的边缘设备上。模型可部署在智能手机、耳机等设备中，实现低延迟高质量语音增强，提升用户体验。未来结合硬件加速和多模态信息，将推动其在更复杂环境中的应用。
局限与展望
模型在极端噪声环境或快速变化的声学场景下鲁棒性仍需验证，可能影响效果。调制参数估计依赖慢分支的准确性，环境变化剧烈时可能引入误差。极低延迟场景对模型稳定性和泛化能力提出更高要求，未来需优化调制机制和模型结构。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，慢厨师负责观察整个厨房的情况，了解食材和火候，然后告诉快厨师该怎么炒菜。快厨师只用几秒钟就能完成炒菜任务，但如果厨房情况变化很快，慢厨师的观察就能帮忙调节快厨师的炒菜策略，让菜既快又好吃。这就像这篇论文中的两个“厨师”——慢的分析环境，快的做菜，通过调节让效率和效果都达到最佳。这样，即使只用很少的计算资源，也能做出美味的菜肴，满足低延迟的需求。
简单解释 像给14岁少年讲一样
你可以把这项研究想象成两个厨师在厨房里工作：一个慢的厨师负责观察整个厨房，了解食材和火候，另一个快的厨师负责炒菜。慢厨师告诉快厨师什么时候需要多放点盐或者调节火力，快厨师根据这些信息快速炒出好菜。这样，即使只用很少的时间和材料，也能做出美味的菜肴，而且速度非常快。这个方法让厨房工作变得更高效，菜也更好吃。论文里的技术就是用这种“慢观察、快行动”的策略，让语音变得更清晰，同时计算量大大减少，就像厨房里的两个厨师合作一样。
原文摘要
Deep learning-based speech enhancement (SE) methods often face significant computational challenges when needing to meet low-latency requirements because of the increased number of frames to be processed. This paper introduces the SlowFast framework which aims to reduce computation costs specifically when low-latency enhancement is needed. The framework consists of a slow branch that analyzes the acoustic environment at a low frame rate, and a fast branch that performs SE in the time domain at the needed higher frame rate to match the required latency. Specifically, the fast branch employs a state space model where its state transition process is dynamically modulated by the slow branch. Experiments on a SE task with a 2 ms algorithmic latency requirement using the Voice Bank + Demand dataset show that our approach reduces computation cost by 70% compared to a baseline single-branch network with equivalent parameters, without compromising enhancement performance. Furthermore, by leveraging the SlowFast framework, we implemented a network that achieves an algorithmic latency of just 62.5 μs (one sample point at 16 kHz sample rate) with a computation cost of 100 M MACs/s, while scoring a PESQ-NB of 3.12 and SISNR of 16.62.