核心发现
方法论
本文提出一种名为‘知识增强’的创新方法，允许远程大模型在存在通信延迟的情况下，通过延迟提示提升本地小模型的推理性能。具体实现中，采用基于TF-GridNet的流式神经网络架构，利用中间层嵌入（embedding）作为提示信息，通过交叉注意力机制（cross-attention）融合延迟信息。训练过程中，先对大模型进行预训练，获得稳定的嵌入表示，然后模拟通信延迟，将延迟的嵌入传递给小模型，联合优化两者的参数。该方法特别适用于语音分离、语音增强和目标语音提取等低延迟任务，能在最大48ms延迟条件下显著提升性能。
关键结果
- 在48ms延迟条件下，知识增强技术在语音增强（SE）、盲源分离（SS）和目标语音提取（TSE）任务中，分别实现了0.23dB、2.31dB和3.53dB的SI-SDR提升，优于对应的基础模型。具体而言，TSE任务中，模型性能由基础的9.34dB提升至7.70dB，显示出明显的改善。
- 与同参数规模的基础模型相比，知识增强模型在参数和计算量（MACs）方面均有显著优势。例如，TSE任务中，参数减少了约2倍，MACs降低了约50%，但性能提升仍然显著，验证了方法的效率和有效性。
- 消融实验表明，延迟越大，性能下降越明显，但通过联合训练和延迟提示，仍能获得较优性能。冻结大模型参数会导致性能下降，压缩信息（P=2或4）略微影响性能，但在合理范围内。
研究意义
本研究突破了低延迟边缘推理中远程大模型辅助小模型的瓶颈，提出的知识增强技术为边缘设备上的实时语音处理提供了新思路。它解决了通信延迟带来的信息滞后问题，使得在资源有限的设备上也能利用云端强大模型的知识能力，极大地推动了智能音频、机器人、自动驾驶等领域的应用发展。该方法不仅提升了模型性能，还降低了能耗和计算成本，具有广泛的实用价值和推广潜力。
技术贡献
技术上，本文首次提出在存在通信延迟的场景下，通过延迟提示增强小模型的推理能力。核心创新包括：• 设计了基于TF-GridNet的流式神经网络架构，支持多任务处理；• 引入交叉注意力机制融合延迟信息，提升信息利用效率；• 采用联合训练策略，使大模型学会提供有用的延迟提示；• 通过压缩模块减小传输数据量，兼顾性能与带宽限制。这些创新突破了传统模型分割和知识蒸馏的限制，为低延迟边缘推理提供了新方案。
新颖性
本研究的创新点在于首次系统性地将远程大模型的延迟提示引入到实时流式语音处理任务中，解决了通信延迟带来的信息滞后问题。不同于传统的模型蒸馏或模型分割方法，本文强调在推理阶段利用延迟信息进行动态增强，结合交叉注意力机制实现信息融合。这一思路为边缘设备上的大模型协作开辟了新路径，具有较强的创新性和实用价值。
局限性
- 该方法依赖于稳定的通信链路，通信中断或严重延迟会影响性能表现。
- 延迟提示的效果在极大延迟（超过50ms）时逐渐减弱，适用范围有限。
- 模型训练复杂度较高，联合训练过程对硬件资源要求较大，实际部署时需优化训练流程。
未来方向
未来可探索自适应延迟调整机制，使模型能在不同网络环境下自动调节提示策略；同时，结合神经压缩和量化技术，进一步降低传输带宽需求；此外，还可扩展到多模态任务（如视觉与语音结合），实现更复杂的边缘智能协作。研究还应关注模型鲁棒性和在极端网络条件下的性能保障，推动该技术在实际场景中的落地应用。
AI 总览摘要
在当今的智能语音应用中，低延迟和高性能是核心需求。随着深度学习模型的不断发展，大型模型在语音分离、增强和目标提取任务中展现出卓越的能力，但其庞大的参数规模和计算需求使得在边缘设备上直接部署变得困难。传统的模型分割和知识蒸馏技术虽然在某些场景中取得一定效果，但难以解决通信延迟带来的信息滞后问题，尤其是在实时性要求极高的应用中。针对这一挑战，本文提出了“知识增强”技术，旨在在存在通信延迟的情况下，通过远程大模型提供延迟提示，提升本地小模型的推理性能。
该方法的核心思想是利用大模型在推理过程中产生的中间嵌入（embedding）作为提示信息，结合交叉注意力机制（cross-attention）在时间上融合延迟信息，从而弥补信息滞后带来的性能损失。训练过程中，先对大模型进行预训练，获得稳定的嵌入表示，然后模拟通信延迟，将延迟的嵌入传递给小模型，联合优化两者参数。该架构基于流式神经网络（TF-GridNet），支持多任务处理，适应实时语音处理的需求。
在实验中，作者在三项关键任务——语音增强（SE）、盲源分离（SS）和目标语音提取（TSE）——中验证了该技术的有效性。在最大48毫秒延迟条件下，性能提升分别达到了0.23dB、2.31dB和3.53dB，显著优于基础模型。特别是在TSE任务中，性能从9.34dB提升到7.70dB，显示出强大的实用潜力。通过参数和计算量的优化，模型在保持高性能的同时，显著降低了能耗和硬件需求。
这项研究不仅为低延迟边缘语音处理提供了新思路，也为未来多模态、多任务协作奠定了基础。其创新点在于将远程大模型的延迟提示系统性引入到推理阶段，突破了通信延迟的限制，极大地拓展了边缘智能的应用场景。未来，结合神经压缩、动态调节机制和多模态融合，预计该技术将在智能硬件、自动驾驶、远程医疗等领域发挥更大作用。
深度分析
研究背景
随着深度学习模型在语音处理中的广泛应用，模型规模不断扩大，性能不断提升。早期的语音增强和分离方法多依赖传统信号处理技术，逐渐被深度神经网络（DNN）所取代。代表性工作如Deep Clustering（DPCL）和TasNet系列模型，显著改善了源分离的效果。近年来，TF-GridNet等流式模型实现了实时处理，满足低延迟需求。与此同时，边缘计算的发展推动了模型在设备端的部署，但受限于硬件资源，难以直接运行大模型。模型分割和知识蒸馏技术被提出以缓解这一矛盾，但仍面临通信延迟和信息滞后问题。当前研究多集中在模型压缩、边缘-云协作等方向，期待在低延迟场景中实现更高效的模型合作。
核心问题
在实际应用中，边缘设备（如耳机、智能手机）需要实时处理音频信号，但受限于计算能力，难以部署大模型。远程大模型虽具备强大能力，但通信延迟（如蓝牙、Wi-Fi等）导致信息传递滞后，影响实时性能。如何在延迟条件下充分利用远端模型的知识，提升本地模型的推理效果，成为亟待解决的问题。现有方案多依赖模型分割或静态知识蒸馏，无法动态应对通信延迟变化，也难以保证在极端网络条件下的性能。
核心创新
本文提出的‘知识增强’技术创新点在于：• 引入延迟提示机制，使远程大模型在存在通信延迟时仍能提供有用信息；• 设计基于TF-GridNet的流式架构，支持多任务低延迟处理；• 采用交叉注意力机制融合延迟信息，提升信息利用效率；• 通过联合训练，使大模型学会提供有价值的延迟提示，增强小模型性能；• 实现信息压缩，降低带宽需求，兼顾性能和效率。这些创新突破了传统模型合作的局限，为低延迟场景下的模型协作提供了新思路。
方法详解
- �� 采用双模型架构，包括预训练的大模型（GL）和小模型（GS），二者均基于TF-GridNet实现；• 输入为连续的双通道（双耳）音频块，经过短时傅里叶变换（STFT）转换为频域表示；• 大模型在推理过程中产生中间嵌入（E），并通过压缩模块（单层卷积）传输给小模型；• 小模型在接收延迟嵌入（Ei−C）后，结合当前输入块，利用交叉注意力机制（FiLM层）融合信息；• 在训练中，先对大模型进行预训练，获得稳定嵌入；然后模拟通信延迟，将延迟的嵌入与原始音频块一同输入小模型，联合优化两者参数；• 在推理时，延迟嵌入通过缓存机制持续融合，确保信息的时序一致性。
实验设计
- �� 数据集由LibriSpeech语音片段与多种双耳房间脉冲响应（CIPIC、RRBRIR等）合成，生成了超过10万条训练样本，5千验证和测试样本；• 任务包括语音增强（单源）、盲源分离（双源）和目标语音提取（单源）；• 模型参数规模设定为小模型（约40k参数）、中等模型（约150k参数）和大模型（约500k参数）；• 训练采用Adam优化器，最大延迟为48ms（C=6块），并进行消融实验验证不同延迟、压缩比和冻结策略的影响；• 性能指标包括SI-SDR、PESQ和STOI，比较基础模型与知识增强模型的差异。
结果分析
- �� 在最大48ms延迟条件下，知识增强模型在TSE任务中SI-SDR由9.34dB提升至7.70dB，改善了3.53dB；在SS任务中由9.72dB提升至13.92dB，改善了4.2dB；在SE任务中由9.34dB提升至9.57dB，改善了0.23dB。• 参数和MACs方面，知识增强模型在保持较低计算成本的同时，性能优于基础模型，参数减少约50%，MACs降低一半。• 消融实验显示，延迟越大，性能下降越明显，但联合训练和提示机制能有效缓解这一问题。压缩信息（P=2或4）略微影响性能，但整体效果仍优于不使用压缩的方案。
应用场景
- �� 立即应用：可部署于智能耳机、手机等边缘设备，实现实时语音增强和源分离，改善用户体验；• 长期愿景：推动边缘智能设备自主协作，结合云端大模型，实现复杂场景下的多模态感知、交互和决策，推动智能硬件的普及和智能化水平提升。
局限与展望
- �� 依赖稳定的通信链路，网络中断或严重延迟会影响模型性能；• 当前模型主要适用于蓝牙等低延迟场景，超出此范围效果尚未验证；• 训练过程复杂，联合优化对硬件资源要求较高，实际部署需考虑硬件适配和模型压缩策略；• 未来需解决模型鲁棒性和在极端网络环境下的性能保障问题。
通俗解读 非专业人士也能看懂
想象你在一个繁忙的厨房里做菜，你有一个助手（大模型）在远处帮你准备食材，但因为厨房和助手之间的距离，信息传递会有点延迟。你需要在等待助手提供的提示（比如：加点盐或调味料）时，自己先用一些已有的经验（本地模型的知识）继续做菜。这个方法就像是让助手提前把一些建议存放在一个篮子里，虽然有点晚了，但你可以根据之前的提示和自己已有的经验，继续做出好菜。这样，即使信息传递有延迟，你的菜也能做得快又好。这种“提前准备和延迟提示”的策略，帮助厨房里的厨师（模型）在时间紧迫的情况下，依然能做出美味佳肴（高质量的语音处理结果）。
简单解释 像给14岁少年讲一样
想象你在学校里，有一个超级聪明的朋友（大模型），他在远处帮你解答问题，但因为距离远，信息传递会有点慢。有时候，你问他问题，他要一会儿才答复你。可是你又很着急，不能等太久。这时候，你可以提前告诉他一些你知道的情况，让他在回答你之前，先准备一些建议。虽然这些建议可能有点晚了，但它们还是能帮你更快做出正确的答案。就像你在玩游戏时，队友告诉你一些秘密策略，虽然他们说得慢了点，但还是能帮你赢得比赛。这种提前准备和延迟提示的方法，让你在紧张的时间里，也能表现得很好。
术语表
TF-GridNet（时频网格网络）
一种流式神经网络架构，专为实时语音分离设计，支持多任务处理，具有高效的时频特征建模能力。
本文采用TF-GridNet作为基础模型架构，用于实现语音增强、源分离和目标提取任务。
嵌入（Embedding）
在神经网络中，将高维输入映射到低维空间的特征表示，用于捕捉输入的语义信息。
大模型在推理过程中产生的中间嵌入被用作延迟提示，融合到小模型中以提升性能。
交叉注意力（Cross-Attention）
一种机制，允许模型在融合两个不同信息源时，动态调整注意力权重以增强相关信息。
本文利用交叉注意力机制，将延迟的嵌入与当前输入结合，提升信息利用效率。
延迟提示（Delayed Hints）
在通信存在延迟时，从远端模型传递的中间信息，用于辅助本地模型的推理。
核心创新在于利用延迟提示弥补信息滞后带来的性能损失。
SI-SDR（尺度不变信号与失真比）
衡量语音源分离质量的指标，反映信号还原的清晰度与失真程度。
作为主要性能指标，用于评估模型在不同任务中的效果提升。
PESQ（感知评估语音质量）
一种主观感知语音质量的客观指标，反映用户体验。
用于评价增强和分离后语音的质量。
STOI（短时信号对干扰的鲁棒性指标）
衡量语音信号可懂度的指标，值越高越好。
评估模型在语音清晰度方面的表现。
联合训练（Joint Training）
同时优化多个模型或任务的训练策略，以实现协同提升。
本文通过联合训练，使大模型学会提供有用的延迟提示。
压缩模块（Compression Module）
减少信息传输量的神经网络层，通常为卷积或量化层。
用于降低嵌入信息的传输带宽需求。
蓝牙低能耗（BLE）
一种低功耗无线通信技术，适合持续音频流传输。
论文提及BLE支持的最大数据速率为2 Mbps，影响模型设计。
开放问题 这项研究留下的未解疑问
- 1 当前方法主要在蓝牙等低延迟通信场景下验证，未来需探索在更高延迟环境（如Wi-Fi或蜂窝网络）中的适应性和性能表现。
- 2 模型的鲁棒性在极端网络条件（如丢包、干扰）下尚未充分验证，需进一步研究其稳定性。
- 3 延迟提示的优化策略还未完全实现自适应调节，未来可结合动态网络状态调整提示策略。
- 4 压缩技术仍有提升空间，结合神经压缩或量化方法，降低带宽需求，提升实际部署效率。
- 5 多模态融合（如视觉与语音）中的应用尚未展开，未来可扩展到更复杂的场景。
应用场景
近期应用
智能耳机语音增强
在蓝牙耳机中实时利用云端大模型提供延迟提示，提升噪声环境下的语音清晰度，改善用户通话体验。
穿戴设备中的目标语音提取
在智能手表或耳机上实现目标语音提取，减少背景噪声干扰，支持远程大模型的协作，满足低延迟需求。
移动端多源语音分离
在智能手机中实现多源语音分离，结合云端大模型提供延迟提示，提升多说话人环境下的语音识别效果。
远期愿景
边缘设备自主协作
未来多设备间实现自主信息交换与协作，结合云端大模型，支持复杂场景如多房间语音交互、远程会议等。
智能场景的全场景感知
实现多模态、多任务的边缘智能，结合视觉、语音、传感器信息，推动智能家居、自动驾驶等行业的变革。
原文摘要
Models for low-latency, streaming applications could benefit from the knowledge capacity of larger models, but edge devices cannot run these models due to resource constraints. A possible solution is to transfer hints during inference from a large model running remotely to a small model running on-device. However, this incurs a communication delay that breaks real-time requirements and does not guarantee that both models will operate on the same data at the same time. We propose knowledge boosting, a novel technique that allows a large model to operate on time-delayed input during inference, while still boosting small model performance. Using a streaming neural network that processes 8 ms chunks, we evaluate different speech separation and enhancement tasks with communication delays of up to six chunks or 48 ms. Our results show larger gains where the performance gap between the small and large models is wide, demonstrating a promising method for large-small model collaboration for low-latency applications. Code, dataset, and audio samples available at https://knowledgeboosting.cs.washington.edu/.
参考文献 (20)
Creating speech zones with self-distributing acoustic swarms
Malek Itani, Tuochao Chen, Takuya Yoshioka 等
TF-GridNet: Integrating Full- and Sub-Band Modeling for Speech Separation
Zhongqiu Wang, Samuele Cornell, Shukjae Choi 等
ClearBuds: wireless binaural earbuds for learning-based speech enhancement
Ishan Chatterjee, Maruchi Kim, V. Jayaram 等
ReAugKD: Retrieval-Augmented Knowledge Distillation For Pre-trained Language Models
Jianyi Zhang, Aashiq Muhamed, Aditya Anantharaman 等
Distilling the Knowledge in a Neural Network
Geoffrey E. Hinton, O. Vinyals, J. Dean
Librispeech: An ASR corpus based on public domain audio books
Vassil Panayotov, Guoguo Chen, Daniel Povey 等
Supervised Speech Separation Based on Deep Learning: An Overview
Deliang Wang, Jitong Chen
FiLM: Visual Reasoning with a General Conditioning Layer
Ethan Perez, Florian Strub, H. D. Vries 等
Edge Intelligence: On-Demand Deep Learning Model Co-Inference with Device-Edge Synergy
En Li, Zhi Zhou, Xu Chen
Distilled Binary Neural Network for Monaural Speech Separation
Xiuyi Chen, Guangcan Liu, Jing Shi 等
WHAMR!: Noisy and Reverberant Single-Channel Speech Separation
Matthew Maciejewski, G. Wichern, E. McQuinn 等
An Efficient Method of Training Small Models for Regression Problems with Knowledge Distillation
M. Takamoto, Yusuke Morishita, Hitoshi Imaoka
Sub-band Knowledge Distillation Framework for Speech Enhancement
Xiang Hao, Shi-Xue Wen, Xiangdong Su 等
CoEdge: Cooperative DNN Inference With Adaptive Workload Partitioning Over Heterogeneous Edge Devices
Liekang Zeng, Xu Chen, Zhi Zhou 等
Look Once to Hear: Target Speech Hearing with Noisy Examples
Bandhav Veluri, Malek Itani, Tuochao Chen 等
Fast Inference from Transformers via Speculative Decoding
Yaniv Leviathan, Matan Kalman, Yossi Matias
Neural Target Speech Extraction: An overview
Kateřina Žmolíková, Marc Delcroix, Tsubasa Ochiai 等
ICASSP 2023 Deep Noise Suppression Challenge
Harishchandra Dubey, Vishak Gopal, Ross Cutler 等
被引用 (4)
Cloud-Boosted Low-Compute Multi-Channel Speech Enhancement
Dedelayed: Deleting remote inference delay via on-device correction
TinyLLM: A Framework for Training and Deploying Language Models at the Edge Computers
Modulating State Space Model with SlowFast Framework for Compute-Efficient Ultra Low-Latency Speech Enhancement