核心发现
方法论
ReMoE通过路由器微调框架提升专家重用率，减少存储取用。该方法偏向于最近选择的专家，产生更稳定的路由，符合缓存局部性约束。通过增加短期专家重用，ReMoE在不增加推理时间计算的情况下减少存储取用。
关键结果
- 实验表明，ReMoE在DeepSeek和Qwen模型上提升专家重用率26%，同时保持下游任务性能。
- 在vLLM GPU-CPU专家卸载下提高输出吞吐量8.4%，在Jetson Orin NX上减少TPOT 43.6-49.8%。
- 跨多种工作负载实现1.77-1.99倍解码速度提升。
研究意义
ReMoE为内存受限的MoE推理提供了一种有效解决方案，减少了专家切换带来的I/O开销。该方法在不改变模型架构的情况下，通过路由器微调提升了推理效率，对边缘设备上的LLM部署具有重要意义。
技术贡献
ReMoE通过微调路由器而非修改模型架构或硬件，提供了一种轻量级的后训练适应方法。它优化了路由轨迹，提升了缓存友好性，且不增加推理时的计算负担。
新颖性
ReMoE是首次通过路由器微调来提升专家重用率的方法，与现有的架构修改或预训练方法不同，它仅需调整已训练的MoE检查点的门参数。
局限性
- ReMoE在缓存容量较小时效果有限，可能无法处理长尾的专家缺失问题。
- 该方法依赖于预训练模型的质量，可能在某些语境下表现不佳。
未来方向
未来研究可探索ReMoE在不同模型架构和更大规模数据集上的应用，以及结合其他缓存优化技术的可能性。
AI 总览摘要
在内存受限的推理场景中，Mixture-of-Experts (MoE)模型面临频繁专家切换带来的I/O开销问题。现有解决方案多通过系统级技术如预取或缓存算法来隐藏延迟，但这些方法未能解决路由器产生的专家选择序列与缓存局部性不匹配的问题。ReMoE通过路由器微调框架，偏向于最近选择的专家，产生更稳定的路由，符合缓存局部性约束。实验结果表明，ReMoE在DeepSeek和Qwen模型上提升专家重用率26%，同时保持下游任务性能。在vLLM GPU-CPU专家卸载下提高输出吞吐量8.4%，在Jetson Orin NX上减少TPOT 43.6-49.8%。这种方法为边缘设备上的LLM部署提供了一种有效解决方案，减少了专家切换带来的I/O开销。未来研究可探索ReMoE在不同模型架构和更大规模数据集上的应用，以及结合其他缓存优化技术的可能性。
深度分析
研究背景
随着边缘设备上大规模语言模型(LLM)的部署需求增加，Mixture-of-Experts (MoE)模型因其稀疏激活特性成为一种重要的架构选择。MoE模型通过仅激活部分专家来保持高模型容量，同时减少计算量。然而，在内存受限的推理场景中，专家切换频繁导致I/O开销增加，影响推理效率。
核心问题
在内存受限的推理场景中，MoE模型面临专家切换频繁导致的I/O开销问题。现有解决方案未能解决路由器产生的专家选择序列与缓存局部性不匹配的问题，导致推理延迟增加。
核心创新
ReMoE通过路由器微调框架，偏向于最近选择的专家，产生更稳定的路由，符合缓存局部性约束。与现有的架构修改或预训练方法不同，ReMoE仅需调整已训练的MoE检查点的门参数。
方法详解
- �� ReMoE通过微调路由器偏向最近选择的专家，增加短期专家重用。
- �� 使用两个目标：时间局部性损失和信任-KL损失，分别鼓励专家重用和限制分布漂移。
- �� 不修改模型架构、硬件或推理内核，增加推理效率。
实验设计
实验在DeepSeek和Qwen模型上进行，评估专家重用率提升和下游任务性能保持情况。使用vLLM GPU-CPU专家卸载和Jetson Orin NX进行真实系统评估，观察输出吞吐量和TPOT的变化。
结果分析
ReMoE在DeepSeek和Qwen模型上提升专家重用率26%，同时保持下游任务性能。在vLLM GPU-CPU专家卸载下提高输出吞吐量8.4%，在Jetson Orin NX上减少TPOT 43.6-49.8%。
应用场景
ReMoE适用于边缘设备上的LLM部署，减少专家切换带来的I/O开销，提高推理效率。它为内存受限的推理场景提供了一种有效解决方案。
局限与展望
ReMoE在缓存容量较小时效果有限，可能无法处理长尾的专家缺失问题。该方法依赖于预训练模型的质量，可能在某些语境下表现不佳。
通俗解读 非专业人士也能看懂
想象一个厨房，厨师们是专家，他们各自擅长不同的菜肴。在繁忙的晚餐时间，厨师们需要快速切换到不同的菜肴，这就像MoE模型中的专家切换。ReMoE就像一个聪明的厨房经理，他确保厨师们在短时间内重复使用他们的技能，而不是频繁切换到新的菜肴。这减少了厨房的混乱，提高了效率。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！想象一下你在玩一个超级酷的游戏，每个关卡都有不同的任务。你需要选择最好的角色来完成任务，就像选择专家来解决问题。ReMoE就像一个聪明的游戏助手，它帮助你在短时间内重复使用最好的角色，而不是每次都选择新的角色。这让游戏更快更有趣！
术语表
Mixture-of-Experts (专家混合)
一种模型架构，通过激活部分专家来减少计算量，保持高模型容量。
在论文中用于提高推理效率。
ReMoE
一种路由器微调框架，通过增加专家重用率来减少I/O开销。
用于优化专家选择序列。
TPOT
推理时间的一个指标，衡量系统处理任务的效率。
用于评估推理效率。
信任-KL损失
一种损失函数，用于限制路由器分布漂移。
在ReMoE中用于保持模型质量。
时间局部性损失
一种损失函数，鼓励专家重用，减少频繁切换。
在ReMoE中用于优化路由轨迹。
开放问题 这项研究留下的未解疑问
- 1 如何在更大规模数据集上应用ReMoE？当前方法在某些语境下表现不佳，需要进一步优化。
- 2 ReMoE在缓存容量较小时效果有限，如何解决长尾的专家缺失问题？
应用场景
近期应用
边缘设备上的LLM部署
ReMoE可用于边缘设备上的LLM部署，减少专家切换带来的I/O开销，提高推理效率。
远期愿景
大规模数据集上的应用
探索ReMoE在更大规模数据集上的应用，结合其他缓存优化技术，提升推理效率。
原文摘要
Fine-grained Mixture-of-Experts (MoE) models sparsely activate only a subset of experts per token, reducing activated computation while maintaining high model capacity. However, in memory-constrained inference scenarios, only a small set of experts can be cached. Experts not in the cache must be fetched from slow external storage (e.g., UFS), leading to frequent evictions and substantial I/O overhead. We propose ReMoE, a router fine-tuning framework designed to boost token-wise expert reuse. ReMoE biases the router toward recently selected experts, producing temporally stable routing that better matches cache locality constraints. By increasing short-horizon expert reuse, ReMoE reduces expert fetches from storage without adding inference-time computation. Experiments on DeepSeek and Qwen models show that ReMoE improves expert reuse by 26% while maintaining downstream task performance. Real-system evaluations further confirm these benefits, improving output throughput by 8.4% under vLLM GPU-CPU expert offloading and reducing TPOT by 43.6-49.8% under llama.cpp on Jetson Orin NX, corresponding to a 1.77-1.99$\times$ decode speedup across diverse workloads. Checkpoints and usage instructions are available at https://github.com/BUAA-OSCAR/ReMoE.