核心发现
方法论
SALT是一种分层微调框架，分为三个阶段：首先，提供者在公共数据上训练高容量域中心，使用对齐正则化器将任务子空间统一为一个基础。然后，用户在这些冻结的中心上微调超低秩任务残差适配器。最后，在推理时，提供者将中心固定在GPU VRAM中，并根据需求动态交换用户的任务残差。
关键结果
- SALT在不同规模的LLM上使用r≤2的残差恢复高秩准确性，达到18.5%的绝对准确率提升，并将每个适配器的内存减少最多16倍。
- 集成到vLLM中时，SALT在PCIe带宽压力下提高服务吞吐量最多51%，在GPU VRAM限制下提高28%。
- 在数学推理和编码任务上，SALT在保持低内存占用的同时，显著提高了任务性能。
研究意义
SALT通过子空间对齐和残差训练解决了多租户低秩适配器服务系统中的效率与任务性能之间的困境。它不仅提高了任务性能，还显著减少了内存占用，使得在有限硬件资源下能够支持更多的并发租户。
技术贡献
SALT通过将适配器权重更新分解为高容量域共享中心和超低秩残差，突破了现有方法的限制。它提供了新的理论保证和工程可能性，尤其是在多租户环境中优化内存使用和提高服务效率。
新颖性
SALT首次通过子空间对齐训练实现了在超低秩条件下恢复高秩性能。与现有方法相比，它在多租户环境中提供了更高效的内存管理和任务性能。
局限性
- SALT在处理完全未知的任务数据时可能需要回退到标准LoRA训练，因为子空间对齐可能无法适应所有任务。
- 在极端情况下，可能需要重新计算共享基础，这会增加计算成本。
未来方向
未来研究可以探索SALT在更多领域的应用，以及如何进一步优化子空间对齐机制以支持更复杂的任务。
AI 总览摘要
现代多租户低秩适配器服务系统面临着服务效率与任务性能之间的困境。高秩适配器通常能实现更好的任务性能，但其GPU VRAM占用和主机到设备的PCIe交换开销严重限制了可扩展性。超低秩适配器虽然减少了内存占用和PCIe传输开销，但却导致任务性能下降。
为了解决这一问题，研究者提出了子空间对齐LoRA训练（SALT），一种服务效率意识的分层微调框架。首先，提供者在公共数据上联合训练高容量域中心，使用一种新颖的对齐正则化器将域内任务子空间统一为一个基础。接着，用户在这些冻结的中心上微调超低秩任务残差适配器。最后，在推理时，提供者将中心固定在GPU VRAM中，并根据需求动态交换用户的任务残差。
实验结果表明，SALT在不同规模的LLM上使用r≤2的残差恢复高秩准确性，达到18.5%的绝对准确率提升，并将每个适配器的内存减少最多16倍。集成到vLLM中时，SALT在PCIe带宽压力下提高服务吞吐量最多51%，在GPU VRAM限制下提高28%。这种方法不仅提高了任务性能，还显著减少了内存占用，使得在有限硬件资源下能够支持更多的并发租户。
深度解读
原文摘要
Modern multi-tenant Low-Rank Adapters (LoRAs) serving systems concurrently host tens to hundreds of LoRA adapters. Though powerful, this introduces a critical system dilemma between serving efficiency and task performance: higher-rank adapters generally achieve better downstream task performance, but their GPU VRAM footprint and Host-to-Device PCIe swapping overhead severely constrain scalability. Conversely, ultra-low-rank adapters ($r \le 2$) minimize both VRAM footprint and PCIe transfer overhead, but suffer from downstream task performance degradation. To solve this problem, we propose Subspace-Aligned LoRA Training (SALT), a serving efficiency-aware hierarchical fine-tuning framework. Our solution operates in three phases. First, a provider jointly trains high-capacity domain centroids on public data within the domain using a novel alignment regularizer that coheres in-domain task subspaces into a unified basis. Next, users fine-tune ultra-low-rank task residual adapters on private data atop those frozen centroids. Finally, during inference, the provider pins the centroid in GPU VRAM and dynamically swaps in each user's task residual on demand. Across LLMs of varying scales, SALT recovers high-rank accuracy using $r \le 2$ residuals, achieving up to 18.5% absolute accuracy gains over state-of-the-art compression baselines and reducing per-adapter memory by up to 16x. When integrated into vLLM, SALT improves serving throughput by up to 51% under PCIe bandwidth pressure and 28% under GPU VRAM constraints for Llama-3.2-3B.