核心发现
方法论
DiBA采用分解A∈R^{m×n}为D1B1D2B2D3形式，D为对角矩阵，B为二值矩阵。引入DiBA-Greedy交替优化算法，通过最小二乘法更新对角矩阵，利用一比特翻转测试优化二值矩阵。提出DiBARD在保持二值结构的基础上，仅调节对角元素以适应下游任务，避免离散搜索。实验在40个公开预训练模型的权重矩阵上验证，显示随着存储比提升，重建信噪比（SNR）持续改善，且DiBARD在模型微调中能有效恢复性能。
关键结果
- 在40个预训练模型的权重矩阵中，DiBA-Greedy在存储比逐步提高时，SNR提升显著，最大达21.3dB。对DistilBERT/WikiText任务，DiBARD在微调后将掩码语言模型准确率由0.4447提升至0.5210，未重新优化二值矩阵。在Speech Commands分类中，准确率从0.7684跃升至0.9781，显示其在多任务中的适应性和有效性。
- DiBA的存储效率由k控制，理论存储比可低于原始模型，且逼近精度随着k增加逐步提升。二值矩阵存储仅需1比特，显著减少存储成本。DiBA-Greedy的交替优化确保逼近误差持续下降，验证了其在实际模型压缩中的潜力。
- DiBARD通过冻结二值矩阵，仅调节对角元素，实现在任务微调中的快速适应，避免复杂的离散搜索，极大简化了模型微调流程。实验结果表明，该方法在保持模型性能的同时，实现了极高的存储压缩率。
研究意义
该研究突破了神经网络权重压缩的瓶颈，提出的DiBA架构兼具高效存储和良好逼近能力，为模型部署在资源受限设备上提供了新途径。通过结合二值化与对角调节，解决了传统低比特量化难以兼顾逼近精度与存储效率的问题。DiBARD的任务微调策略，显著降低了模型适应成本，推动模型压缩技术向实用化迈进。这不仅对深度学习模型的存储和推理速度具有深远影响，也为未来硬件友好型模型设计提供了理论基础。
技术贡献
本文提出的DiBA结构创新性地结合了对角矩阵和二值矩阵，突破了传统低秩分解的限制，提供了更灵活的逼近表达。引入DiBA-Greedy优化算法，有效结合了连续最小二乘和离散贪婪策略，保证逼近质量。DiBARD策略在保持二值结构的同时，仅调节对角元素，极大简化了模型微调的复杂度。理论上，DiBA的存储比由k参数调控，能在逼近精度与存储效率间实现动态平衡。实验验证了该方法在多个模型和任务中的优越表现，展示了其在模型压缩与迁移学习中的潜力。
新颖性
本研究首次提出将对角矩阵与二值矩阵结合的结构，用于神经网络权重逼近，突破了低秩和量化的局限。DiBA的二值共享模式和连续对角调节策略，提供了全新的压缩思路。与传统的低秩分解、量化或剪枝方法相比，DiBA在存储效率和逼近能力上具有明显优势，尤其在保持二值结构的同时实现任务适应。DiBARD的设计创新在于只调节连续参数，避免离散搜索，极大简化微调流程。这些创新为神经网络模型的高效部署提供了新路径。
局限性
- DiBA在极低存储比（如比特数<4）下，逼近精度可能下降，尤其对高频谱的矩阵结构效果有限。
- 二值矩阵的贪婪优化可能陷入局部最优，影响逼近质量，尤其在复杂模型中表现不佳。
- 该方法在硬件加速方面尚未充分验证，实际速度提升有限，主要依赖理论存储优势。
未来方向
未来将探索多层次二值化策略，结合稀疏化与量化，进一步提升逼近精度和存储效率。同时，优化硬件实现，提升实际推理速度。还计划将DiBA扩展到卷积核、注意力机制等多种结构，推动模型压缩技术的广泛应用。
AI 总览摘要
随着深度学习模型规模不断扩大，模型存储和推理效率成为瓶颈。传统压缩方法如剪枝、量化和低秩分解各有优劣，但难以兼顾存储效率与逼近精度。本文提出DiBA（Diagonal and Binary Matrix Approximation），通过将权重矩阵分解为三个对角矩阵和两个二值矩阵，有效平衡了存储成本与逼近质量。DiBA的核心在于利用二值矩阵共享模式和连续调节的对角矩阵，极大简化了优化过程。引入的DiBA-Greedy算法结合了最小二乘和贪婪翻转策略，确保逼近误差持续下降。在实际应用中，DiBA在40个预训练模型的权重矩阵上表现出优异的逼近能力，存储比可低于传统模型，且逼近信噪比（SNR）逐步提升。更重要的是，DiBARD策略在微调阶段只调节对角元素，避免了复杂的离散搜索，显著提升了模型在下游任务中的性能恢复能力。例如，在DistilBERT和Speech Commands任务中，微调后模型准确率分别从0.4447提升到0.5210和0.7684跃升至0.9781，验证了其在模型压缩与迁移中的潜力。这一方法为深度学习模型的高效部署提供了新思路，尤其适合资源受限的硬件环境。未来，结合多层次二值化和硬件优化，有望推动模型压缩技术迈向更高水平，实现更广泛的应用场景。
深度解读
原文摘要
In this paper, we propose DiBA (Diagonal and Binary Matrix Approximation), a compact matrix factorization for neural network weight compression. Many components of modern networks, including linear layers, $1\times1$ convolutions, attention projections, and embedding layers, have dense matrix weights. DiBA approximates $A\in\mathbb{R}^{m\times n}$ by $\widehat A=D_1B_1D_2B_2D_3$, where $D_1,D_2,D_3$ are diagonal matrices and $B_1,B_2$ are $0/1$ binary matrices. The intermediate dimension $k$ controls the trade-off between theoretical storage and approximation accuracy. For matrix-vector products, DiBA decomposes dense multiplication into three element-wise scaling operations and two binary mixing operations, reducing the floating-point multiplication count from $mn$ to $m+k+n$. For optimization, we introduce DiBA-Greedy, an alternating solver that combines closed-form least-squares updates for the diagonal factors with exact one-bit improvement tests for the binary factors. We also introduce DiBARD (DiBA with Retuning only Diagonal factors), which replaces dense-matrix layers by DiBA factors, freezes the binary matrices, and retunes only the diagonal entries on downstream data. This preserves compact binary mixing without discrete search during adaptation. On 40 dense weight matrices extracted from public pretrained models, DiBA-Greedy yields consistent SNR improvements as the theoretical storage ratio increases. After DiBA replacement in two component-replacement studies, DiBARD improves DistilBERT/WikiText masked-token accuracy from 0.4447 to 0.5210 and Speech Commands test accuracy for an Audio Spectrogram Transformer from 0.7684 to 0.9781 without reoptimizing the binary factors.