核心发现
方法论
GSQ（Gumbel-Softmax Quantization）是一种后训练标量量化方法，通过Gumbel-Softmax松弛技术，联合学习每个坐标的网格分配和每组的缩放因子。GSQ将松弛的基数与目标比特宽度范围内可用的少量级别（例如，三元和3 bpp分别为3-8级）相匹配，使松弛紧密且优化可行。
关键结果
- 在Llama-3.1-8B/70B-Instruct模型上，GSQ在2比特和3比特下缩小了标量量化与QTIP方法之间的大部分精度差距。在2比特下，GSQ相较于最佳标量基线（EfficientQAT）提高了平均零样本准确率4.76和4.14点。
- 在3比特下，GSQ与所有标量基线相当或超越，并在70B模型上基本与QTIP持平。这些结果是在没有零点参数的情况下获得的，证明了改进来自于更好的离散分配优化。
- 在Kimi-K2.5等万亿规模的专家混合模型上，GSQ实现了低比特、接近无损的量化，而矢量量化方法难以应用。
研究意义
GSQ的提出在学术界和工业界具有重要意义。它提供了一种在保持现有标量推理内核兼容性的同时，显著提高低比特量化精度的方法。GSQ不仅缩小了标量量化与更复杂的矢量量化方法之间的精度差距，还展示了其在大规模专家混合模型上的可扩展性，这对模型压缩和部署具有深远影响。
技术贡献
GSQ的技术贡献在于其创新性地结合了Gumbel-Softmax松弛技术，使得在低比特宽度下的标量量化精度得到了显著提升。与现有的标量量化方法相比，GSQ不仅在精度上有了突破，还保持了与现有推理内核的兼容性。此外，GSQ在大规模模型上的成功应用展示了其在工程上的可行性和扩展性。
新颖性
GSQ首次在标量量化中应用Gumbel-Softmax松弛技术，使得在低比特宽度下的量化精度得到了显著提升。与现有的矢量量化和标量量化方法相比，GSQ在保持简单性和兼容性的同时，提供了更高的精度和更好的扩展性。
局限性
- GSQ在某些特定的模型层上可能会遇到不稳定的情况，例如在Llama-3.1-8B模型的第二层的down_proj中，压缩效果不佳。
- 虽然GSQ在大多数情况下表现出色，但在极低比特宽度下（例如1比特），其性能可能不如某些专门设计的矢量量化方法。
- GSQ的训练过程需要额外的计算资源，特别是在处理大规模模型时，这可能会增加训练时间和成本。
未来方向
未来的研究方向包括进一步优化GSQ的训练过程以减少计算资源的需求，以及探索其在更低比特宽度下的性能。此外，研究如何将GSQ应用于更多类型的模型和任务也是一个值得探索的方向。社区可以进一步研究GSQ在不同硬件平台上的性能表现，以及如何在不影响精度的情况下进一步提高其计算效率。
AI 总览摘要
在大规模语言模型（LLM）的推理过程中，内存和带宽成本成为了一个主要挑战。为了解决这一问题，权重量化已经成为一种标准的高效部署方法。现有的量化方法主要分为两类：简单的标量量化技术，如GPTQ或AWQ，虽然被广泛应用，但在3-4比特每参数时精度达到瓶颈；而“第二代”矢量或格量化方法，如QTIP、GPTVQ和AQLM，虽然在低比特宽度下推动了精度的前沿，但实施和扩展难度大，应用较少。在这篇论文中，我们提出了一种新的标量量化方法GSQ（Gumbel-Softmax Quantization），通过Gumbel-Softmax松弛技术，联合学习每个坐标的网格分配和每组的缩放因子。GSQ在2和3比特下缩小了标量量化与QTIP方法之间的大部分精度差距，同时保持了与现有标量推理内核的完全兼容性。我们进一步展示了GSQ在万亿规模的专家混合模型（如Kimi-K2.5）上的可扩展性，而矢量量化方法在这些模型上难以应用。
GSQ的提出在学术界和工业界具有重要意义。它提供了一种在保持现有标量推理内核兼容性的同时，显著提高低比特量化精度的方法。GSQ不仅缩小了标量量化与更复杂的矢量量化方法之间的精度差距，还展示了其在大规模专家混合模型上的可扩展性，这对模型压缩和部署具有深远影响。
GSQ的技术贡献在于其创新性地结合了Gumbel-Softmax松弛技术，使得在低比特宽度下的标量量化精度得到了显著提升。与现有的标量量化方法相比，GSQ不仅在精度上有了突破，还保持了与现有推理内核的兼容性。此外，GSQ在大规模模型上的成功应用展示了其在工程上的可行性和扩展性。
GSQ首次在标量量化中应用Gumbel-Softmax松弛技术，使得在低比特宽度下的量化精度得到了显著提升。与现有的矢量量化和标量量化方法相比，GSQ在保持简单性和兼容性的同时，提供了更高的精度和更好的扩展性。
尽管GSQ在大多数情况下表现出色，但在某些特定的模型层上可能会遇到不稳定的情况，例如在Llama-3.1-8B模型的第二层的down_proj中，压缩效果不佳。此外，GSQ的训练过程需要额外的计算资源，特别是在处理大规模模型时，这可能会增加训练时间和成本。未来的研究方向包括进一步优化GSQ的训练过程以减少计算资源的需求，以及探索其在更低比特宽度下的性能。
深度分析
研究背景
在大规模语言模型（LLM）的推理过程中，内存和带宽成本成为了一个主要挑战。为了解决这一问题，权重量化已经成为一种标准的高效部署方法。现有的量化方法主要分为两类：简单的标量量化技术，如GPTQ或AWQ，虽然被广泛应用，但在3-4比特每参数时精度达到瓶颈；而“第二代”矢量或格量化方法，如QTIP、GPTVQ和AQLM，虽然在低比特宽度下推动了精度的前沿，但实施和扩展难度大，应用较少。近年来，随着大规模语言模型的广泛应用，如何在保证模型性能的同时，降低计算和存储成本，成为了一个重要的研究方向。
核心问题
现有的标量量化方法在低比特宽度下的精度表现不佳，而矢量量化方法虽然在精度上有优势，但在实施和扩展上存在困难。如何在保持现有标量推理内核兼容性的同时，提高低比特量化的精度，成为了一个亟待解决的问题。特别是在大规模模型的应用中，如何在不影响模型性能的情况下，实现高效的量化和部署，是一个具有挑战性的问题。
核心创新
GSQ的核心创新在于其结合了Gumbel-Softmax松弛技术，使得在低比特宽度下的标量量化精度得到了显著提升。• GSQ通过Gumbel-Softmax松弛技术，联合学习每个坐标的网格分配和每组的缩放因子。• GSQ在2和3比特下缩小了标量量化与QTIP方法之间的大部分精度差距，同时保持了与现有标量推理内核的完全兼容性。• GSQ在万亿规模的专家混合模型（如Kimi-K2.5）上展示了其可扩展性，而矢量量化方法在这些模型上难以应用。
方法详解
GSQ方法的详细步骤如下：• 使用Gumbel-Softmax松弛技术，将离散网格的选择过程变为可微分的。• 联合学习每个坐标的网格分配和每组的缩放因子。• 将松弛的基数与目标比特宽度范围内可用的少量级别相匹配，使松弛紧密且优化可行。• 在Llama-3.1-8B/70B-Instruct模型上进行实验，验证GSQ在2和3比特下的精度提升。• 在万亿规模的专家混合模型（如Kimi-K2.5）上进行实验，验证GSQ的可扩展性。
实验设计
实验设计包括在Llama-3.1-8B/70B-Instruct模型和Kimi-K2.5模型上进行测试。• 在Llama模型上，量化所有非嵌入和非头部的线性层，验证GSQ在2和3比特下的精度表现。• 在Kimi-K2.5模型上，仅量化非共享专家权重，验证GSQ在大规模模型上的可扩展性。• 采用2比特和3比特的权重量化配置，组大小为128。• 使用对称标量量化器，每组共享一个缩放值。
结果分析
实验结果表明，GSQ在2比特下，相较于最佳标量基线（EfficientQAT）提高了平均零样本准确率4.76和4.14点。在3比特下，GSQ与所有标量基线相当或超越，并在70B模型上基本与QTIP持平。这些结果是在没有零点参数的情况下获得的，证明了改进来自于更好的离散分配优化。在Kimi-K2.5等万亿规模的专家混合模型上，GSQ实现了低比特、接近无损的量化，而矢量量化方法难以应用。
应用场景
GSQ的应用场景包括：• 在大规模语言模型的推理过程中，通过GSQ实现高效的低比特量化，降低内存和带宽成本。• 在大规模专家混合模型中，GSQ展示了其在低比特量化下的可扩展性，为模型压缩和部署提供了新的可能性。• 在需要保持现有标量推理内核兼容性的应用中，GSQ提供了一种高效的量化解决方案。
局限与展望
GSQ的局限性包括：• 在某些特定的模型层上可能会遇到不稳定的情况，例如在Llama-3.1-8B模型的第二层的down_proj中，压缩效果不佳。• 虽然GSQ在大多数情况下表现出色，但在极低比特宽度下（例如1比特），其性能可能不如某些专门设计的矢量量化方法。• GSQ的训练过程需要额外的计算资源，特别是在处理大规模模型时，这可能会增加训练时间和成本。未来的研究方向包括进一步优化GSQ的训练过程以减少计算资源的需求，以及探索其在更低比特宽度下的性能。
通俗解读 非专业人士也能看懂
想象一下你在厨房里做饭。你有一大堆食材，但你的锅很小，不能一次性放下所有食材。这就像大语言模型（LLM）在推理时需要大量的内存和带宽。为了节省空间，你需要把食材切成小块，这就像量化技术把模型参数压缩成更小的比特数。现有的方法就像用刀切菜，有的刀很锋利（矢量量化），但使用起来很麻烦；有的刀虽然不那么锋利（标量量化），但用起来很方便。GSQ就像是一种新型的切菜工具，它结合了锋利和方便的优点，让你可以快速而高效地切菜，同时保持菜的美味（模型的精度）。通过GSQ，你可以在不改变锅的情况下（保持现有推理内核的兼容性），把更多的食材放进锅里（提高量化精度）。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！你们知道吗？在计算机世界里，我们有一些超级聪明的程序叫做“大语言模型”，它们可以帮我们做很多事情，比如聊天机器人、翻译等等。但这些模型就像一个超级大号的背包，里面装满了各种各样的东西，需要很多空间和能量来运行。为了让它们更轻便，我们需要用一种叫做“量化”的方法来压缩它们。想象一下，你有一大堆乐高积木，但你只能用一个小盒子来装它们。你需要把这些积木分成更小的块，这样才能装进盒子里。GSQ就是一种新方法，它就像一个神奇的工具，可以帮助我们更好地压缩这些积木，同时保持它们的形状和颜色。这样，我们就可以用更少的空间来装更多的积木，让我们的背包变得更轻便！是不是很酷呢？
术语表
Gumbel-Softmax
Gumbel-Softmax是一种用于将离散选择过程变为可微分的技术，通过添加Gumbel噪声，使得离散选择可以通过梯度下降进行优化。
在GSQ方法中用于优化离散网格的选择过程。
标量量化
标量量化是一种简单的量化技术，将每个权重独立地舍入到一个小的均匀网格上，易于实现且广泛应用。
在GSQ中，标量量化用于实现低比特宽度的权重压缩。
矢量量化
矢量量化是一种更复杂的量化技术，通过最小化重建均方误差来减少精度损失，但实现和扩展难度较大。
与GSQ相比，矢量量化在低比特宽度下具有更高的精度。
Llama-3.1-8B/70B-Instruct
Llama-3.1-8B/70B-Instruct是用于测试GSQ方法的标准模型，包含8B和70B两个版本。
在实验中用于验证GSQ在低比特宽度下的精度表现。
Kimi-K2.5
Kimi-K2.5是一种万亿规模的专家混合模型，用于测试GSQ在大规模模型上的可扩展性。
在实验中用于验证GSQ在大规模模型上的应用效果。
EfficientQAT
EfficientQAT是一种量化感知训练方法，通过结合模型参数的分块训练和量化参数的最终端到端优化，使QAT在标量量化中变得实用。
在实验中作为GSQ的标量基线进行比较。
QTIP
QTIP是一种“第二代”矢量量化方法，通过最小化重建均方误差来减少精度损失，但实现和扩展难度较大。
在实验中作为GSQ的矢量基线进行比较。
GPTQ
GPTQ是一种使用二阶信息来最小化基于最佳脑外科框架的层级量化误差的方法。
在GSQ方法中用于初始化离散网格的选择过程。
AWQ
AWQ是一种使用激活统计来识别和保护少量权重的量化方法。
在GSQ方法中作为对比基线。
混合专家模型
混合专家模型是一种通过多个专家模块来提高模型性能的架构，每个专家模块负责处理特定的输入。
在GSQ中用于验证其在大规模模型上的可扩展性。
开放问题 这项研究留下的未解疑问
- 1 尽管GSQ在大多数情况下表现出色，但在极低比特宽度下（例如1比特），其性能可能不如某些专门设计的矢量量化方法。未来的研究需要探索如何在不增加计算复杂度的情况下，提高GSQ在极低比特宽度下的性能。
- 2 GSQ的训练过程需要额外的计算资源，特别是在处理大规模模型时，这可能会增加训练时间和成本。未来的研究可以探索如何优化GSQ的训练过程，以减少计算资源的需求。
- 3 在某些特定的模型层上，GSQ可能会遇到不稳定的情况，例如在Llama-3.1-8B模型的第二层的down_proj中，压缩效果不佳。未来的研究可以探索如何提高GSQ在这些特定层上的稳定性。
- 4 GSQ在大规模专家混合模型上的应用展示了其可扩展性，但如何在更多类型的模型和任务中应用GSQ仍需进一步研究。未来的研究可以探索GSQ在不同任务和模型架构中的性能表现。
- 5 虽然GSQ在保持现有标量推理内核兼容性的同时，提高了量化精度，但如何进一步提高其计算效率仍是一个开放问题。未来的研究可以探索如何在不影响精度的情况下，进一步提高GSQ的计算效率。
应用场景
近期应用
大规模语言模型推理
通过GSQ实现高效的低比特量化，降低内存和带宽成本，使大规模语言模型在有限资源的设备上运行。
专家混合模型压缩
在大规模专家混合模型中，GSQ展示了其在低比特量化下的可扩展性，为模型压缩和部署提供了新的可能性。
标量推理内核兼容性
在需要保持现有标量推理内核兼容性的应用中，GSQ提供了一种高效的量化解决方案，适用于现有的推理基础设施。
远期愿景
通用低比特量化框架
GSQ有潜力成为一种通用的低比特量化框架，适用于各种模型和任务，推动模型压缩技术的发展。
高效计算资源利用
通过进一步优化GSQ的训练过程，减少计算资源的需求，提高计算效率，为大规模模型的训练和部署提供支持。
原文摘要
Weight quantization has become a standard tool for efficient LLM deployment, especially for local inference, where models are now routinely served at 2-3 bits per parameter. The state of the art is currently split into two sets of methods: simple scalar quantization techniques, such as GPTQ or AWQ, which are widely deployed but plateau in accuracy at 3-4 bits per parameter (bpp), and "second-generation" vector- or trellis-quantized methods, such as QTIP, GPTVQ and AQLM, which push the accuracy frontier at low bit-widths but are notoriously hard to implement and to scale, and have gained relatively less traction. In this paper, we ask whether this gap is fundamental, or whether a carefully optimized scalar quantizer can recover most of it. We answer in the affirmative, by introducing GSQ (Gumbel-Softmax Quantization), a post-training scalar quantization method which jointly learns the per-coordinate grid assignments and the per-group scales using a Gumbel-Softmax relaxation of the discrete grid. GSQ matches the cardinality of the relaxation to the small number of levels available in the target bit-width regime (e.g., 3-8 levels for ternary and 3 bpp, respectively), making the relaxation tight and the optimization tractable. Practically, on the standard Llama-3.1-8B/70B-Instruct models, GSQ closes most of the gap between scalar quantization and the QTIP frontier at 2 and 3 bits, while using a symmetric scalar grid with group-wise quantization, and thus fully compatible with existing scalar inference kernels. We further show that GSQ scales to trillion-scale Mixture-of-Experts models such as Kimi-K2.5, where vector-quantized methods are difficult to apply.
参考文献 (20)
QuIP#: Even Better LLM Quantization with Hadamard Incoherence and Lattice Codebooks
Albert Tseng, Jerry Chee, Qingyao Sun 等
EfficientQAT: Efficient Quantization-Aware Training for Large Language Models
Mengzhao Chen, Wenqi Shao, Peng Xu 等
GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers
Elias Frantar, Saleh Ashkboos, T. Hoefler 等
LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
Tim Dettmers, M. Lewis, Younes Belkada 等
MaskLLM: Learnable Semi-Structured Sparsity for Large Language Models
Gongfan Fang, Hongxu Yin, Saurav Muralidharan 等
QTIP: Quantization with Trellises and Incoherence Processing
Albert Tseng, Qingyao Sun, David Hou 等
BitNet: Scaling 1-bit Transformers for Large Language Models
Hongyu Wang, Shuming Ma, Li Dong 等
QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models
Elias Frantar, Dan Alistarh
Optimal Brain Surgeon and general network pruning
B. Hassibi, D. Stork, G. Wolff
PTQTP: Post-Training Quantization to Trit-Planes for Large Language Models
He Xiao, Runming Yang, Qingyao Yang 等
QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs
Saleh Ashkboos, Amirkeivan Mohtashami, Maximilian L. Croci 等
DB-LLM: Accurate Dual-Binarization for Efficient LLMs
Hong Chen, Chengtao Lv, Liang Ding 等
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks
Mohammad Rastegari, Vicente Ordonez, J. Redmon 等
LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code
Naman Jain, King Han, Alex Gu 等
OWQ: Outlier-Aware Weight Quantization for Efficient Fine-Tuning and Inference of Large Language Models
Changhun Lee, Jun-gyu Jin, Taesu Kim 等
ARB-LLM: Alternating Refined Binarizations for Large Language Models
Zhiteng Li, Xianglong Yan, Tianao Zhang 等
Michelangelo: Long Context Evaluations Beyond Haystacks via Latent Structure Queries
Kiran Vodrahalli, Santiago Ontañón, Nilesh Tripuraneni 等
SpinQuant: LLM quantization with learned rotations
Zechun Liu, Changsheng Zhao, Igor Fedorov 等
BinaryConnect: Training Deep Neural Networks with binary weights during propagations
Matthieu Courbariaux, Yoshua Bengio, J. David