核心发现
方法论
本文将PTQTP中的两个三值平面通过比例约束（α=(3s, s)）绑定成单一九级均匀量化器，利用平面折叠实现4-bit编码。采用特定的算法将两个平面无损折叠成一块4.0625比特/权重的存储块，保证存储、缓存和内核输入完全一致，避免转码。通过在DeepSeek-V4-Flash-0731模型中的路由专家进行一轮量化，验证在SSD流式环境下的性能和精度，采用专家无损基准作为对照。
关键结果
- 在284B专家参数的模型中，Tied Trit-Planes在保持与官方API一致的前提下，存储空间减少9%，解码速度提升6.7%，且在多项指标上与4.5-bit Q4_K基线相当。模型在MMLU任务中的得分为86分，优于84分，且无明显的精度损失。
- 通过限制比例约束，模型的重建误差略高，但在推理任务中表现出更好的任务一致性和速度优势。折叠存储结构实现了存储与流式加载的无缝对接，极大提升了大模型的部署效率。
- 在不同硬件平台（Apple M1 Max和Intel i9-13950HX）上，解码吞吐率提升约6.7%，存储文件缩减9%，验证了该方法的硬件适应性和实用性。
研究意义
该研究突破了大规模混合专家模型在消费级硬件上的存储与推理瓶颈，提出的九级均匀量化与存储折叠技术，为模型压缩、快速推理和存储优化提供了新思路。其创新的存储一致性设计，确保了模型在不同存储层级间的高效流转，推动了大模型在边缘设备上的应用落地。
技术贡献
技术上，首次将PTQTP的比例约束引入优化器，实现九级均匀量化的硬件友好性。提出存储折叠策略，将两个三值平面无损折叠成4-bit存储块，兼容CPU-SIMD指令集，支持SSD流式加载。设计了专家无损存储方案，确保存储、缓存和内核输入完全一致，避免转码开销。
新颖性
本工作首次在PTQTP框架中引入比例约束，形成九级均匀量化器，结合存储折叠实现持久存储，解决大模型专家参数流式加载中的存储一致性和效率问题。与现有的非均匀或非比例约束方法相比，提供了硬件友好且高效的解决方案。
局限性
- 尽管在多个指标上表现优异，Tied Trit-Planes在重建误差和困惑度方面略逊于自由比例模型，显示出一定的性能折中。
- 当前方法依赖特定比例约束，可能限制模型的表达能力，未来需探索更灵活的比例调节机制。
- 在极端压缩比或更复杂模型架构中，折叠存储的效果和精度保持仍需验证。
未来方向
未来将扩展比例约束的自适应调节，结合训练中的QAT优化，提升重建精度。探索多平面折叠与更高阶量化的结合，适应更大规模模型和多模态任务。同时，优化存储布局以支持更复杂的硬件架构，实现端到端的高效推理。
AI 总览摘要
本研究提出了一种创新的模型量化与存储方案，名为Tied Trit-Planes，将PTQTP中的两个三值平面通过比例约束（α=(3s, s)）硬绑定，形成单一九级均匀量化器。该方法利用平面折叠技术，将两个平面无损折叠成一块4-bit存储块，实现存储空间的显著压缩（减少9%），同时保证在推理过程中存储、缓存和内核输入完全一致，避免转码带来的性能损失。在实际应用中，作者将其应用到DeepSeek-V4-Flash-0731模型的路由专家中，验证了在SSD流式环境下的性能优势。实验结果显示，该方案在保持模型精度的同时，解码速度提升6.7%，存储文件减小9%，在MMLU任务中得分达86分，优于传统4.5-bit量化方案的84分。该技术的核心创新在于引入比例约束实现九级均匀量化，并结合存储折叠策略，支持CPU-SIMD指令集，极大改善了大模型的存储和推理效率。其广泛的硬件适应性和存储一致性，为大模型在边缘设备上的部署提供了新的可能。未来，作者计划优化比例调节机制，结合训练中的QAT，进一步提升重建精度，并探索多平面折叠与更高阶量化的结合，以应对更大规模和多模态模型的需求。整体而言，该工作为大模型的存储、压缩与快速推理提供了创新路径，推动了模型部署的边缘化与高效化发展。
深度分析
研究背景
近年来，大规模语言模型（LLMs）在性能上取得突破，但其庞大的参数规模带来了存储和推理瓶颈。混合专家（MoE）架构通过专家路由显著减少模型参数的冗余，但存储专家参数仍占用大量空间，限制在边缘设备上的应用。传统量化方法如Q4_K（4-bit量化）虽能压缩模型，但在专家参数中存在精度损失和存储一致性问题。近年来，研究者尝试引入二值和三值量化（如二元平面、三值平面）以降低存储成本，但多平面折叠和比例约束的结合仍未充分探索。现有工作多集中在模型精度或硬件实现优化，缺乏兼顾存储一致性和推理效率的整体方案。本文在此背景下，提出了通过比例约束实现九级均匀量化的创新方法，旨在解决大模型存储与流式加载的难题。
核心问题
大模型在实际部署中面临存储空间巨大、加载速度缓慢的问题，尤其是在专家参数流式加载场景中，存储一致性和解码效率成为瓶颈。传统量化方案难以在保证模型精度的同时，实现存储空间的最大压缩和存储层级的一致性。如何在保证模型性能的前提下，设计一种硬件友好的存储格式，减少转码开销，同时支持高速流式加载，是当前的核心难题。此外，现有方法在专家参数的存储和加载过程中，存在存储碎片化和存储与缓存不一致的问题，影响推理速度和模型的实际应用效果。
核心创新
本工作主要创新点包括：1）引入比例约束（α=(3s, s)）将两个三值平面绑定成单一九级均匀量化器，简化存储结构，提升硬件兼容性；2）利用平面折叠技术，将两个平面无损折叠成4-bit存储块，实现存储空间压缩和存储一致性；3）设计专家无损存储方案，确保存储、缓存和内核输入完全一致，避免转码开销；4）在实际模型中验证方案的性能和精度，展示了在SSD流式环境下的优越表现。这些创新结合了硬件友好性、存储效率和模型性能，为大模型的部署提供了新路径。
方法详解
- �� 采用PTQTP框架，将W≈α1T1+α2T2中的比例α绑定为(3s, s)，实现九级均匀量化；• 通过交替优化三值平面和比例因子，确保复合代码c=3t1+t2在-4到4的范围内均匀分布；• 利用平面折叠技术，将两个三值平面无损折叠成单一4-bit存储块，存储空间压缩，存取一致；• 设计专家无损存储方案，存储原始专家字节，保证存储、缓存和内核输入完全一致，避免转码；• 在DeepSeek-V4-Flash-0731模型中进行量化，验证在SSD流式加载中的性能表现；• 采用专家无损基准作为对照，评估模型的精度、速度和存储效率。
实验设计
实验采用DeepSeek-V4-Flash-0731模型，专家参数为MXFP4，量化后在SSD流式环境中测试。对比基线Q4_K方案，评估存储空间、解码速度和任务性能。使用多个硬件平台（Apple M1 Max和Intel i9-13950HX）验证方案的硬件适应性。指标包括存储文件大小、解码吞吐率（tokens/sec）、模型在MMLU任务中的准确率和困惑度。还进行了不同比例约束的消融实验，验证折叠存储的效果和误差变化。
结果分析
在284B专家参数模型中，Tied Trit-Planes方案存储空间减少9%，解码速度提升6.7%，在MMLU任务中得分86分，优于84分的基线方案。存储文件大小由153.3 GiB减至139.2 GiB，验证了压缩效果。硬件测试显示，在Apple M1 Max和Intel i9平台上，吞吐率分别提升约6.7%，验证了方案的硬件适应性。模型的重建误差略高，但在实际推理任务中表现出更快的速度和更低的存储成本，证明了技术的实用性和有效性。
应用场景
该技术适用于大规模语言模型的边缘部署，尤其在存储受限的设备如笔记本、边缘服务器中，可显著降低存储成本和提升推理速度。未来可结合训练中的QAT优化，进一步提升模型精度，支持多模态和超大规模模型的高效流式加载。
局限与展望
目前方法在极端压缩比下仍存在重建误差和困惑度的折中问题，模型在某些任务中的表现可能受影响。比例约束的硬性限制可能限制模型的表达能力，未来需探索更灵活的调节机制。此外，存储折叠在更复杂模型中效果尚待验证，硬件适配性仍需持续优化。
通俗解读 非专业人士也能看懂
想象你有一个装满各种工具的工具箱，里面的工具有不同的大小和形状。为了节省空间，你决定用一种特殊的方法，把一些工具组合成统一的标准尺寸，这样就能更紧凑地存放。这个方法就像论文中的九级均匀量化，把复杂的工具（模型参数）简化成几种标准大小，方便存储和快速取用。通过特殊的折叠技巧，你可以把两个不同的工具组合成一个更紧凑的工具包，不仅节省空间，还能保证每次拿出来用时都一样快。这就像在厨房里用多功能厨具，把刀和勺子合成一体，既节省空间，又方便使用。这样一来，无论是在家里还是在工厂，都能更快、更省力地完成工作。论文的创新点就是用这种“工具组合”和“折叠”技术，让大模型变得更轻、更快、更容易存放和使用。
简单解释 像给14岁少年讲一样
想象你有一个超级复杂的拼图游戏，里面的每一块拼图都代表一个大模型的部分。以前，这些拼图块很大，要装很多空间，还要花很长时间拼好。而现在，像你用魔法一样，把这些拼图块变得更小、更简单，但又不失去拼出完整图案的能力。你用一种特别的办法，把两个拼图块合成一个九级的拼图块，然后用折叠技巧，把两个拼图“叠”在一起，变成一个4-bit的小块。这样，你的拼图箱就变得更小，拼图速度也快了很多。就像用折纸折叠纸飞机，不仅省空间，还能飞得更快。这项技术让大模型可以像拼乐高一样，装得更紧凑，跑得更快，甚至可以放在你的笔记本电脑里，随时随地用。是不是很酷？未来，这种方法还能帮我们把更复杂的拼图变得更简单，让人工智能变得更普及、更实用！
原文摘要
PTQTP decomposes LLM weight matrices into two ternary (trit) planes with two free per-group scales. Tying the scales to a fixed ratio of three collapses the decomposition into a single uniform nine-level quantizer, a known balanced-ternary identity. To our knowledge, at the time of writing, this work is the first to impose that identity as a constraint inside PTQTP's solver. The two trit planes then fold losslessly into one 4-bit code plane that we make the persistent serving representation: disk bytes, expert-cache bytes, and kernel input are the same 4.0625-bits/weight blocks, consumed in one integer dot pass. For this conjunction (ratio-3 nine-level code, CPU-SIMD kernels, SSD expert streaming, identical persistent bytes) we likewise found no precedent. We apply this to the routed experts of DeepSeek-V4-Flash-0731, a 284B-A13B mixture-of-experts model, quantizing in one shot from the released MXFP4 expert weights and streaming experts from SSD on a 64 GB laptop. Against a 4.5-bit Q4_K baseline, measured one process per fixture with an expert-lossless anchor arm as reference control, the tied model matches the official serving API on 5/5 fixtures at step 0 (Q4_K: 4/5) and 12/14 captured continuation steps (11/14), scores 86 vs. 84 on a 100-item MMLU subset, decodes 6.7% faster in decode phase, and ships 9% smaller files: no detected fidelity difference at these small evaluation sizes, and every fixture-level difference between the arms traces to a single measured near-tie cell. The tied fit nevertheless shows higher weight-reconstruction error and worse perplexity, a measured dissociation between proxy metrics and reference fidelity. A cumulative trunk-ternarization ladder and bitwise-pinned aarch64/x86-64 kernels complete the report. All code, formats, and evaluation artifacts are open source in the fucina inference stack.