核心发现
方法论
该研究提出了一种名为代理压缩的新训练方案。通过在训练过程中同时使用原始字节序列和外部压缩器生成的压缩视图，模型学习在压缩序列和原始字节之间进行内部对齐。这种对齐使得即使主要在压缩输入上训练，模型在推理时也能有效处理原始字节。
关键结果
- 在代码语言建模实验中，代理压缩在固定计算预算下显著提高了训练效率，并且在模型规模增加时，这些收益更加明显。
- 代理训练的模型最终能够匹配或超越基于分词器的方法，同时仅在原始字节上运行。
- 在MBPP-Plus任务上，代理压缩在14B模型规模下的表现超越了字节级和分词器基线。
研究意义
该研究的意义在于它提供了一种在不牺牲字节级建模鲁棒性的情况下提高训练效率的方法。代理压缩允许在训练时使用压缩数据的效率优势，而在推理时保持简单的字节级接口。这种方法可以解决传统分词器方法中存在的耦合问题，并在大规模模型中展现出更强的表现。
技术贡献
技术贡献包括提出了一种新的混合表示训练方案，能够在不改变模型架构的情况下提高训练效率。代理压缩展示了强大的跨表示转移能力，使得主要在代理压缩输入上训练的模型能够在原始字节推理中表现优异。
新颖性
代理压缩是首次在语言模型训练中引入混合表示方案，允许在不依赖固定压缩器的情况下实现高效训练。这种方法与传统的分词器方法根本不同，提供了一种新的视角来处理压缩和原始字节之间的转换。
局限性
- 代理压缩在小规模模型上可能表现不如预期，特别是在跨表示转移能力较弱的情况下。
- Gzip作为代理压缩器时，表现不如分词器和神经网络代理。
未来方向
未来的研究方向包括探索其他类型的代理压缩器，优化跨表示转移能力，以及在更多语言和任务上验证该方法的有效性。
AI 总览摘要
现代语言模型通常依赖于固定的分词器进行训练，这种方法在效率上有优势，但也带来了模型与压缩器耦合的问题。本文提出了一种名为代理压缩的新方法，通过在训练过程中使用混合表示输入，解决了这一问题。
代理压缩在训练时使用外部压缩器生成的压缩视图和原始字节序列，模型学习在这两种表示之间进行对齐。这种方法不仅提高了训练效率，还保留了字节级建模的鲁棒性。实验表明，代理压缩在代码语言建模任务中显著优于字节级基线，并在大规模模型中表现出色。
尽管代理压缩在小规模模型上可能表现不如预期，但其在大规模模型中的优异表现和潜在的广泛应用前景，使其成为语言模型训练中的一项重要创新。未来的研究可以进一步优化代理压缩器，并探索其在更多任务中的应用。
深度分析
研究背景
语言模型的训练通常依赖于分词器，这种方法通过将原始输入映射为离散的令牌序列来提高训练效率。然而，这种设计将模型与压缩器紧密耦合，导致了一些已知的问题，如提示边界问题和再分词漂移等。
核心问题
核心问题在于如何在不依赖固定压缩器的情况下，保持训练效率的同时实现端到端的字节级接口。这对于提高模型的鲁棒性和适应性至关重要。
核心创新
代理压缩的核心创新在于引入了一种混合表示训练方案，使得模型在训练时能够同时处理压缩视图和原始字节。这种方法不仅提高了训练效率，还保留了字节级建模的鲁棒性。
方法详解
- �� 使用外部压缩器生成压缩视图
- �� 混合压缩和原始字节输入进行训练
- �� 模型学习在两种表示之间对齐
- �� 推理时仅使用原始字节输入
实验设计
实验在代码语言建模任务上进行，使用了RefineCode数据集。比较了字节级、分词器和代理压缩三种方法的表现，重点考察了不同模型规模下的跨表示转移能力。
结果分析
实验结果显示，代理压缩在固定计算预算下显著优于字节级基线，特别是在大规模模型中。代理训练的模型在MBPP-Plus任务上表现出色，超越了字节级和分词器基线。
应用场景
代理压缩可以直接应用于需要高效训练和鲁棒推理的语言模型任务，如代码生成和自然语言处理。
局限与展望
代理压缩在小规模模型上的表现可能不如预期，并且Gzip作为代理压缩器时表现不佳。未来的研究可以优化代理压缩器并探索更多任务中的应用。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。传统的语言模型就像是需要先把食材切成特定形状才能放进锅里煮，这样做虽然方便，但有时会影响食材的原味。代理压缩就像是直接把食材放进锅里煮，同时还能利用一些特殊的工具让食材在锅里自动排列整齐。这样既保留了食材的原味，又提高了烹饪效率。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，通常你需要先把角色装备好才能去冒险，这有点麻烦。代理压缩就像是一个超级装备，可以让你直接去冒险，同时还能自动帮你装备好所有需要的东西！这让游戏变得更简单，也更有趣。你不再需要担心装备的问题，只需专注于冒险本身。
术语表
代理压缩 (Proxy Compression)
一种训练方案，使用混合表示输入提高语言模型的训练效率。
在训练中使用压缩视图和原始字节进行对齐学习。
分词器 (Tokenizer)
将文本分割为离散令牌的工具，用于提高训练效率。
传统语言模型训练中常用的压缩器。
字节级建模 (Byte-level Modeling)
直接在原始字节上进行建模的方法，具有鲁棒性。
代理压缩在推理时使用的接口。
跨表示转移 (Cross-representation Transfer)
模型在不同表示之间的学习和应用能力。
代理压缩的核心优势之一。
MBPP-Plus
一种用于评估代码生成模型的基准测试。
实验中用于评估代理压缩效果的任务。
开放问题 这项研究留下的未解疑问
- 1 如何在小规模模型上提高代理压缩的表现？
- 2 是否有其他类型的代理压缩器可以进一步提高效率？
应用场景
近期应用
代码生成
代理压缩可以用于提高代码生成任务中的训练效率和推理鲁棒性。
远期愿景
多语言处理
代理压缩可以扩展到处理多语言任务，提高低资源语言的建模能力。
原文摘要
Modern language models are trained almost exclusively on token sequences produced by a fixed tokenizer, an external lossless compressor often over UTF-8 byte sequences, thereby coupling the model to that compressor. This work introduces proxy compression, an alternative training scheme that preserves the efficiency benefits of compressed inputs while providing an end-to-end, raw-byte interface at inference time. During training, a single language model is jointly trained on raw byte sequences and compressed views generated by external compressors; through the process, the model learns to internally align compressed sequences and raw bytes. This alignment enables strong transfer between the two formats, even when training predominantly on compressed inputs that are discarded at inference. Extensive experiments on code language modeling demonstrate that proxy compression substantially improves training efficiency and significantly outperforms pure byte-level baselines given fixed compute budgets. As model scale increases, these gains become more pronounced, and proxy-trained models eventually match or surpass tokenizer approaches, all while operating solely on raw bytes and retaining the inherent robustness of byte-level modeling. Our code is available at https://github.com/LZhengisme/proxy-compression.