核心发现
方法论
Scratchpad Patching (SP) 方法在每个补丁内插入临时的scratchpad，通过下一个字节预测熵触发，选择性地分配计算资源。SP允许在推理时动态调整计算量，适用于多种现有的补丁架构。
关键结果
- 在自然语言和代码实验中，SP在16字节补丁下与字节级基线相当，同时KV缓存减少16倍，推理计算减少3-4倍。
- SP模型在多个下游任务中表现出色，特别是在NLU基准测试中，简单的固定大小补丁策略与复杂策略相当。
- 在代码生成任务中，SP增强模型在MBPP和HumanEval上提高了pass@1率，同时保持了KV缓存的减少。
研究意义
SP方法显著改善了质量与补丁大小的经验前沿，允许使用更大的补丁和更小的KV缓存而不降低质量。这一方法为字节级语言模型的计算效率提供了新的可能性，特别是在需要高效处理长字节序列的应用中。
技术贡献
SP方法通过引入临时scratchpad来解耦计算与补丁大小，减少了补丁滞后。它提供了一种通用机制，适用于许多现有的补丁架构，显著提高了计算效率和模型质量。
新颖性
SP首次在补丁内引入临时scratchpad，允许动态调整计算资源。这种方法与传统的固定边界策略不同，提供了更灵活的计算分配。
局限性
- SP方法在与学习补丁边界结合时可能导致冗余计算，特别是在H-Net架构中表现出验证BPB的下降。
- 在多语言环境中，虽然SP缩小了与字节级基线的差距，但仍存在一定的性能差异。
未来方向
未来工作可以探索SP在更多补丁架构中的应用，研究如何优化scratchpad触发策略，以及在多语言和多任务环境中的表现。
AI 总览摘要
现代语言模型通常依赖于分词器来处理输入文本，但这种方法存在灵活性不足的问题。Scratchpad Patching (SP) 提出了一种新的方法，通过在补丁中插入临时的scratchpad，动态调整计算资源，解决了补丁滞后问题。
SP方法在每个补丁内根据下一个字节预测的熵来触发scratchpad更新，选择性地分配计算资源。这种方法允许在推理时动态调整计算量，适用于多种现有的补丁架构。在实验中，SP在自然语言和代码任务中表现出色，特别是在16字节补丁下，模型质量接近字节级基线，同时计算效率显著提升。
SP方法显著改善了质量与补丁大小的经验前沿，允许使用更大的补丁和更小的KV缓存而不降低质量。这一方法为字节级语言模型的计算效率提供了新的可能性，特别是在需要高效处理长字节序列的应用中。然而，SP在与学习补丁边界结合时可能导致冗余计算，未来工作可以探索如何优化scratchpad触发策略。
深度分析
研究背景
传统的语言模型依赖于分词器，将文本分割为短的token序列。然而，这种方法存在灵活性不足的问题，特别是在处理长字节序列时。近年来，字节级语言模型逐渐受到关注，它们直接在字节上操作，避免了分词器的限制。
核心问题
字节级模型中，补丁大小的选择影响计算效率和模型质量。较大的补丁减少了计算和KV缓存，但会导致模型质量下降，因为在补丁完全观察到之前，字节预测必须依赖于过时的表示。
核心创新
SP方法通过在补丁中插入临时scratchpad，动态调整计算资源，解决了补丁滞后问题。它根据下一个字节预测的熵来触发scratchpad更新，选择性地分配计算资源。
方法详解
- �� 在每个补丁内插入临时scratchpad
- �� 根据下一个字节预测的熵触发更新
- �� 选择性地分配计算资源
- �� 允许在推理时动态调整计算量
实验设计
实验在自然语言和代码任务中进行，使用多个数据集和基线进行比较。关键指标包括模型质量、KV缓存使用和推理计算量。
结果分析
SP在16字节补丁下与字节级基线相当，同时KV缓存减少16倍，推理计算减少3-4倍。SP模型在多个下游任务中表现出色，特别是在NLU基准测试中。
应用场景
SP方法适用于需要高效处理长字节序列的应用，如自然语言处理和代码生成。它允许在推理时动态调整计算量，提高计算效率。
局限与展望
SP在与学习补丁边界结合时可能导致冗余计算，特别是在H-Net架构中表现出验证BPB的下降。未来工作可以探索如何优化scratchpad触发策略。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，每个食材都需要切割和准备。传统方法像是提前准备好所有食材，但这可能导致一些食材过早准备而变质。Scratchpad Patching就像是根据需要动态准备食材，确保每个步骤都能用上最新鲜的材料。这种方法不仅提高了效率，还能保证最终菜肴的质量。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，每次升级都需要收集资源。传统方法就像是一次性收集所有资源，但这可能导致资源浪费。Scratchpad Patching就像是根据需要动态收集资源，确保每次升级都能用上最有效的资源。这种方法不仅提高了游戏效率，还能保证每次升级的效果。
术语表
Scratchpad Patching (SP)
一种在补丁中插入临时scratchpad的方法，动态调整计算资源。
用于解决补丁滞后问题，提高计算效率。
KV缓存
存储补丁级别表示的缓存，用于减少计算量。
SP方法通过减少KV缓存来提高计算效率。
补丁滞后
在补丁完全观察到之前，字节预测依赖于过时表示的问题。
SP通过插入scratchpad来解决这个问题。
下一个字节预测熵
用于触发scratchpad更新的指标，表示信息密度。
SP根据熵值选择性地分配计算资源。
自然语言理解 (NLU)
计算机理解和处理人类语言的能力。
SP在NLU任务中表现出色。
开放问题 这项研究留下的未解疑问
- 1 如何优化scratchpad触发策略以避免冗余计算？
- 2 在多语言环境中，SP方法的性能差异如何进一步缩小？
应用场景
近期应用
自然语言处理
SP方法可用于提高自然语言处理任务中的计算效率，特别是在需要处理长文本的场景中。
远期愿景
代码生成
SP方法在代码生成任务中表现出色，未来可能在更多编程语言和复杂任务中应用。
原文摘要
Tokenizer-free language models eliminate the tokenizer step of the language modeling pipeline by operating directly on bytes; patch-based variants further aggregate contiguous byte spans into patches for efficiency. However, the average patch size chosen at the model design stage governs a tight trade-off: larger patches reduce compute and KV-cache footprint, but degrade modeling quality. We trace this trade-off to patch lag: until a patch is fully observed, byte predictions within it must rely on a stale representation from the previous patch to preserve causality; this lag widens as patches grow larger. We introduce Scratchpad Patching (SP), which inserts transient scratchpads inside each patch to aggregate the bytes seen so far and refresh patch-level context for subsequent predictions. SP triggers scratchpads using next-byte prediction entropy, selectively allocating compute to information-dense regions and enabling post-hoc adjustment of inference-time compute. Across experiments on natural language and code, SP improves model quality at the same patch size; for example, even at $16$ bytes per patch, SP-augmented models match or closely approach the byte-level baseline on downstream evaluations while using a $16\times$ smaller KV cache over patches and $3$-$4\times$ less inference compute.