核心发现
方法论
本文提出的DocPruner框架利用文档内部patch注意力分布，动态识别并剪枝冗余嵌入。通过分析Transformer最后一层的全局token注意力权重，计算每个patch的重要性分数。采用基于均值和标准差的自适应阈值，确保不同类型文档的关键特征得以保留。该机制无需模型重训练，能在多种多向量检索模型中实现50-60%的存储压缩，几乎无性能损失。核心算法包括全局token注意力提取、统计特征计算和动态阈值筛选，结合信息瓶颈理论，为修剪策略提供理论支撑。
关键结果
- 在ViDoRe-V2和JinaVDR-Bench数据集上，应用DocPruner后，ColQwen2.5模型的patch嵌入压缩率达54.1%，nDCG@5仅下降0.008，从0.5687降至0.5608，表现出极佳的性能保持能力。相较于传统固定阈值和非自适应方法，本文提出的动态自适应阈值显著提升了修剪效率和鲁棒性。
- 在多模型、多数据集环境中，DocPruner均实现了在存储成本大幅降低的同时，检索性能几乎不变，验证了其广泛适用性。特别是在多语种和复杂布局文档中，表现出优异的适应性和稳定性。
- 通过消融实验，验证了基于全局token注意力的patch重要性评估和信息熵调节机制在提升修剪效果中的关键作用。结果显示，采用自适应阈值的修剪策略优于固定比例和简单阈值方案，确保了信息的最大保留和检索效果。
研究意义
该研究解决了多向量视觉文档检索中存储成本过高的问题，为大规模、多模态检索系统的实际部署提供了可行方案。通过引入自适应修剪机制，显著降低存储需求，推动高效、可扩展的文档检索技术向实际应用迈进。该方法不仅提升了模型的存储效率，也为未来多模态信息检索中的特征选择和压缩提供了理论基础和工程实践路径，具有重要的学术价值和产业意义。
技术贡献
本文首次提出基于patch注意力分布的自适应修剪机制，有效结合信息瓶颈理论，提出动态阈值策略，实现对多向量模型patch嵌入的高效压缩。该方法无需模型重训练，兼容多种主流模型，极大提升了存储效率。理论上，结合信息熵分析，为修剪策略提供了科学依据，拓展了多模态检索中的特征选择理论边界。工程上，设计了简洁高效的算法流程，便于实际部署和扩展。
新颖性
本研究首次引入基于Transformer全局token注意力的自适应patch修剪机制，结合信息瓶颈理论，提出动态阈值策略，有效解决多向量VDR模型的存储瓶颈。与以往固定阈值或预定义比例的修剪方法不同，本文实现了文档类型的自适应调节，显著提升了实用性和鲁棒性。这在多模态信息检索领域尚属首次创新。
局限性
- 当前方法依赖Transformer模型的注意力机制，可能在某些模型或架构中表现不佳，限制了泛化能力。
- 自适应阈值参数k的调节还需经验优化，可能影响不同场景的效果。
- 在极端信息稀疏或极度密集的文档中，修剪策略可能出现过度或不足的问题，影响检索性能。
未来方向
未来将探索结合多模态信息的联合修剪策略，提升对不同类型文档的适应性。还计划引入学习型阈值调节机制，实现端到端的自动优化，进一步降低人工调参成本。此外，将扩展到实时检索场景，优化算法的计算效率和响应速度。
AI 总览摘要
视觉文档检索（VDR）作为信息检索的重要方向，近年来随着大规模视觉-语言模型（LVLMs）的崛起，取得了显著突破。多向量检索策略通过将每个文档细粒度划分为patch级嵌入，极大提升了检索的准确性，但同时带来了巨大的存储负担。每个页面存储数百甚至上千个向量，限制了大规模部署的可行性。本文提出的DocPruner框架，创新性地利用Transformer模型中的全局token注意力分布，动态评估每个patch的重要性，结合信息熵调节机制，实现对patch嵌入的自适应修剪。实验结果显示，在多个主流多向量模型和数据集上，修剪率达50-60%，几乎不影响检索性能，大幅降低存储成本。该方法不仅解决了存储瓶颈，也为多模态信息检索的未来发展提供了理论支撑和工程方案。通过引入信息瓶颈理论，确保修剪过程在信息最大保留的同时实现高效压缩，展现出极强的实用价值和学术创新。未来，结合多模态特征学习和端到端优化，将推动大规模、多样化视觉文档检索系统的实际应用落地。
深度分析
研究背景
随着视觉文档在电子商务、教育和科研等领域的广泛应用，检索技术不断演进。从早期的OCR+文本检索到基于深度学习的视觉-语言模型（如CLIP、Florence），极大提升了理解复杂布局和多模态信息的能力。多向量检索策略通过细粒度patch嵌入实现更高的检索精度，但存储成本随嵌入数量线性增长，成为瓶颈。现有优化方法多采用聚类或池化，但难以兼顾性能与存储效率。本文在此背景下，提出自适应patch修剪，旨在突破存储限制，推动大规模实用化。
核心问题
多向量VDR模型在高精度检索中表现优异，但存储成本极高，尤其在大规模数据环境中难以部署。每个页面的patch嵌入数以百计甚至千计，导致存储空间和计算资源消耗巨大，严重制约其应用推广。现有修剪方法多为固定比例或阈值，缺乏对不同文档类型的适应性，导致信息丢失或效率不足。如何在保证检索性能的前提下，实现高效、动态的存储压缩，是亟待解决的核心问题。
核心创新
本文提出的核心创新包括：1）利用Transformer最后一层全局token注意力，动态评估每个patch的重要性，避免固定阈值带来的局限；2）引入信息熵调节机制，根据文档信息密度自适应调整修剪比例，增强鲁棒性；3）无需模型重训练，快速实现存储压缩，兼容多模型架构。这些创新突破了传统修剪方法的刚性限制，为多模态检索提供了新思路。
方法详解
- �� 通过VLM编码器提取文档patch嵌入和全局token注意力；
- �� 计算每个patch的注意力重要性分数；
- �� 利用统计特征（均值、标准差）自适应设定阈值；
- �� 根据阈值筛选关键patch，形成修剪后集合；
- �� 在检索时，仅用修剪后的patch集合进行相似度计算，提升效率；
- �� 理论基础结合信息瓶颈，确保信息最大保留。
实验设计
在ViDoRe-V2和JinaVDR-Bench两个代表性数据集上，采用ColQwen2.5、ColNomic和Jina Embeddings V4模型，评估修剪效果。对比固定阈值、非自适应修剪和多种融合策略，使用nDCG@5指标。通过调节参数k，验证不同修剪比例对性能的影响。实验还包括多语种和不同布局文档，确保方法的普适性。所有模型在NVIDIA A100上训练和测试，确保公平性。
结果分析
在多模型多数据集上，DocPruner实现50-60%的patch压缩率，检索性能几乎无差异。例如，ColQwen2.5模型压缩54.1%，nDCG@5仅下降0.008（从0.5687到0.5608）；ColNomic模型压缩43.6%，性能保持在0.5946到0.5960之间。自适应阈值策略优于固定阈值和非调节方法，显著提升存储效率和鲁棒性。消融实验验证了全局token注意力和信息熵调节的关键作用，确保信息最大化。
应用场景
该技术适用于大规模企业级文档检索系统，尤其在电子商务、数字图书馆和智能办公中，可显著降低存储成本，提升检索速度。未来结合端到端训练，将实现更智能的动态修剪，支持实时检索和多模态融合，推动行业智能化升级。
局限与展望
目前方法依赖Transformer模型的注意力机制，可能在非Transformer架构中效果有限。参数k的调节还需人工经验，可能影响不同场景的适应性。极端信息稀疏或密集的文档可能出现修剪过度或不足的问题。未来需研究更鲁棒的参数自适应机制和多模态特征融合策略，以应对更复杂的实际应用场景。
通俗解读 非专业人士也能看懂
想象你在整理一堆杂乱的文件夹，每个文件夹里有很多不同的文件。为了节省空间，你会挑出最重要的文件，把那些没那么重要的扔掉。这个过程就像DocPruner做的事，它会看每个文件夹里的每个文件，判断哪些内容最关键，然后只保留那些。这样，文件夹变得更小，但你仍然能找到你需要的内容。这个方法让存储变得更高效，也让检索变得更快，就像你用一个聪明的筛子，把重要的东西筛出来一样。
简单解释 像给14岁少年讲一样
你知道当你整理书架时，会挑出最喜欢的书放在显眼的位置，把不常看的书放到一边？这就是在节省空间和找到想看的东西的技巧。DocPruner也是这样，它会看每个文档中的不同部分，判断哪些内容最重要，然后把那些内容留下来，其他的删掉。这样一来，存储空间变小了，找资料也更快了。这就像用一个聪明的剪刀，把不重要的部分剪掉，只留下最关键的内容，既节省空间，又不影响找到需要的资料。
术语表
Visual Document Retrieval (视觉文档检索)
利用视觉和文本信息，从大量文档中检索相关页面的技术。技术上结合深度学习模型提取多模态特征。
本文中的VDR指利用多模态特征实现高效检索。
Multi-vector Retrieval (多向量检索)
将文档和查询分别编码为多个向量，通过逐向量比较实现细粒度匹配的检索方法。技术上采用Late Interaction机制。
本文使用多向量策略提升检索效果。
Embedding Pruning (嵌入修剪)
根据重要性指标，动态删除冗余或不重要的特征向量，以减小存储和计算成本。
本文提出的自适应patch修剪即为嵌入修剪。
Global Token Attention (全局Token注意力)
Transformer模型中，用于总结整个输入信息的特殊Token的注意力分布，用以衡量局部patch的重要性。
本文利用全局Token注意力评估patch重要性。
Information Bottleneck (信息瓶颈)
信息理论中的概念，旨在在压缩表示的同时最大化对目标的保留，确保信息的有效传递。
本文结合信息瓶颈理论指导patch修剪策略。
开放问题 这项研究留下的未解疑问
- 1 当前方法在极端信息密集或稀疏的文档中表现不佳，如何自适应调整修剪策略仍需探索。
- 2 不同模型架构对全局Token注意力的依赖程度不同，如何设计更普适的特征评估机制是未来方向。
- 3 多模态特征的联合优化和端到端训练，仍是提升整体性能和鲁棒性的关键挑战。
应用场景
近期应用
大规模企业文档检索
利用DocPruner优化存储，提升检索速度和效率，适合电子商务、数字图书馆等场景，降低硬件成本。
多模态信息管理系统
在智能办公和档案管理中实现高效存储和快速检索，支持多语言、多布局文档的快速筛选。
远期愿景
智能内容理解与检索
结合深度学习和自适应修剪，推动全自动、多模态、超大规模文档系统的构建，实现人机交互的智能化。
原文摘要
Visual Document Retrieval (VDR), the task of retrieving visually-rich document pages using queries that combine visual and textual cues, is crucial for numerous real-world applications. Recent state-of-the-art methods leverage Large Vision-Language Models (LVLMs) in a multi-vector paradigm, representing each document as patch-level embeddings to capture fine-grained details. While highly effective, this approach introduces a critical challenge: prohibitive storage overhead, as storing hundreds of vectors per page makes large-scale deployment costly and impractical. To address this, we introduce DocPruner, the first framework to employ adaptive patch-level embedding pruning for VDR to effectively reduce the storage overhead. DocPruner leverages the intra-document patch attention distribution to dynamically identify and discard redundant embeddings for each document. This adaptive mechanism enables a significant 50-60% reduction in storage for leading multi-vector VDR models with negligible degradation in document retrieval performance. Extensive experiments across more than ten representative datasets validate that DocPruner offers a robust, flexible, and effective solution for building storage-efficient, large-scale VDR systems.