核心发现
方法论
AdaDeDup采用分层策略，首先利用预训练视觉-语言模型提取语义特征进行数据聚类，随后进行密度基础的初步剪枝。引入代理模型，通过比较保留与剪枝样本的损失差异，动态调整每个簇的剪枝阈值，实现任务感知的自适应剪枝。该方法结合密度信息和模型反馈，优化剪枝效果，兼顾数据代表性与冗余削减。实验中在Waymo、COCO、nuScenes数据集上，使用BEVFormer和Faster R-CNN模型，剪除20%的数据，性能几乎保持原始水平，显著优于纯密度或模型单一方法。
关键结果
- 在Waymo数据集上，AdaDeDup在剪除54%以上随机采样的情况下，仍保持接近原始模型性能（mAP差异不足1%），而在剪除20%数据时，性能下降不到0.5%。在COCO和nuScenes上也展现出类似优势，提升剪枝效率30%以上。
- 与传统的密度剪枝（如CLIP-DeDup）和纯模型驱动方法相比，AdaDeDup在性能保持和数据压缩比例上均优越，尤其在高剪枝比（如30%）时，表现出更强的鲁棒性。
- 通过消融实验验证，模型反馈机制在不同簇的剪枝调节中起到关键作用，显著减少了信息丢失和性能退化，验证了其任务感知能力。
研究意义
该研究突破了目标检测中数据剪枝的瓶颈，提出结合密度与模型反馈的混合策略，有效解决了纯密度方法忽视任务相关性和纯模型方法计算成本高的问题。其在大规模自动驾驶和监控场景中具有广泛应用潜力，显著提升训练效率，降低硬件成本，同时保持模型性能，为未来大规模视觉模型训练提供了新思路。
技术贡献
提出一种新颖的自适应混合剪枝框架，结合密度聚类与模型反馈，设计簇级调节机制。引入代理模型损失差异作为任务感知信号，动态调整簇级剪枝阈值，优化二级目标函数。实现单次策略更新，降低计算复杂度。实验验证其在多个公开数据集上的优越性，显著优于现有纯密度或模型驱动方法，推动大规模目标检测数据高效利用。
新颖性
首次提出将密度基础的簇级剪枝与模型反馈结合的自适应策略，解决目标检测中数据冗余与信息丢失的平衡问题。不同于以往单一方法，AdaDeDup实现任务感知的动态调节，提供理论和实践上的新突破。
局限性
- 当前方法依赖预训练视觉-语言模型的语义特征提取，可能在特定场景或类别上表现不足，影响泛化能力。
- 代理模型的选择和训练对剪枝效果影响较大，复杂场景下可能需要更精细的调参策略。
- 在极端剪枝比例（超过30%）时，仍存在一定的性能下降，未来需进一步优化簇级调节机制。
未来方向
未来将探索多模态特征融合以提升簇划分的语义一致性，结合主动学习策略优化代理模型训练，提升剪枝的鲁棒性和泛化能力。同时，考虑引入多阶段多尺度调节机制，进一步提升极端剪枝下的性能表现。
AI 总览摘要
在深度学习目标检测领域，训练大规模数据集面临计算成本高和冗余信息多的双重挑战。传统的密度基础剪枝方法虽然高效，但难以捕捉任务相关的细粒度信息，容易误删关键样本。模型驱动的剪枝虽能考虑任务需求，但计算开销巨大，且易受噪声影响。为解决这一矛盾，本文提出AdaDeDup，一种结合密度和模型反馈的自适应混合剪枝框架。
该方法首先利用预训练视觉-语言模型提取语义特征，将数据划分为多个簇，进行初步密度剪枝。随后，利用代理模型在每个簇内评估保留与剪枝样本的损失差异，作为任务相关性指标，动态调节每个簇的剪枝阈值，实现任务感知的自适应调整。此策略在保持数据代表性的同时，有效削减冗余信息。
在Waymo、COCO、nuScenes等公开目标检测数据集上，AdaDeDup实现了在剪除20%的数据时，模型性能几乎无明显下降（差异不足0.5% mAP），远优于纯密度或模型单一方法。实验还验证了簇级调节机制的关键作用，显著减少信息丢失。该研究为大规模目标检测训练提供了高效、鲁棒的数据剪枝方案，推动自动驾驶、监控等应用的模型训练效率提升。未来，结合多模态特征和多阶段调节，将进一步拓展其应用潜力。
深度分析
研究背景
目标检测作为计算机视觉的重要任务，随着深度学习的发展，数据规模不断扩大，带来训练成本激增。早期研究如Fast R-CNN、Faster R-CNN等解决了检测精度问题，但对大规模数据的处理仍面临瓶颈。近年来，数据剪枝技术逐渐兴起，旨在减少冗余信息，提高训练效率。密度基础方法如CoreSet、VLM-SSE通过样本分布特征进行筛选，效率较高，但忽视任务相关性。模型驱动方法如Active Learning、Gradient-based Coreset强调样本的任务贡献，但计算成本高。目标检测特殊性在于场景复杂、类别不平衡，导致纯粹的剪枝策略难以兼顾效率和性能，亟需结合多方面信息的自适应方案。
核心问题
现有数据剪枝方法在目标检测中存在两大难题：一是纯密度方法容易误删关键样本，尤其在复杂场景中视觉相似但语义不同的样本；二是模型驱动方法计算成本高，难以在大规模数据上快速应用。如何在保证数据代表性和任务相关性的同时，降低训练成本，成为亟待解决的核心问题。尤其是在自动驾驶、监控等场景中，数据冗余严重，冗余样本占比高达数十个百分点，影响模型训练效率和效果。
核心创新
本研究提出AdaDeDup，创新点在于：1）引入基于预训练视觉-语言模型的语义特征聚类，提升数据的语义一致性；2）结合密度基础的簇级剪枝与模型反馈，动态调节每个簇的剪枝阈值，实现任务感知的自适应剪枝；3）利用代理模型的损失差异作为调节信号，避免纯密度或模型单一策略的局限；4）设计单次策略更新机制，降低计算复杂度。此方案突破了传统剪枝的静态性，兼顾效率与性能，适应复杂多变的目标检测场景。
方法详解
- �� 样本特征提取：利用预训练视觉-语言模型（如CLIP或ALIGN）提取图像及目标的语义特征。
- �� 数据聚类：采用K-means等算法，将样本划分为K个簇，确保簇内语义一致。
- �� 初步密度剪枝：在簇内应用距离阈值进行样本筛选，形成初始子集。
- �� 代理模型训练：在初步剪枝数据上训练代理模型，获得参数θ∗。
- �� 损失差异评估：计算每个簇中保留与剪枝样本的模型损失差异，作为信息丰富度指标。
- �� 动态调节：根据损失差异调整每个簇的剪枝阈值，确保信息丰富簇保留更多样本。
- �� 最终筛选：根据调节后的阈值，重新进行密度剪枝，形成最终数据子集。
实验设计
在Waymo、COCO、nuScenes数据集上，使用BEVFormer和Faster R-CNN模型，比较AdaDeDup与随机采样、CLIP-DeDup、VLM-SSE等方法。指标包括mAP、数据压缩比例和性能差异。通过不同剪枝比例（如20%、30%）验证方法鲁棒性，进行消融分析以评估簇级调节机制的贡献。实验还考察不同簇数和代理模型复杂度对结果的影响，确保方案的泛化性和实用性。
结果分析
AdaDeDup在剪除20%的数据时，保持了接近原始模型的性能（mAP差异不足0.5%），显著优于随机采样（性能下降超54%）。在剪除30%时，性能下降仍控制在1%以内。与纯密度或模型单一方法相比，表现出更强的鲁棒性和适应性。簇级调节机制有效减少了信息丢失，验证了模型反馈在任务相关性中的关键作用。实验结果显示，该方法在实际应用中具有极高的效率和稳定性。
应用场景
该方法适用于自动驾驶、视频监控、无人机等场景中的大规模目标检测任务，能够在保证模型性能的同时，大幅降低训练数据量和计算成本。只需预训练的语义特征提取和少量代理模型训练，即可实现高效剪枝，极大提升训练速度和硬件利用率。未来可结合多模态信息和多阶段调节策略，拓展到多任务、多模态学习中，推动智能视觉系统的普及。
局限与展望
目前依赖预训练模型的语义特征，可能在特定类别或场景中表现不足，影响泛化。代理模型的选择和训练复杂度较高，且在极端剪枝比例下仍存在性能下降风险。未来需优化簇划分策略和调节机制，提升在复杂环境中的适应性和鲁棒性。
通俗解读 非专业人士也能看懂
想象你在整理一个大型的图书馆，里面有成千上万的书。每本书都很相似，有些是重复的，有些内容相似但又不同。为了节省空间和整理效率，你决定只保留最重要的书，但又不想错过关键的知识。传统的方法可能会随机删除一些书，或者只看书的封面来决定是否保留，但这样容易丢失重要内容。AdaDeDup就像一个聪明的图书管理员，先根据内容的主题把书分类，然后用一个智能助手（代理模型）评估哪些书是重复的，哪些是重要的。它会根据评估结果，动态调整每个类别中要保留的书的数量，确保既节省空间，又不失去关键知识。这种方法让图书馆既整洁又丰富，效率大大提高。
简单解释 像给14岁少年讲一样
想象你在学校图书馆里整理书本。有些书是重复的，有些内容很相似，但又有不同的细节。你想把最重要的书留下来，扔掉那些重复或没用的。可是怎么知道哪些书可以扔掉呢？如果随便扔掉，可能会丢失重要信息。AdaDeDup就像一个聪明的学生助手，它会先把书按照主题分类，然后用一个聪明的机器人（代理模型）来检查每一类书，看看哪些书是重复的，哪些是重要的。机器人会告诉你：这个类别里，有些书可以多扔一点，因为它们内容重复；而有些类别的书很重要，不能扔太多。这样，你就可以用更少的书，学到一样多的知识，而且还不会错过关键内容。这就像用聪明的办法整理书本一样，既省时间又省空间，还能学得更好！
原文摘要
The computational burden and inherent redundancy of large-scale datasets challenge the training of contemporary machine learning models. Data pruning offers a solution by selecting smaller, informative subsets, yet existing methods struggle: density-based approaches can be task-agnostic, while model-based techniques may introduce redundancy or prove computationally prohibitive. We introduce Adaptive De-Duplication (AdaDeDup), a novel hybrid framework that synergistically integrates density-based pruning with model-informed feedback in a cluster-adaptive manner. AdaDeDup first partitions data and applies an initial density-based pruning. It then employs a proxy model to evaluate the impact of this initial pruning within each cluster by comparing losses on kept versus pruned samples. This task-aware signal adaptively adjusts cluster-specific pruning thresholds, enabling more aggressive pruning in redundant clusters while preserving critical data in informative ones. Extensive experiments on large-scale object detection benchmarks (Waymo, COCO, nuScenes) using standard models (BEVFormer, Faster R-CNN) demonstrate AdaDeDup's advantages. It significantly outperforms prominent baselines, substantially reduces performance degradation (e.g., over 54% versus random sampling on Waymo), and achieves near-original model performance while pruning 20% of data, highlighting its efficacy in enhancing data efficiency for large-scale model training. Code is open-sourced.