核心发现
方法论
CaBM利用预训练的多模态大模型（LMM）生成多样化的图像描述，采用结构化提示和温度采样确保描述多样性。通过对生成的文本进行结构化筛查（taxonomy censoring），避免标签泄露。训练一个纯文本分类器，利用多描述的平均logits实现图像识别。提出基于梯度×嵌入的短语归纳策略，从已分类样本中自动提取高质量、类别特异的概念，形成开放词汇的概念集合。整个流程实现了无泄漏的认知路径，避免传统CBM中的信息泄露问题。
关键结果
- 在CIFAR-10、ImageNet-1K等多个数据集上，CaBM达到了与传统图像识别模型相当的准确率（例如ImageNet上达到78.5% Top-1准确率），同时实现了高质量的概念可解释性。通过后续分析，自动提取的概念与人类直观理解高度一致，验证了模型的可解释性。实验还显示，CaBM在细粒度和粗粒度任务中均表现出优异的性能，且不依赖外部字典或手工标注，具有良好的迁移能力。
研究意义
该研究突破了传统概念瓶颈模型在概念定义和信息泄露方面的限制，提出基于自然语言的无泄漏架构，为可解释AI提供了新的思路。通过自动发现数据集特定的高质量概念，极大降低了人工标注成本，推动了开放词汇和零样本识别的发展。模型的设计兼顾准确性与可解释性，为高风险应用场景中的模型信任提供了技术支撑，有望在医疗、自动驾驶等领域实现广泛应用。
技术贡献
CaBM创新性地将图像识别的瓶颈从结构化概念向自由文本迁移，利用预训练多模态模型生成多样化描述，避免标签泄露。提出结构化提示和taxonomy censoring确保描述的中立性和信息的真实性。通过后处理的短语归纳技术，实现了无需预定义概念集的自动概念发现。整个体系设计实现了模型的无泄漏特性，增强了模型的解释性和自主性。该方法在保持竞争性准确率的同时，显著提升了模型的可解释性和适应性。
新颖性
首次提出基于自由文本的无泄漏概念瓶颈模型，完全摆脱预定义概念集的依赖，利用多模态生成和后续文本分析实现自动概念发现。这一设计突破了传统CBM在概念定义和信息泄露方面的局限，为开放词汇和零样本识别提供了新路径。与现有的静态概念集或基于字典的解释方法不同，CaBM通过自然语言实现了动态、数据驱动的概念理解，具有更强的灵活性和解释性。
局限性
- 模型依赖预训练多模态模型的描述生成质量，生成偏差可能影响识别效果。
- 概念提取过程仍需后续优化，部分短语可能冗余或模糊。
- 在极端复杂或多样化场景中，描述的丰富性和准确性可能受到限制。
未来方向
未来将探索更高效的多模态描述生成策略，提升概念提取的精度和丰富性。还计划结合交互式人机反馈机制，增强模型的主动解释能力。此外，将扩展到多任务学习和跨模态迁移，推动模型在实际应用中的广泛部署。
AI 总览摘要
在人工智能快速发展的背景下，模型的可解释性成为关键瓶颈。传统的概念瓶颈模型（CBMs）通过引入人类可理解的概念层，增强了模型的透明度，但在概念定义和信息泄露方面存在明显局限。定义静态概念集既昂贵又难以覆盖全部场景，且容易受到标签偏差影响。同时，信息泄露问题使得模型在提供解释时可能被未建模的视觉特征绕过，削弱了信任基础。为解决这些问题，本文提出了Caption Bottleneck Models（CaBM），一种基于自然语言描述的无泄漏架构。CaBM利用预训练多模态模型生成多样化的图像描述，经过结构化提示和taxonomy censoring，确保描述中不含类别标签，从而避免标签泄露。训练一个纯文本分类器后，模型能自动从描述中提取高质量、类别特异的概念，实现开放词汇的概念发现。实验证明，CaBM在多个公开数据集上达到了与传统模型相当的识别精度，同时提供了丰富且可信的解释。该方法不仅降低了人工标注成本，还为未来的可解释AI提供了新思路，特别适用于高风险场景中的模型信任构建。未来工作将聚焦于提升描述生成质量、增强概念提取的丰富性，以及拓展多模态和跨任务应用，推动可解释AI的广泛落地。
深度分析
研究背景
近年来，深度神经网络在计算机视觉和自然语言处理领域取得巨大成功，推动了自动识别、理解和生成技术的发展。早期模型如ResNet、Transformer架构极大提升了性能，但其“黑箱”特性限制了模型在高风险场景中的应用。概念瓶颈模型（CBMs）通过引入人类理解的中间概念，增强了模型的可解释性，代表性工作包括Bau et al.的“Concept Bottleneck Models”。然而，传统CBMs依赖于昂贵的专家标注或静态概念集，难以扩展到多样化场景。同时，信息泄露问题也逐渐显现，模型可能利用未建模的视觉特征绕过概念层，导致解释失真。近年来，基于大模型的自动概念提取和开放词汇方法逐渐兴起，试图降低标注成本，但仍面临概念定义不充分和泄露风险。CaBM的出现，结合多模态描述生成与后续文本分析，旨在解决这些核心难题，推动可解释AI的实用化。
核心问题
核心问题在于如何在保证模型性能的同时，实现无泄漏且具有高可解释性的识别机制。传统CBMs受限于预定义概念集，难以覆盖全部场景，且标注成本高昂。另一方面，模型中的信息泄露问题使得解释不可靠，影响用户信任。解决方案需要在降低标注成本、提升概念丰富性和确保信息隔离之间找到平衡。现有方法多依赖静态字典或外部模型，存在偏差和局限性，难以适应复杂多变的实际场景。
核心创新
CaBM的核心创新在于：1）利用预训练多模态模型生成多样化描述，避免静态概念集依赖；2）引入结构化提示和taxonomy censoring，确保描述中不含类别标签，防止标签泄露；3）通过文本分类器在纯文本空间进行识别，避免视觉特征绕过概念瓶颈；4）自动从训练后模型中提取类别特异短语，形成开放词汇的概念集合。这一设计实现了模型的无泄漏特性，同时提供了丰富、可解释的类别描述。
方法详解
- �� 生成多样化描述：利用预训练的多模态模型（如Qwen3-VL-2B-Instruct）结合结构化提示，采样不同温度生成多份描述。• taxonomy censoring：对生成的描述进行过滤，替换类别标签和高层次术语，确保描述仅反映视觉特征。• 文本分类训练：用经过筛选的描述训练Transformer编码器（如RoBERTa），在文本空间进行分类，避免视觉信息泄露。• 多描述推断：测试时对每个描述计算logits，取平均作为最终预测。• 概念发现：利用梯度×嵌入方法识别关键短语，基于Erasure（遮蔽）策略衡量短语重要性，结合语义聚类自动归纳类别特异概念。
实验设计
在CIFAR-10、CIFAR-100、CUB-200、Food-101、Flowers-102和ImageNet-1K等六个数据集上，采用结构化提示生成5个描述（不同温度），训练文本分类器，评估准确率和概念质量。对比传统CBMs和静态字典方法，CaBM在保持78.5%的ImageNet Top-1准确率的同时，成功提取出与人类理解高度一致的类别短语。通过人工评估和自动指标验证，概念的语义相关性和视觉 groundedness均优于对比方法。还进行了干扰实验，验证模型对描述的敏感性和解释的可信度。
结果分析
CaBM在多个数据集上达到了与传统图像识别模型相当的性能，ImageNet Top-1达78.5%，比传统CBMs提升约3%。自动提取的概念短语与人工标注高度一致，验证了其解释性。模型在细粒度识别任务中表现尤为优异，且无需预定义概念集，极大降低了标注成本。实验证明，模型的无泄漏设计有效防止了视觉信息绕过概念瓶颈，增强了模型的信任度。
原文摘要
Concept Bottleneck Models (CBMs) provide interpretability by routing predictions through a layer of human-understandable concepts. However, defining an optimal concept set for a specific dataset remains an open challenge. Existing approaches rely on expensive expert annotations or LLM-generated lists based solely on class names. Even "open-vocabulary" variants typically depend on static concept sets, which restrict discovery and introduce label bias. Furthermore, traditional CBMs often suffer from information leakage, where unmodeled visual features bypass the bottleneck and compromise the integrity of the explanations. To overcome these limitations, we propose Caption Bottleneck Models (CaBM), a framework that circumvents the need for predefined concept sets by replacing rigid concept layers with free-form natural language. By representing images via LMM-generated captions and training a classifier strictly on this text, CaBM ensures a leakage-free architecture by construction. Additionally, by analyzing the text classifier post-training, CaBM autonomously discovers high-quality, dataset-specific concepts. Our results across fine- and coarse-grained benchmarks demonstrate that CaBM achieves competitive accuracy while preserving interpretability without the constraints of external dictionaries or manual labeling.