核心发现
方法论
采用线性探测和梯度归因分析，比较BERT、LLaMA等不同架构在自然问答和MS MARCO数据集上的表现。通过调整表示策略（CLS、均值池化、EOS）验证知识存储变化，分析微调是否引入新知识。实验涵盖DPR、Contriever、ReplLlama模型，确保结果可复现。
关键结果
- 在DPR模型中，微调主要通过激活调节实现性能提升，预训练知识占主导。Contriever和LLaMA模型中，微调未显著改变知识结构，反映不同架构差异。多数据集验证了结论的普适性，微调在不同表示和架构下表现不同。
- 线性探测显示，预训练模型在多层次中已编码丰富知识，微调后激活变化但知识组织未根本改变。Contriever的均值池化策略减弱了微调对知识重组的影响。
- 深层模型（如ReplLlama）在后续层表现出更强的知识编码能力，表明深层次表示更富信息。微调主要调节激活状态，而非知识存储的重组。
- 实验结果强调预训练模型的知识基础，微调作用偏向激活调节，挑战了微调能引入新知识的假设。
研究意义
本研究揭示了密集检索模型中预训练与微调的关系，为模型设计提供理论基础。理解微调对知识结构的影响，有助于优化训练流程，降低成本，提升模型可信度。结果对未来构建高效、可解释的检索系统具有指导意义，推动模型在信息检索、问答等应用中的应用优化。
技术贡献
提出多架构、多表示策略的系统分析框架，结合线性探测和梯度归因技术，验证微调是否引入新知识。扩展了Reichman和Heck的研究范围，涵盖decoder架构和不同池化策略，增强了研究的普适性。实现了完整的可复现流程，公开代码，促进学术交流。
新颖性
首次系统性比较不同架构（BERT、LLaMA）和表示策略（CLS、均值池化、EOS）对知识存储的影响，验证微调是否真正引入新知识。突破性地将研究从单一数据集扩展到多个数据集，提供更全面的理解。强调微调主要调节激活状态而非知识重组，为模型优化提供新视角。
局限性
- 研究主要基于线性探测和梯度归因，未考虑非线性知识变化。
- 不同模型架构和表示策略带来差异，结果可能受具体实现细节影响。
- 未深入分析微调对知识迁移和泛化能力的影响，未来需结合任务性能进行评估。
未来方向
建议结合非线性分析方法，深入探讨微调对知识迁移的影响。探索更复杂的知识编辑和增强技术，提升模型的知识更新能力。扩展到多任务、多模态场景，验证模型在实际应用中的表现和鲁棒性。
AI 总览摘要
本研究系统性探讨了预训练与微调在密集检索模型中的知识获取机制。通过对BERT、LLaMA等不同架构的模型进行线性探测和梯度归因分析，验证了在DPR等模型中，微调主要调节激活状态而非重组知识结构。研究发现，预训练模型已编码丰富的知识，微调作用偏向激活调节，特别是在不同表示策略（如CLS、均值池化、EOS）下表现差异显著。扩展到多个数据集（自然问答、MS MARCO）和模型架构，结果表明此结论具有广泛适用性。深层模型（如ReplLlama）在后续层表现出更强的知识编码能力，提示深层表示更富信息。研究强调，理解微调对知识存储的影响，有助于优化模型训练流程，降低成本，提升可信度。本文还提供完整的可复现流程和开源代码，推动学术交流。整体而言，研究挑战了微调能引入新知识的传统假设，为未来高效、可解释的检索模型设计提供理论基础。
深度分析
研究背景
密集检索技术近年来快速发展，基于预训练语言模型（如BERT、LLaMA）进行微调已成为主流。代表性工作包括DPR、Contriever等，强调通过对比学习提升检索效果。此前研究多关注训练技巧和表示策略，少有系统分析微调对模型内部知识结构的影响。理解模型知识的存储与调整机制，有助于优化模型性能和可信度，推动模型在信息检索、问答等场景的应用。
核心问题
核心问题在于微调是否引入了新知识，还是仅调整了激活状态，从而影响检索效果。若微调仅调节激活，模型的知识基础在预训练中已基本形成，这将影响模型设计和训练策略。理解这一机制对于降低训练成本、提升模型可信度具有重要意义。现有研究多局限于单一架构或表示策略，缺乏系统性分析，亟需扩展验证。
核心创新
本研究提出多模型、多表示策略的系统分析框架，结合线性探测和梯度归因技术，验证微调是否引入新知识。创新点包括：• 比较不同架构（BERT、LLaMA）和表示（CLS、均值池化、EOS）；• 扩展到多个数据集（自然问答、MS MARCO）；• 提供完整的可复现流程和开源代码。通过多角度验证，揭示微调主要调节激活而非知识重组的机制。
方法详解
- �� 采用线性探测，训练简单分类器评估不同层次的知识编码能力；• 结合梯度归因分析，追踪神经元激活变化，评估知识的去中心化；• 比较不同模型（BERT、LLaMA）和表示（CLS、均值池化、EOS）；• 在自然问答和MS MARCO数据集上进行实验，确保结果的普适性；• 详细调参，确保实验可复现。
实验设计
使用自然问答和MS MARCO两个数据集，构建正负样本对，采用不同模型（DPR、Contriever、ReplLlama）和表示策略。训练线性分类器，评估不同层次的知识编码能力。通过调整负样本数量，分析模型在不同配置下的表现。确保每个模型在相同条件下进行多次重复，验证结果稳定性。实验重点在于比较微调前后知识存储的变化，验证微调是否引入新知识。
结果分析
实验显示，在DPR模型中，微调后模型的知识主要通过激活调节实现性能提升，预训练知识占据主导地位。Contriever和LLaMA模型中，微调未显著改变知识结构，反映不同架构差异。多数据集验证了结论的普适性，微调在不同表示和架构下表现不同。深层模型（如ReplLlama）在后续层表现出更强的知识编码能力，表明深层次表示更富信息。整体结果挑战了微调能引入新知识的假设。
应用场景
研究结果有助于设计更高效、可信的检索模型，减少对大规模预训练的依赖。可应用于问答系统、信息检索平台的模型微调策略优化，提升模型在实际场景中的表现。未来还可结合知识编辑技术，实现模型知识的动态更新与维护。
局限与展望
本研究主要基于线性探测和梯度归因，未考虑非线性变化。不同架构和表示策略带来差异，结果可能受具体实现影响。未深入分析微调对知识迁移和泛化能力的影响，未来需结合任务性能进行验证。
通俗解读 非专业人士也能看懂
想象一个工厂里，工人们在生产不同的商品。预训练模型就像工厂的基础设备，已经装配好很多零件，能生产大部分商品。微调就像给工厂添加新设备或调整机器，试图让工厂能生产更特别的商品。研究发现，微调其实主要是调节机器的工作状态，让工厂更快、更好地完成任务，但并没有真正学会新东西。就像调节水温或速度，而不是学会新工艺。这样一来，工厂的基础设备（预训练模型）已经存储了大部分知识，微调只是让它表现得更好，而不是学会新技能。
简单解释 像给14岁少年讲一样
想象你在厨房做饭，基础的厨具（比如锅、刀、碗）就像预训练模型，已经能做很多菜。微调就像调整火力大小或调味料的用量，帮助你做出更好吃的菜。研究发现，这些调整主要是让厨房的厨具用得更顺手，而不是学会新菜谱。也就是说，厨房里存的食谱（知识）其实早就有了，微调只是让你用得更熟练。就像你已经知道怎么炒菜，只是调节火候让菜更香。这告诉我们，想让模型学会新知识，不一定非得从头开始训练，调节已有的知识就很重要。
原文摘要
Dense retrievers utilize pre-trained backbone language models (e.g., BERT, LLaMA) that are fine-tuned via contrastive learning to perform the task of encoding text into sense representations that can be then compared via a shallow similarity operation, e.g. inner product. Recent research has questioned the role of fine-tuning vs. that of pre-training within dense retrievers, specifically arguing that retrieval knowledge is primarily gained during pre-training, meaning knowledge not acquired during pre-training cannot be sub-sequentially acquired via fine-tuning. We revisit this idea here as the claim was only studied in the context of a BERT-based encoder using DPR as representative dense retriever. We extend the previous analysis by testing other representation approaches (comparing the use of CLS tokens with that of mean pooling), backbone architectures (encoder-only BERT vs. decoder-only LLaMA), and additional datasets (MSMARCO in addition to Natural Questions). Our study confirms that in DPR tuning, pre-trained knowledge underpins retrieval performance, with fine-tuning primarily adjusting neuron activation rather than reorganizing knowledge. However, this pattern does not hold universally, such as in mean-pooled (Contriever) and decoder-based (LLaMA) models. We ensure full reproducibility and make our implementation publicly available at https://github.com/ielab/DenseRetriever-Knowledge-Acquisition.