核心发现
方法论
本研究构建了包含1万多样本的CiteCheck数据集，采用两阶段人工标注策略：第一阶段由专业标注员判断样本正负支持关系，第二阶段对LLM生成的负样本进行质量筛选。数据增强环节利用GPT-4o对支持信息进行微调，生成高质量负样本，显著降低标注成本（86%节省）。模型训练采用参数高效微调（LoRA），在7B-8B模型上实现优异性能。实验中，测试样本难度高，甚至最先进的LLMs也难以达到理想准确率。
关键结果
- 在原始测试集上，GPT-4o的整体准确率为83.7%，负样本识别准确率仅70.4%，显示出极高的挑战性。经过LLM增强的训练数据使得较小模型（如Llama-3.1-8B）在微调后达到90%以上的整体准确率，显著优于未增强数据的模型。训练集中的负样本由信息修改和删除两种方法生成，保证了数据多样性和质量。
- 实验显示，基于增强数据的微调模型在实际应用中能有效识别支持关系的真实性，提升了模型的鲁棒性，尤其在负样本识别方面表现优异，验证了数据增强策略的有效性。
- 此外，研究还分析了模型在不同类别样本上的表现差异，强调了负样本识别的难点及其对整体性能的影响，为未来引文检测模型的优化提供了方向。
研究意义
该研究填补了中文引文可信性检测的空白，提供了大规模高质量数据集，为后续模型训练和评估奠定基础。通过引入LLM辅助数据增强策略，有效降低了数据标注成本，推动了低资源场景下的引文验证技术发展。该数据集和方法不仅促进学术界对引文真实性的深入研究，也为实际应用中的知识图谱、学术搜索等场景提供了技术支撑，具有重要的理论和实践价值。
技术贡献
本研究的核心技术创新在于提出两阶段人工标注结合LLM生成负样本的高效数据构建方案，显著降低了负样本标注成本（86%节省），同时保证数据质量。引入基于GPT-4o的微调负样本生成机制，有效模拟真实RAG系统中的错误场景。微调采用参数高效方法LoRA，提升模型训练效率，适应大规模中文数据。实验验证模型在复杂样本上的鲁棒性，展示了数据增强与参数微调结合的潜力，为引文可信性检测提供了新思路。
新颖性
本研究首次在中文环境中系统构建大规模引文可信性检测数据集，采用两阶段标注策略结合LLM生成负样本，突破了资源限制下的标注瓶颈。与现有英文数据集不同，CiteCheck专注于中文场景，结合信息修改技术，确保负样本多样性和真实性。提出的参数高效微调方法在模型性能提升方面表现优异，展示了在低资源环境下的应用潜力。
局限性
- 数据仅提供二元正负标签，未标注具体支持部分或证据细节，限制了模型解释性和细粒度理解能力。
- 实验主要在特定中文数据集上进行，泛化能力仍需在不同领域和任务中验证。
- 负样本生成依赖LLM，可能存在生成偏差或不一致，影响数据多样性和代表性。
未来方向
未来将扩展多标签支持，结合证据级标注，提升模型解释性。探索多模态引文验证，结合图像和结构信息，增强模型鲁棒性。同时，计划引入更复杂的负样本生成策略，提升模型在真实场景中的适应能力。
AI 总览摘要
引文可信性检测在知识图谱和学术搜索中扮演关键角色，但缺乏大规模中文数据集制约了技术发展。本文提出CiteCheck，首次构建包含超过1万样本的中文引文可信性数据集，采用两阶段人工标注策略，结合LLM生成高质量负样本，极大降低标注成本（86%节省）。通过GPT-4o微调支持信息，增强负样本多样性，确保数据质量。模型训练采用参数高效微调（LoRA），在7B-8B模型上实现优异性能。实验显示，原始样本难度高，甚至最先进的LLMs也难以达到理想准确率，但利用增强数据训练的模型表现出强大鲁棒性，准确率超过90%。该数据集为中文引文检测提供了宝贵资源，推动其在学术验证、知识图谱等实际场景中的应用。未来工作将扩展多标签支持和多模态验证，提升模型解释性和泛化能力。
深度分析
研究背景
随着大规模语言模型（LLMs）在自然语言处理中的广泛应用，确保生成内容的真实性成为核心挑战。检索增强生成（RAG）系统通过结合外部知识源，提升回答的可靠性，但引文的真实性仍存在问题。英文引文检测数据集逐渐丰富，但中文资源稀缺，限制了中文场景下的研究。构建高质量数据集面临标注成本高、负样本稀缺等难题，迫切需要创新的解决方案。近年来，LLM辅助数据增强逐渐成为热点，为低成本构建大规模数据提供可能。
核心问题
核心问题在于缺乏大规模、标注高质量的中文引文可信性数据集，尤其是负样本的稀缺严重制约模型性能。传统标注耗时耗力，且真实错误样本难以获得，导致模型在实际应用中难以有效识别不支持的引文。现有方法多依赖人工标注，成本高昂，难以满足大规模需求。此外，负样本的多样性不足也限制了模型的泛化能力。
核心创新
本研究创新点包括：1）提出两阶段人工标注策略，结合LLM生成负样本，显著降低成本（86%节省）；2）利用GPT-4o进行信息修改，生成多样化负样本，保证数据质量；3）采用参数高效微调（LoRA），在较小模型上实现优异性能。此方案突破了传统依赖大量人工标注的瓶颈，为中文引文检测提供了可扩展的解决方案。
方法详解
- �� 首先，收集多源中文问答数据，模拟真实RAG场景，生成带引用的回答。
- �� 通过人工标注，判断样本是否支持关系，形成正负样本基础。
- �� 利用GPT-4o对支持信息进行微调，删除或修改关键段落，生成高质量负样本。
- �� 采用两阶段筛选：第一阶段由专业标注员判断原始样本的正负状态，第二阶段筛选生成的负样本质量。
- �� 最终，构建包含正负样本的训练集，采用LoRA微调模型，提升检测性能。
实验设计
在CiteCheck的测试集上，评估多种零-shot大型模型（如GPT-4o、Qwen2.5-Plus）表现，发现其在负样本识别上表现有限（准确率约70%）。通过微调较小模型（如Llama-3.1-8B），利用增强数据，准确率提升至90%以上。实验还分析了不同负样本生成策略对模型性能的影响，验证了信息修改的有效性。模型在实际场景中展现出较强鲁棒性，验证了数据增强策略的实用性。
结果分析
原始测试样本难度大，GPT-4o准确率为83.7%，负样本识别为70.4%。增强数据训练后，Llama-3.1-8B模型在测试集上达90.6%的整体准确率，负样本识别率也显著提升。负样本由信息修改和删除两种方法生成，确保多样性。模型在识别不支持引文方面表现优异，有效提升了系统的可靠性。
应用场景
该数据集和方法适用于学术搜索、知识图谱构建、自动引文验证等场景。模型可在科研、学术出版、智能问答等领域部署，提升内容真实性和可信度。依赖低成本数据增强策略，适合资源有限的应用环境，推动行业标准化发展。
局限与展望
目前仅提供二元标签，未标注具体支持证据，限制模型解释能力。实验主要在特定中文数据集上，泛化性待验证。负样本生成依赖LLM，可能存在偏差，影响多样性。未来需引入多标签和多模态信息，提升模型细粒度理解和适应性。
通俗解读 非专业人士也能看懂
想象你在厨房里做菜，食材代表信息，调料代表证据。做菜时，你需要确认每个调料是否真正让菜更好吃。如果调料不合适，菜就会变得难吃。引文检测就像是判断每个引用是否真正支持文章的内容。传统方法像是用手一一检查，费时又繁琐。现在，有了智能厨师（LLM），它可以帮你快速修改调料，生成不同版本的菜谱（负样本），让你训练厨艺（模型）变得更快更好。最终，你的厨艺（模型）能更准确地判断哪些调料（引用）是真正支持菜（内容）的，哪些是虚假的。
简单解释 像给14岁少年讲一样
想象你在学校的厨房里做饭，你用各种调料（信息）来让菜变得更好吃。有时候，你会用错调料，比如盐放多了，菜就会变得难吃。引文检测就像是检查每个引用是不是在说菜的真话。以前，要一个个检查很麻烦，还容易出错。现在，有个聪明的机器人（LLM），它可以帮你试验不同的调料组合，告诉你哪些是真的能让菜变得更好，哪些是虚假的。通过让机器人帮忙修改调料（负样本），你可以训练你的厨艺（模型）变得更厉害，能更快分辨出哪些引用是真的支持内容，哪些是虚假的。这样，你的菜（内容）就会变得更可靠，大家也更相信你的厨艺了。
原文摘要
Citation faithfulness detection is critical for enhancing retrieval-augmented generation (RAG) systems, yet large-scale Chinese datasets for this task are scarce. Existing methods face prohibitive costs due to the need for manually annotated negative samples. To address this, we introduce the first large-scale Chinese dataset CiteCheck for citation faithfulness detection, constructed via a cost-effective approach using two-stage manual annotation. This method balances positive and negative samples while significantly reducing annotation expenses. CiteCheck comprises training and test splits. Experiments demonstrate that: (1) the test samples are highly challenging, with even state-of-the-art LLMs failing to achieve high accuracy; and (2) training data augmented with LLM-generated negative samples enables smaller models to attain strong performance using parameter-efficient fine-tuning. CiteCheck provides a robust foundation for advancing citation faithfulness detection in Chinese RAG systems. The dataset is publicly available to facilitate research.