核心发现
方法论
研究提出MIRAGE基准，包含7,663个医学问题，结合MedRAG工具包，系统评估41种RAG配置。MedRAG整合五种语料库、四种检索器及六种LLM，支持零样本学习。
关键结果
- MedRAG提升GPT-3.5准确率至71.57%，比链式思维提示提高17.9%。
- PubMed语料库在所有任务中表现最佳，结合RRF-4检索器效果最优。
- 发现性能与检索片段数量呈对数线性关系，并观察到“中间丢失”现象。
研究意义
研究为医学领域RAG系统提供了全面的评估框架和优化指南，解决了LLM知识过时和幻觉问题，显著提升医学问答系统的可靠性和准确性。
技术贡献
首次系统性比较不同RAG组件对医学问答性能的影响，提出MedCorp综合语料库和RRF-4检索器组合，验证了RAG在医学领域的潜力。
新颖性
MIRAGE是首个专为医学RAG设计的基准，结合多种语料库和检索器，展示了RAG在医学问答中的独特优势。
局限性
- 对复杂医学考试问题的提升有限，部分片段难以检索到关键信息。
- 需要高计算资源处理大规模语料库。
- 当前仅评估了零样本学习场景，未涉及微调模型。
未来方向
未来可探索更高效的检索算法、更广泛的医学语料库，以及微调结合RAG的混合方法。
AI 总览摘要
大语言模型（LLMs）在医学问答任务中表现卓越，但幻觉和知识过时问题限制了其应用。为此，本文提出了MIRAGE基准和MedRAG工具包，系统评估了41种RAG配置，涵盖五种语料库、四种检索器和六种LLM。
实验表明，MedRAG显著提升了GPT-3.5和Mixtral的性能，使其接近GPT-4水平。尤其是结合PubMed语料库和RRF-4检索器的配置，在所有任务中表现最佳。此外，研究发现性能与检索片段数量呈对数线性关系，并首次在医学RAG中观察到“中间丢失”现象。
本文为医学领域RAG系统提供了全面的优化指南，建议使用综合语料库（如MedCorp）和融合检索器（如RRF-4）。未来研究可进一步探索更高效的检索算法和微调结合的方法，以进一步提升医学问答的准确性和可靠性。
深度分析
研究背景
近年来，LLMs在医学问答任务中取得了显著进展，但其幻觉问题和知识过时限制了实际应用。RAG通过结合外部检索信息，有望解决这些问题。然而，当前缺乏系统性评估RAG在医学领域表现的基准和优化指南。
核心问题
医学问答需要准确可靠的答案，但LLMs常因幻觉生成错误信息。如何优化RAG系统的各组件以提升医学问答性能是亟待解决的问题。
核心创新
本文提出MIRAGE基准，首次系统性评估RAG在医学领域的表现。结合MedRAG工具包，整合多种语料库和检索器，验证了RAG的潜力。
方法详解
- �� 提出MIRAGE基准，包含7,663个医学问题。
- �� 开发MedRAG工具包，支持五种语料库（如PubMed、StatPearls）和四种检索器（如BM25、MedCPT）。
- �� 对六种LLM（如GPT-3.5、Mixtral）进行零样本学习评估。
- �� 分析检索片段数量对性能的影响。
实验设计
实验使用MIRAGE基准，评估41种RAG配置。语料库包括PubMed、StatPearls等，检索器包括BM25和RRF-4。基线为链式思维提示。
结果分析
MedRAG提升GPT-3.5准确率至71.57%，比链式思维提示提高17.9%。PubMed语料库在所有任务中表现最佳，结合RRF-4检索器效果最优。
应用场景
RAG可用于医学教育、临床决策支持和科研文献检索，提升医学信息获取的效率和准确性。
局限与展望
对复杂医学考试问题的提升有限，部分片段难以检索到关键信息。需要高计算资源处理大规模语料库。
通俗解读 非专业人士也能看懂
可以把RAG想象成一个医生的助手。医生（LLM）有丰富的知识，但有时会记错或遗漏信息。RAG就像一个图书馆员，帮助医生快速找到最新、最相关的医学文献。通过合作，医生的诊断和回答会更准确。
简单解释 像给14岁少年讲一样
想象你在考试，老师允许你查资料，但你得自己找书。RAG就像一个超级图书管理员，帮你找到最有用的书页，让你答题更快更准！是不是很酷？
术语表
RAG (检索增强生成)
结合检索器和生成模型的框架，用外部信息提升生成质量。
用于减少LLM幻觉并提供最新医学知识。
MIRAGE (医学RAG评估)
专为医学RAG设计的基准，包含7,663个医学问题。
用于系统评估不同RAG配置的性能。
MedRAG工具包
支持多种语料库、检索器和LLM的RAG实现工具。
用于在MIRAGE基准上测试RAG性能。
PubMed
包含生物医学文献的数据库，是医学领域的重要资源。
作为主要语料库之一，用于医学问答。
RRF (递归排名融合)
结合多个检索器结果的算法，提升检索性能。
用于优化RAG系统的检索效果。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升复杂医学考试问题的检索效果？
- 2 如何降低RAG系统的计算成本？
应用场景
近期应用
医学教育
帮助学生快速查找考试相关知识点，提高学习效率。
临床决策支持
为医生提供最新医学文献，辅助诊断和治疗。
远期愿景
智能医学助手
构建全面可靠的医学问答系统，提升医疗服务质量。
原文摘要
While large language models (LLMs) have achieved state-of-the-art performance on a wide range of medical question answering (QA) tasks, they still face challenges with hallucinations and outdated knowledge. Retrieval-augmented generation (RAG) is a promising solution and has been widely adopted. However, a RAG system can involve multiple flexible components, and there is a lack of best practices regarding the optimal RAG setting for various medical purposes. To systematically evaluate such systems, we propose the Medical Information Retrieval-Augmented Generation Evaluation (MIRAGE), a first-of-its-kind benchmark including 7,663 questions from five medical QA datasets. Using MIRAGE, we conducted large-scale experiments with over 1.8 trillion prompt tokens on 41 combinations of different corpora, retrievers, and backbone LLMs through the MedRAG toolkit introduced in this work. Overall, MedRAG improves the accuracy of six different LLMs by up to 18% over chain-of-thought prompting, elevating the performance of GPT-3.5 and Mixtral to GPT-4-level. Our results show that the combination of various medical corpora and retrievers achieves the best performance. In addition, we discovered a log-linear scaling property and the "lost-in-the-middle" effects in medical RAG. We believe our comprehensive evaluations can serve as practical guidelines for implementing RAG systems for medicine.