核心发现
方法论
该研究使用检索增强的指令跟随模型，通过在输入中添加检索到的文档和指令来适应不同的信息领域和任务。使用自动和人工评估方法，分别从满足用户信息需求的正确性和基于提供知识的忠实性两个维度进行评估。提出了基于简单词汇重叠和模型的评估指标。
关键结果
- 结果1：指令跟随模型在正确性上与微调模型相当，甚至在某些情况下表现更好。
- 结果2：这些模型在忠实性方面表现不佳，经常在回答中出现幻觉。
- 结果3：提出的词汇重叠指标与人工判断高度相关。
研究意义
该研究强调了传统评估指标在评估指令跟随模型时的不足，提出的新指标能够更准确地反映模型性能。这对于推动更全面的模型评估具有重要意义，尤其是在信息检索和问答领域。
技术贡献
研究提出了新的评估指标，克服了传统指标在处理冗长回答时的不足。通过引入词汇重叠和模型评估方法，提供了更贴近人类判断的评估方式。
新颖性
首次系统性地评估指令跟随模型在问答任务中的正确性和忠实性，提出了新的评估指标，填补了传统指标在处理冗长回答时的不足。
局限性
- 局限1：模型在忠实性方面表现不佳，容易产生幻觉。
- 局限2：评估指标可能对不同任务的适用性有限。
未来方向
未来研究可探索改进模型的忠实性，开发更广泛适用的评估指标，并在更多任务上验证其有效性。
AI 总览摘要
指令跟随模型在问答任务中展现出强大的潜力，但传统的评估指标如精确匹配和F1分数在面对冗长回答时表现不佳。研究通过在输入中添加检索到的文档和指令，评估了这些模型在不同信息领域和任务中的表现。
研究表明，指令跟随模型在正确性上与微调模型相当，甚至在某些情况下表现更好。然而，这些模型在忠实性方面表现不佳，经常在回答中出现幻觉。为此，研究提出了基于简单词汇重叠和模型的评估指标，这些指标与人工判断高度相关。
研究的意义在于推动更全面的模型评估，尤其是在信息检索和问答领域。未来的研究方向包括改进模型的忠实性，开发更广泛适用的评估指标，并在更多任务上验证其有效性。
深度分析
研究背景
近年来，指令跟随模型因其能够根据自然语言指令执行任务而备受关注。这些模型通常通过暴露于大量自然语言处理任务的指令来进行训练，能够适应不同的信息领域和任务。
核心问题
传统的问答评估指标如精确匹配和F1分数在面对冗长回答时表现不佳，无法准确量化模型性能。需要新的评估方法来更好地反映模型的正确性和忠实性。
核心创新
研究创新在于提出了新的评估指标，克服了传统指标在处理冗长回答时的不足。通过引入词汇重叠和模型评估方法，提供了更贴近人类判断的评估方式。
方法详解
- �� 使用检索增强的指令跟随模型
- �� 在输入中添加检索到的文档和指令
- �� 使用自动和人工评估方法
- �� 提出基于词汇重叠和模型的评估指标
实验设计
实验在三个信息检索问答数据集上进行，包括自然问题、HotpotQA和TopiOCQA。使用自动和人工评估方法，分别从正确性和忠实性两个维度进行评估。
结果分析
研究表明，指令跟随模型在正确性上与微调模型相当，甚至在某些情况下表现更好。然而，这些模型在忠实性方面表现不佳，经常在回答中出现幻觉。
应用场景
研究结果可用于改进信息检索和问答系统的评估方法，推动更全面的模型评估。
局限与展望
模型在忠实性方面表现不佳，容易产生幻觉。评估指标可能对不同任务的适用性有限。
通俗解读 非专业人士也能看懂
想象你在一个图书馆里寻找答案。传统的问答系统就像图书管理员，他们只会给你一本书的确切页码。而指令跟随模型则像一个友好的助手，不仅给你页码，还会告诉你书的背景和相关信息。虽然这种方式让你更了解问题，但有时助手会给出一些不太相关的信息。研究的重点是如何更好地评估这种助手的表现，确保它不仅给出正确的答案，还能忠实于提供的信息。
简单解释 像给14岁少年讲一样
想象你在玩一个问答游戏。传统的评估就像只看你答对了几个问题，而不管你解释得多好。指令跟随模型就像一个更聪明的玩家，它不仅回答问题，还会给出详细的解释。但有时，它会说得太多，甚至说错。研究的目标是找到更好的方法来评估这个聪明玩家的表现，确保它既聪明又可靠。
术语表
指令跟随模型
能够根据自然语言指令执行任务的模型。
用于问答任务的模型类型。
精确匹配
一种评估指标，比较模型输出与参考答案的精确匹配程度。
传统问答系统的评估方法。
F1分数
一种评估指标，结合了精确率和召回率。
用于评估问答模型的性能。
忠实性
模型回答是否基于提供的知识。
评估模型是否忠实于提供的信息。
幻觉
模型生成的与提供知识不一致的信息。
评估模型忠实性时的常见问题。
开放问题 这项研究留下的未解疑问
- 1 如何改进模型的忠实性，减少幻觉的产生。
- 2 评估指标在不同任务中的适用性如何提高。
应用场景
近期应用
信息检索系统
改进信息检索系统的评估方法，提高用户满意度。
远期愿景
智能助手
开发更智能、更可靠的助手，提供更全面的信息服务。
原文摘要
Retriever-augmented instruction-following models are attractive alternatives to fine-tuned approaches for information-seeking tasks such as question answering (QA). By simply prepending retrieved documents in its input along with an instruction, these models can be adapted to various information domains and tasks without additional fine-tuning. While the model responses tend to be natural and fluent, the additional verbosity makes traditional QA evaluation metrics such as exact match (EM) and F1 unreliable for accurately quantifying model performance. In this work, we investigate the performance of instruction-following models across three information-seeking QA tasks. We use both automatic and human evaluation to evaluate these models along two dimensions: 1) how well they satisfy the user's information need (correctness), and 2) whether they produce a response based on the provided knowledge (faithfulness). Guided by human evaluation and analysis, we highlight the shortcomings of traditional metrics for both correctness and faithfulness. We then propose simple token-overlap based and model-based metrics that reflect the true performance of these models. Our analysis reveals that instruction-following models are competitive, and sometimes even outperform fine-tuned models for correctness. However, these models struggle to stick to the provided knowledge and often hallucinate in their responses. We hope our work encourages a more holistic evaluation of instruction-following models for QA. Our code and data is available at https://github.com/McGill-NLP/instruct-qa