核心发现
方法论
本文提出两种自动生成提示词的方法：基于关系挖掘的挖掘式方法和基于释义的 paraphrasing 方法。挖掘式方法利用维基百科句子中的实体关系，提取中间词或依存路径作为提示。释义方法通过反向翻译实现提示的多样化。结合多提示的集成策略（如加权融合）显著提升知识检索准确率。实验证明，优化提示策略将BERT-base的准确率从31.1%提升至39.6%。
关键结果
- 在LAMA基准测试中，单一手工提示的准确率为31.1%，而自动挖掘和释义方法提升至34.1%-39.6%。多提示集成进一步将准确率提高到39.6%。
- 通过挖掘式提示，某些关系（如“宗教信仰”）的准确率提升60%以上，显示出提示多样性对知识检索的重要性。
- 集成方法（如优化加权融合）优于简单平均，显著增强不同提示的互补性，缩小了模型知识的下界。
研究意义
该研究解决了提示设计依赖人工、低效的问题，为自动化提升语言模型知识检索提供了新途径。增强提示多样性和优化集成策略，有助于更全面、准确地评估模型所含知识，推动知识图谱构建和问答系统的性能提升。
技术贡献
提出基于关系挖掘和释义的自动提示生成框架，结合多提示集成与优化算法（如参数学习的加权融合），实现对模型知识的更紧密估计。方法兼容多种预训练模型（BERT、ERNIE、KnowBERT），显著优于手工提示，提供了可扩展的知识探测工具。
新颖性
首次系统性结合关系挖掘与释义技术，自动生成多样化提示，突破人工提示的局限。引入优化集成策略显著提升知识提取效果，提供了更精确的模型知识下界估计，填补了提示设计自动化的空白。
局限性
- 方法依赖大量的维基百科句子和依存句法分析，计算成本较高，难以实时应用。
- 挖掘式提示可能引入噪声，影响最终效果，需进一步筛选与过滤。
- 对多关系、多实体类型的泛化能力仍需验证，未来需扩展多模态和多语言场景。
未来方向
未来将探索多模态知识提示生成，结合图像、语音信息，提升多源知识的整合能力。同时，研究更高效的提示筛选与优化算法，增强模型在复杂关系和多语言环境中的表现。
AI 总览摘要
近年来，预训练语言模型（如BERT、GPT）在自然语言理解中取得突破，但其所蕴含的知识量仍难以准确评估。传统方法多依赖人工设计提示词，存在效率低、效果不佳的局限。本文提出一种自动化提示生成框架，通过关系挖掘和释义技术，自动构建多样化高质量提示，显著提升模型知识检索的准确率。
具体而言，挖掘式方法利用维基百科中的实体关系，提取中间词或依存路径作为提示，增强提示的表达丰富性；释义方法通过反向翻译实现提示的多样化，避免单一表达带来的偏差。结合多提示的集成策略（如加权融合），进一步提升检索效果。实验证明，在LAMA基准测试中，BERT-base模型的知识提取准确率由31.1%提升至39.6%，显著优于传统手工提示。
该研究不仅丰富了提示工程的自动化手段，也为更全面评估语言模型的知识储备提供了技术基础。未来，结合多模态信息和多语言场景，将推动模型知识的深度挖掘与应用落地，具有重要的学术和工业价值。尽管如此，方法仍面临计算成本高、噪声干扰等挑战，需持续优化算法与筛选机制，以实现更高效、更精确的知识检索。
深度分析
研究背景
随着预训练模型在自然语言处理中的广泛应用，如何评估其内在知识成为研究热点。早期工作如LAMA、REBEL利用模板和手工提示进行知识提取，但受限于提示设计的主观性和低效性。近年来，自动化提示生成逐渐兴起，结合关系抽取、句法分析和多语言技术，旨在提升知识检索的全面性和准确性。此类方法已在知识图谱构建、问答系统等场景中展现潜力，但仍面临提示质量控制和多样性不足的问题。
核心问题
现有提示方法多依赖人工设计，难以覆盖所有知识表达形式，且效果受限。提示的表达多样性不足，导致模型未能充分激发其知识潜能。此外，单一提示难以应对不同实体对的多样性，集成效果有限。如何自动生成高质量、多样化的提示，提升知识检索的覆盖率和准确率，成为亟需解决的问题。
核心创新
本文提出两大创新：一是基于关系挖掘的自动提示生成，通过分析维基百科句子中的实体关系，提取中间词或依存路径作为提示；二是基于释义的多样化策略，通过反向翻译实现提示的多样表达。结合多提示的集成策略（如参数学习的加权融合），显著提升检索效果。这些方法突破了人工提示的局限，提供了可扩展的自动化工具，极大丰富了提示空间。
方法详解
- �� 关系挖掘：利用维基百科句子中的实体关系，筛选包含目标关系的句子，提取中间词或依存路径作为提示。
- �� 释义扩展：采用反向翻译（英语-德语-英语）技术，将原始提示转化为多样表达，筛选出最优提示。
- �� 多提示集成：基于训练数据，评估每个提示的预测准确性，采用加权融合或参数优化方法（如梯度下降）结合多个提示。
- �� 训练集构建：从Wikidata中采样实体关系，确保提示的多样性和代表性。
- �� 实验评估：在LAMA基准上测试不同策略的效果，比较单一提示、多提示集成和优化集成的性能差异。
实验设计
使用LAMA的T-REx子集作为主要数据集，评估不同提示策略的准确率。模型包括BERT-base、BERT-large、ERNIE和KnowBERT。指标采用微平均和宏平均准确率，特别关注知识的全面性。通过不同提示生成方法（挖掘、释义）和集成策略（简单平均、参数优化）进行对比。参数调优在训练集上完成，确保公平性。还进行了消融分析，验证不同提示类型和集成方式的贡献。
结果分析
自动提示方法显著优于手工提示，单一挖掘式提示将BERT-base的准确率从31.1%提升至34.1%，多提示集成后达39.6%。在BERT-large上，效果更佳，从32.3%提升至43.7%。关系“宗教信仰”中，提示优化提升60%以上。参数学习的集成策略优于简单平均，表现出更强的互补性。结果显示，提示多样性和优化是提升知识检索的关键因素。
应用场景
该方法可广泛应用于知识图谱自动构建、问答系统、事实验证等场景，帮助模型更全面地利用内在知识。自动化提示生成降低了人工成本，提升了系统的适应性和扩展性。未来结合多模态信息，有望实现跨领域、跨语言的知识提取与应用，为智能问答、信息检索等提供更强的技术支撑。
局限与展望
方法依赖大量的文本资源和句法分析，计算成本较高，难以实时应用。挖掘式提示可能引入噪声，影响效果。对多关系、多实体类型的泛化能力不足，未来需优化提示筛选机制和多模态融合策略。
通俗解读 非专业人士也能看懂
想象你在一个大型工厂里，工人们每天都在生产各种商品。工厂里有很多不同的机器，每台机器都能做不同的任务。有时候，工人们会用不同的方法来完成相同的工作，比如用不同的工具或不同的步骤。这就像语言模型里的提示词，有时候用不同的表达方式可以让机器更好理解你想要的答案。本文就像是教工厂里的工人们用更聪明的方法和多样的工具，来更快更准地找到他们需要的商品。通过自动发现和改写提示词，就像给工人们提供了更多更好的工具和指令，让他们能更好地完成任务。这样一来，工厂的效率就大大提高，生产的商品也更符合需求。
简单解释 像给14岁少年讲一样
想象你在学校里，有个老师会问你一些问题，比如“你最喜欢的运动是什么？”有时候你会用不同的话来回答，比如“我喜欢足球”或者“我爱篮球”。如果老师只用一种问法，你可能就只会回答一种，但如果老师用很多不同的问法，你就更容易说出你真正喜欢的运动。这个研究就像是让电脑也学会用很多不同的问法来找到它知道的答案。它会自己想出很多不同的句子，问同样的问题，然后把答案结合起来，这样就能更准确地知道电脑到底知道些什么。就像老师用多种问题帮助你更好地表达自己一样，这个方法让电脑更聪明，能更好地回答问题。
术语表
提示词 (Prompt)
引导模型生成答案的输入句子或短语，决定模型输出的内容。
用于检验模型是否知道某个事实。
关系挖掘 (Relation Mining)
从大规模文本中自动提取实体间关系的方法，利用句子结构和语义信息。
用于自动生成提示词。
释义 (Paraphrasing)
用不同的表达方式传达相同或相似的意思，增加表达多样性。
通过反向翻译实现提示多样化。
集成方法 (Ensemble)
结合多个模型或提示的输出，以提升整体性能。
用于增强知识检索的准确性。
微平均准确率 (Micro-accuracy)
统计所有样本的正确预测比例，反映整体性能。
用于评估模型在知识提取任务中的表现。
开放问题 这项研究留下的未解疑问
- 1 如何进一步减少噪声提示对模型性能的影响？
- 2 多模态知识融合在提示生成中的应用潜力？
- 3 提示自动生成的泛化能力和跨语言适应性？
应用场景
近期应用
知识图谱构建
自动生成高质量提示，提升实体关系的识别和补全效率，助力知识库自动扩展。
智能问答系统
增强模型对事实性知识的理解和提取能力，提高问答准确率和覆盖面。
远期愿景
多模态知识系统
结合图像、语音等多源信息，构建更全面的知识表示体系，推动智能助手的深度理解能力。
原文摘要
Recent work has presented intriguing results examining the knowledge contained in language models (LM) by having the LM fill in the blanks of prompts such as "Obama is a _ by profession". These prompts are usually manually created, and quite possibly sub-optimal; another prompt such as "Obama worked as a _" may result in more accurately predicting the correct profession. Because of this, given an inappropriate prompt, we might fail to retrieve facts that the LM does know, and thus any given prompt only provides a lower bound estimate of the knowledge contained in an LM. In this paper, we attempt to more accurately estimate the knowledge contained in LMs by automatically discovering better prompts to use in this querying process. Specifically, we propose mining-based and paraphrasing-based methods to automatically generate high-quality and diverse prompts, as well as ensemble methods to combine answers from different prompts. Extensive experiments on the LAMA benchmark for extracting relational knowledge from LMs demonstrate that our methods can improve accuracy from 31.1% to 39.6%, providing a tighter lower bound on what LMs know. We have released the code and the resulting LM Prompt And Query Archive (LPAQA) at https://github.com/jzbjyb/LPAQA.