核心发现
方法论
采用TREC Deep Learning数据集，结合GPT-OSS-20B和Qwen-32B模型，利用指令和内容两类注入策略，评估在8种不同资源水平的语言中的鲁棒性。引入关键词、变体和干扰内容，结合PromptArmor等过滤机制，分析模型在不同攻击下的误判率。通过FP和FN指标衡量相关性判断的偏差，采用ANOVA分析语言和模型的交互影响。
关键结果
- 多语种关键词注入显著提高所有模型的FP率，最高达35%，在不同资源水平和提示框架下均表现出强效。内容变体和干扰内容也能有效规避过滤机制，导致误判持续存在。即使应用PromptArmor，攻击效果仍未根除，表明现有防御手段对多语种内容的鲁棒性不足。
- 模型Qwen-32B在FP降低方面优于GPT-OSS-20B，但FN偏高，表现出更为保守的判断策略。多语种交互显著影响相关性评分，统计分析显示模型和语言因素的交互作用达p<0.001，验证了多语种内容作为攻击载体的潜在风险。
- 实验还揭示，简单的关键词变体和干扰内容能持续绕过过滤机制，表明对抗性攻击具有高度迁移性和适应性。这些结果强调多语种环境下模型的脆弱性，呼吁开发更全面的防御策略。
研究意义
本研究揭示了大模型在多语种环境中作为自动评判工具的潜在风险，特别是在对抗性注入攻击方面的脆弱性。随着多语种信息检索的普及，模型的鲁棒性成为保障评估公正性和可靠性的关键。研究强调，当前的防御机制不足以应对复杂多变的攻击场景，亟需提出更具前瞻性和主动性的防护策略，以确保模型在实际应用中的可信度和安全性。这对于推动多语种信息检索系统的健康发展具有重要意义。
技术贡献
本研究首次系统性评估了多语种关键词和内容变体注入对大模型相关性判断的影响，结合多语言场景设计，验证了模型在跨语种攻击中的迁移性。提出了基于过滤机制的防御改进方案，结合模型自我检测能力，增强了对指令和内容两类注入的识别能力。通过统计分析，揭示了模型和语言的交互作用，为多语种环境下的安全评估提供了理论基础。研究还提出了多语种内容注入的迁移性和规避策略，为未来多模态、多任务鲁棒性研究提供了参考。
新颖性
本研究首次系统性分析多语种关键词和内容变体在LLM相关性判断中的攻击效果，突破了以往仅关注单语种或指令注入的局限。提出多语种内容注入作为新型攻击载体，揭示模型在跨语种环境中的潜在脆弱性。创新性地结合过滤机制和模型自我检测，验证其在多语种场景中的适应性和局限，为多语种模型安全评估提供了新视角。
局限性
- 实验主要基于TREC-DL数据集，可能未涵盖所有实际应用场景中的复杂多样性。模型防御机制仍依赖规则和表面特征，难以应对深层次的语义规避策略。
- 多语种内容注入的迁移性和泛化能力仍需进一步验证，尤其是在低资源语种和长文本场景中。模型在某些语种表现出较高FN率，提示需要更细粒度的调优。
- 未来应结合多模态、多任务环境，探索更全面的防御策略，提升模型在实际应用中的鲁棒性和可信度。
未来方向
未来将深入研究多语种内容注入对模型下游任务的影响，特别是在检索增强生成（RAG）等场景中的表现。探索基于对抗训练和多模态融合的主动防御机制，提升模型对复杂攻击的抵抗能力。此外，建议建立多语种、多任务的评估平台，持续监测模型安全性，为实际部署提供理论支撑。
AI 总览摘要
随着大模型在信息检索中的广泛应用，其作为自动化相关性评判工具的潜力不断被认可。然而，模型的安全性和鲁棒性成为关键挑战。当前，研究多关注指令注入等简单攻击方式，但内容变体和多语种环境下的攻击尚未充分探索。本研究系统性分析了多语种关键词和内容变体注入对模型相关性判断的影响，发现其在不同模型和资源水平下均能有效提升误判率，尤其是在多语种场景中表现出高度迁移性。通过引入PromptArmor等过滤机制，虽然在指令注入方面有所改善，但对内容变体的规避效果有限，攻击依然有效。统计分析显示，模型和语言因素的交互显著影响判断结果，验证了多语种内容作为攻击载体的潜在风险。这一发现强调了多语种环境中模型安全的重要性，促使未来开发更全面的防御策略。研究结果对信息检索、自然语言处理等领域具有深远意义，推动模型在实际应用中实现更高的可信度和安全性。未来应结合多模态、多任务环境，探索主动防御机制，确保大模型在多语种、多场景中的稳健性。
深度分析
研究背景
近年来，大语言模型（LLMs）在信息检索中的应用逐渐普及，代表性工作包括BERT、GPT系列在相关性评估中的应用。早期研究主要关注模型在单语环境下的性能表现，逐步扩展到多语种场景，强调跨语种迁移能力。然而，模型的安全性问题逐渐突显，尤其是在对抗性攻击方面。指令注入（prompt injection）成为研究热点，但多语种内容变体和干扰内容的影响尚未系统评估。现有研究多集中于单语或指令攻击，缺乏对多语种内容攻击的深入分析，限制了模型在实际多语种环境中的鲁棒性保障。
核心问题
多语种环境下，模型面临跨语种的内容注入攻击，导致相关性判断偏差，影响评估的公正性和可靠性。现有防御机制多依赖关键词过滤或模型自我检测，难以应对多语种、多样化的内容变体。攻击者利用模型的跨语种能力，设计变体和干扰内容，规避检测，持续引发误判。这不仅影响模型的实际应用效果，也阻碍了多语种信息检索系统的安全发展。解决这一问题需要理解多语种内容的迁移性和模型的跨语种鲁棒性，开发更智能、更主动的防御策略。
核心创新
本研究创新点在于：1）首次系统性评估多语种关键词和内容变体注入对模型相关性判断的影响，揭示其在不同资源水平和模型架构中的普遍性；2）提出结合过滤机制和模型自我检测的多语种防御策略，增强对指令和内容类注入的识别能力；3）通过统计分析验证模型和语言的交互作用，为多语种环境中的安全评估提供理论基础。这些创新突破了以往单语或指令攻击的局限，为多语种模型安全提供新的思路。
方法详解
- �� 采集TREC Deep Learning 2022数据集，涵盖多语种查询和文档。
- �� 采用GPT-OSS-20B和Qwen-32B两种开源模型，结合UMBRELA和Criteria-Based提示框架。
- �� 设计关键词、变体和干扰内容三类注入策略，覆盖8种不同资源水平的语言。
- �� 利用PromptArmor等过滤机制，检测和过滤注入内容，分析模型在不同攻击下的误判率。
- �� 通过FP和FN指标，衡量模型在真实人类判断基础上的偏差。
- �� 采用两因素ANOVA分析模型和语言的交互影响，验证多语种内容的迁移性。
实验设计
实验以TREC-DL 2022数据集为基础，测试两模型在无注入、指令注入和内容变体注入条件下的表现。引入多语种关键词、变体和干扰内容，结合不同过滤策略，评估误判率变化。指标包括FP和FN，分析不同模型和语言的差异。还进行统计检验，验证模型和语言的交互作用。设置对比实验，验证过滤机制的有效性和局限性。通过多场景、多策略的组合，全面评估模型鲁棒性。
结果分析
实验结果显示，关键词和内容变体注入显著提升FP率，最高达35%，在多语种环境中表现出迁移性。过滤机制如PromptArmor虽能降低部分攻击效果，但仍难以根除内容变体带来的误判。Qwen-32B模型在FP控制方面优于GPT-OSS-20B，但FN偏高，表现出更保守的判断策略。统计分析确认模型和语言的交互作用显著，验证多语种内容作为攻击载体的潜在风险。这些数据强调模型在多语种环境中的脆弱性，提示未来需加强多语种内容的安全防护。
应用场景
本研究成果可应用于多语种搜索引擎、自动评估系统和内容过滤平台，提升其对复杂内容变体的识别能力。特别是在多语种搜索和问答系统中，增强模型的鲁棒性，有助于维护评估的公正性和可靠性。未来，结合主动防御和多模态信息融合，有望实现更全面的安全保障，为多语种信息检索提供坚实基础。
局限与展望
当前实验主要基于TREC数据集，未涵盖所有实际场景的复杂性。模型防御策略依赖规则，难以应对深层语义规避。多语种内容迁移性在低资源语种中尚未充分验证，FN率较高。未来需结合多模态、多任务学习，提升模型在多样化场景中的鲁棒性，减少误判和漏判。
通俗解读 非专业人士也能看懂
想象一个工厂里，有许多不同国家的工人（代表不同语种），他们都在生产同一种产品（模型的判断）。有些工人会偷偷在产品里放入一些隐藏的东西（关键词或干扰内容），试图让工厂误判产品的质量。工厂的检测员（模型）本来可以识别这些隐藏的东西，但如果他们只用一种简单的方法（过滤关键词），就可能漏掉一些复杂的隐藏内容。即使工厂装了更聪明的检测设备（模型自我检测），但面对不同国家的工人放的不同内容（多语种内容），仍然可能被欺骗。这就像在多语种环境中，工厂需要更聪明、更全面的检测方法，才能确保产品的质量没有被作弊者影响。这个比喻说明了多语种内容注入攻击的复杂性和防御的挑战。
简单解释 像给14岁少年讲一样
想象你在学校里，有很多不同国家的学生（代表不同语种），他们都在写作文。有些学生偷偷在作文里放一些隐藏的词（关键词或干扰内容），想让老师（模型）误以为这些作文是好作文。老师本来可以用一些简单的方法（比如找关键词）来检测，但这些方法很容易被学生绕过。更聪明的老师会用更复杂的办法（模型自我检测），但如果学生用不同的语言或变换词语，老师还是可能被欺骗。这就像在多语种环境中，检测隐藏内容变得更难。这个故事告诉我们，要让老师变得更聪明，能识别各种隐藏的作弊手段，就需要更先进的检测方法，特别是在多语言的情况下。
原文摘要
Large language models (LLMs) are increasingly being used as automated judges for relevance evaluation in information retrieval, yet their robustness to adversarial manipulation remains insufficiently understood, particularly in multilingual settings. In this work, we investigate the impact of cross-lingual prompt injection attacks on LLM-based relevance judgments using TREC Deep Learning collections and two open-weight models under established prompting frameworks. We examine both instruction-based and content-based injection strategies in 8 languages spanning different resource levels. Our results demonstrate that multilingual query-based injections are highly effective in inflating relevance scores while simultaneously evading existing prompt-injection defenses. We further found that, although existing defense mechanisms can be modified to mitigate such attacks, these injections can be easily adapted to bypass them. These findings highlight a critical gap in current defense approaches and demonstrate that language generalization can act as an attack vector, underscoring the need for more robust and proactive evaluation frameworks for LLM-as-a-judge systems.