Network-informed Prompt Engineering against Organized Astroturf Campaigns under Extreme Class Imbalance
提出基于大语言模型的平衡检索增强生成（Balanced RAG）框架，有效应对极端类别不平衡，提升虚假信息检测性能。
核心发现
方法论
本文提出结合Prompt工程与平衡RAG技术的全新框架，利用图结构编码与文本信息输入到预训练大语言模型（如GPT-3.5/4），无需微调。通过构建传播树，采用图提示技术将结构信息转化为文本，结合文本内容与示例样本，形成最终Prompt，实现对有组织虚假信息的识别。平衡RAG通过引入正负样本平衡机制，有效缓解类别不平衡问题。该方法在不训练模型的前提下，利用Prompt策略增强模型推理能力，显著优于传统图神经网络（GNN）和基于监督的检测方法。
关键结果
- 在2016美国总统选举数据集上，提出方法在精确率、召回率和F1指标上分别达到了42.4%、85.1%、56.6%，比基线提升2-3倍，特别在极端类别不平衡条件下表现优异。
- 通过消融实验验证Prompt工程和平衡RAG的贡献，显示其在处理虚假信息传播树的结构编码和样本不平衡方面具有明显优势。
- 实验还表明，利用文本编码图结构的策略，避免了复杂的GNN训练，简化了模型架构，提升了迁移性和实用性。
研究意义
该研究突破了传统依赖图神经网络的虚假信息检测瓶颈，提出无需训练的Prompt+RAG方案，有效缓解类别不平衡问题，极大提升检测效率和泛化能力。对社交媒体信息安全、反虚假新闻、政治舆情监测等领域具有深远影响，为未来大规模实时监控提供新思路。
技术贡献
创新点在于提出Graph编码文本化策略，结合Prompt工程与平衡RAG技术，实现无需模型微调的虚假信息识别。引入平衡RAG机制，有效解决类别极度不平衡问题，增强模型鲁棒性。该方案兼容多种Prompt技术，极大扩展了大语言模型在网络信息检测中的应用边界。
新颖性
首次将图结构信息完全文本化输入到预训练大模型中，结合Prompt工程和平衡RAG实现虚假信息检测，突破了传统GNN依赖的局限，提出无需训练的高效检测框架，具有明显创新性。
局限性
- 依赖高质量的图结构编码，若传播树构建不准确可能影响效果。
- 对极端类别不平衡的样本偏差仍存在一定风险，需进一步优化样本平衡机制。
- 模型在复杂多变的虚假信息策略下的鲁棒性有待验证，未来需结合多模态信息增强检测能力。
未来方向
未来将探索多模态信息融合（如图像、视频内容），提升虚假信息检测的全面性；同时研究动态传播树的实时构建与Prompt自适应机制，以应对不断变化的网络环境和虚假策略。
AI 总览摘要
在当今社交媒体环境中，虚假信息和有组织的虚假宣传（如“人造草坪”运动）严重威胁公共舆论和社会稳定。传统检测方法多依赖图神经网络（GNN）或监督学习，面临数据标注困难、类别极度不平衡及模型迁移性差等挑战。本文提出一种创新的无训练大模型检测框架，结合Prompt工程与平衡检索增强生成（Balanced RAG）技术，利用图结构文本化编码，将传播树的结构信息转化为文本输入到预训练大语言模型（如GPT-4），无需微调即可实现高效识别。该方法通过引入正负样本平衡机制，有效缓解类别不平衡问题，显著提升检测性能。在2016美国总统选举数据集上的实验结果显示，模型在精确率、召回率和F1指标上分别达到了42.4%、85.1%、56.6%，远超传统基线。此方案不仅简化了模型架构，还增强了迁移性和实用性，为社交平台的虚假信息监控提供了新思路。未来，结合多模态信息和动态传播树，将进一步提升检测的全面性和实时性。这项研究为网络信息安全和反虚假新闻领域提供了创新的技术路径，具有广泛的应用前景和深远的行业影响。
深度分析
研究背景
社交媒体已成为信息传播的重要渠道，但虚假信息和有组织的宣传（如“人造草坪”运动）日益猖獗。早期方法主要依赖图分析和文本处理技术，如GNN和传统NLP，但面临数据标注难、类别极端不平衡和模型迁移性差等问题。近年来，大模型和Prompt工程的兴起，为无需微调的快速检测提供新可能，但在处理复杂图结构和极端不平衡数据时仍有挑战。
核心问题
核心问题在于如何在极端类别不平衡条件下，利用有限的标注数据，快速准确识别有组织的虚假宣传。传统方法依赖大量训练和复杂模型，难以适应动态变化的网络环境。现有技术在迁移性、效率和鲁棒性方面仍有不足，亟需一种无需训练、能应对类别极端不平衡的高效方案。
核心创新
本研究创新点在于：1）提出图结构文本化编码技术，将传播树的结构信息转化为文本输入大模型，避免GNN训练；2）结合Prompt工程策略，增强模型推理能力；3）引入平衡RAG机制，有效缓解类别不平衡问题；4）实现无需微调的高效识别，兼容多种Prompt技术，极大扩展大模型应用场景。
方法详解
- �� 构建传播树：基于用户转发行为，利用条件筛选（如@提及和关注关系）生成树结构。• 图文本编码：将树的边关系转化为文本（如“(2->1), (3->1)”），输入到大模型。• Prompt工程：结合原始推文内容、图结构文本和示例样本，设计多样Prompt（零-shot、少-shot、链式推理）。• 平衡RAG：引入正负样本平衡机制，从外部检索相关传播树，丰富模型输入。• 预测输出：大模型根据Prompt判断是否为有组织虚假宣传。整个流程无需模型微调，依赖Prompt策略实现高效识别。
实验设计
采用2016美国总统选举相关数据集，构建传播树，比较GNN、传统监督模型和本文方法的性能。指标包括精确率、召回率、F1和ROC-AUC。通过消融实验验证Prompt工程和平衡RAG的贡献，调优Prompt策略和样本平衡参数，确保模型鲁棒性。多场景测试验证迁移能力和实用性。
结果分析
在实验中，提出方法在精确率达42.4%、召回率85.1%、F1达56.6%，显著优于GNN和传统方法。特别是在类别极端不平衡条件下，表现稳定，优于对比模型20%以上。消融分析显示Prompt工程和平衡RAG各自贡献明显，联合使用效果最佳。模型迁移性强，适应不同虚假信息策略。
应用场景
可应用于社交平台实时监控、政治选举舆情分析、反虚假新闻系统。只需传播树结构和文本，无需模型训练，便于部署到边缘设备或大规模监控系统。未来可结合多模态信息，提升识别准确率和实时性。
局限与展望
当前方法依赖传播树的准确构建，若传播路径不完整或误差大，影响检测效果。对极端类别不平衡仍存在偏差，需持续优化样本平衡机制。此外，模型在应对复杂多变的虚假策略时，鲁棒性和泛化能力仍需验证，未来需结合多模态信息和动态更新策略。
通俗解读 非专业人士也能看懂
想象你在一家工厂里，工厂每天生产各种商品。有些商品是正常的，有些则是被坏人偷偷放进去的假货。工厂的工人（就像社交媒体用户）会把商品（信息）传递给别人。有些工人会偷偷帮坏人把假货散布出去。工厂管理者想找出这些假货，但工厂里大部分商品都是正常的，假货很少。传统方法就像用人工检查每个商品，既慢又费力。现在，研究人员设计了一套聪明的“机器人”系统（大模型），它可以通过阅读商品的描述和传递路径（用文字描述工厂的生产线和商品流转），快速判断哪些商品是假的。这个系统不需要提前学习所有假货的特征，只要给它一些例子和规则，它就能自己判断。为了让机器人更聪明，研究还设计了一个“平衡机制”，确保假货和正常商品的比例合理，让机器人不会只关注正常商品。这样一来，工厂就能更快、更准地找到假货，防止假货流入市场，保护消费者的权益。
简单解释 像给14岁少年讲一样
想象你在学校的食堂里，老师想找出哪些学生偷偷带了零食。大部分学生都吃正常的午饭，但少数学生带了零食。老师不能一一检查每个人，因为人数太多。于是，老师用一种聪明的方法：让学生自己描述他们的午餐内容，还告诉老师他们平时喜欢吃什么。老师还让学生描述他们的朋友关系，比如谁跟谁在一起吃饭。然后，老师用这些描述，快速判断哪些学生可能带了零食。这个方法不用逐个检查，只要让学生自己说话，老师就能找到那些可能带零食的学生。更厉害的是，老师还让学生自己帮忙提供一些带零食的例子，这样系统就更有把握。这样一来，老师就能更快找到带零食的学生，保护大家的健康。这就像论文里的方法，用文字描述关系和内容，让智能机器人帮忙判断虚假信息，既快又准，还不用教它很多新知识。
原文摘要
Detecting organized political campaigns is of paramount importance in fighting against disinformation on social media. Existing approaches for the identification of such organized actions employ techniques mostly from network science, graph machine learning and natural language processing. Their ultimate goal is to analyze the relationships and interactions (e.g. re-posting) among users and the textual similarities of their posts. Despite their effectiveness in recognizing astroturf campaigns, these methods face significant challenges, notably the class imbalance in available training datasets. To mitigate this issue, recent methods usually resort to data augmentation or increasing the number of positive samples, which may not always be feasible or sufficient in real-world settings. Following a different path, in this paper, we propose a novel framework for identifying astroturf campaigns based solely on large language models (LLMs), introducing a Balanced Retrieval-Augmented Generation (Balanced RAG) component. Our approach first gives both textual information concerning the posts (in our case tweets) and the user interactions of the social network as input to a language model. Then, through prompt engineering and the proposed Balanced RAG method, it effectively detects coordinated disinformation campaigns on X (Twitter). The proposed framework does not require any training or fine-tuning of the language model. Instead, by strategically harnessing the strengths of prompt engineering and Balanced RAG, it facilitates LLMs to overcome the effects of class imbalance and effectively identify coordinated political campaigns. The experimental results demonstrate that by incorporating the proposed prompt engineering and Balanced RAG methods, our framework outperforms the traditional graph-based baselines, achieving 2x-3x improvements in terms of precision, recall and F1 scores.