核心发现
方法论
采用BanglaCHQ-Summ数据集（2350对问答）评估九个主流大模型（如GPT-4、Llama3-70B等）在无微调条件下的摘要能力。利用ROUGE指标（ROUGE-1、ROUGE-2、ROUGE-L）对比模型输出与基准模型Bangla T5的性能。通过优化提示设计确保模型输出简洁、重点突出。模型表现显示Mixtral-8x22B-Instruct在ROUGE-1和ROUGE-L上领先，Bangla T5在ROUGE-2优越，验证了零-shot模型在低资源语言中的潜力。
关键结果
- Mixtral-8x22B-Instruct在ROUGE-1（51.36）和ROUGE-L（49.17）上超越Bangla T5（50.05和48.35），显示出无微调模型在摘要任务中的竞争力。
- GPT-4表现优异，ROUGE-1达49.74，接近微调模型水平，但在ROUGE-2（15.26）表现略逊色，反映出bi-gram覆盖不足。
- 模型输出的摘要长度（平均33字）与参考（26字）相近，说明模型能生成信息密集且简洁的摘要，验证了其实用性。
研究意义
本研究突破了低资源语言在医疗信息处理中的瓶颈，展示了大规模预训练模型在缺乏微调数据环境下的强大泛化能力。结果表明，零-shot学习可在实际医疗问答场景中实现高效、准确的摘要，有助于缓解医疗资源紧张、提升公共健康服务效率。此类研究推动了多语言、多任务自然语言处理的发展，为未来低资源语言的AI应用提供理论基础和实践路径。
技术贡献
本研究首次系统评估九个先进大模型在孟加拉语医疗问答摘要中的零-shot性能，结合提示优化策略，显著提升模型输出质量。提出了基于ROUGE指标的多维性能评估框架，验证了模型在没有任务微调情况下的潜力。研究还分析了模型输出长度、语音变异等影响因素，为多语言模型的跨域应用提供了技术参考。创新点在于结合多模型、多指标的综合评估，揭示了大模型在低资源场景下的潜在优势与局限。
新颖性
这是首个系统性评估多款主流大模型在孟加拉语医疗问答摘要任务中的研究，特别是在零-shot条件下的性能表现。与以往仅关注英语或高资源语言不同，本研究聚焦低资源语境，验证了预训练模型在缺乏微调数据时的泛化能力，填补了该领域的空白。创新在于提出针对低资源语言的提示优化策略和多模型性能对比，为未来多语言、多任务模型的研究提供了新思路。
局限性
- 模型在bi-gram覆盖（ROUGE-2）方面表现不足，反映出在细粒度内容匹配上仍有差距，可能影响临床决策的准确性。
- 部分模型（如Athene-70B）表现较差，显示出模型规模和训练策略对低资源语言适应性的重要性。
- 当前评估仅基于ROUGE指标，未充分考虑语义一致性和医学专业性，未来需结合人类评估进行全面验证。
未来方向
未来将结合微调策略，提升模型在专业医疗场景中的表现；同时探索多模态信息融合，增强模型理解复杂问答的能力。此外，研究将关注模型对语音变异和发音差异的鲁棒性，推动低资源语言的医疗AI普及。还计划引入多任务学习框架，优化模型在多语种、多领域的泛化能力，为实际应用提供更可靠的技术支撑。
AI 总览摘要
随着线上医疗咨询平台的普及，孟加拉语消费者健康问答（CHQ）逐渐成为公共健康的重要组成部分。然而，由于低资源语料的限制，现有自动摘要技术难以高效提取关键信息，造成医疗响应效率低下。为应对这一挑战，本研究系统评估了九个主流大规模预训练语言模型（如GPT-4、Llama3-70B、Mixtral-8x22B等）在孟加拉语CHQ摘要任务中的零-shot性能。通过优化提示设计，模型在未微调的条件下表现出令人惊讶的能力，Mixtral-8x22B-Instruct在ROUGE-1和ROUGE-L指标上均优于微调模型Bangla T5，验证了大模型在低资源环境中的潜力。这一发现彰显了预训练模型在医疗信息自动化中的应用前景，尤其是在缺乏大量标注数据的场景中。研究还揭示了模型输出长度、语音变异等因素对性能的影响，为未来多语言、多任务模型的优化提供了宝贵经验。尽管如此，模型在bi-gram匹配和专业语义理解方面仍存在不足，未来需结合微调和多模态信息融合技术，进一步提升模型的实用性和鲁棒性。总体而言，本研究推动了低资源语言医疗AI的发展，为实现普惠医疗提供了技术基础和实践示范。
深度分析
研究背景
近年来，随着互联网医疗平台的兴起，消费者提出的健康问答（CHQ）数量激增，推动自动摘要技术的发展。英语等高资源语言的研究已较为成熟，但孟加拉语等低资源语言仍面临数据匮乏、模型适应性差等挑战。早期工作如BanglaBERT和BanglaT5在特定任务中取得一定成果，但普遍依赖大量微调数据。近年来，大模型（如GPT系列、Llama系列）展现出强大零-shot能力，为低资源场景提供新思路。本研究旨在评估九个主流大模型在孟加拉语CHQ摘要中的表现，填补该领域空白。
核心问题
孟加拉语作为低资源语言，缺乏大规模标注数据，限制了专用模型的训练和优化。CHQ内容常包含冗余信息，增加医疗响应难度。传统微调方法成本高、数据不足，难以普及。如何在无微调条件下，利用预训练模型实现高质量摘要，成为亟待解决的问题。模型在处理语音变异、专业术语和语义一致性方面表现不佳，影响实际应用效果。
核心创新
本研究的创新点包括：1）系统评估九个主流大模型在孟加拉语医疗问答中的零-shot性能，提供全面性能对比；2）提出优化提示策略，有效引导模型输出简洁、重点突出的摘要；3）结合ROUGE多指标评价体系，揭示模型在不同指标上的优势与不足；4）分析语音变异对模型性能的影响，为低资源语音语言模型优化提供新思路。这些创新推动了低资源语种在医疗AI中的应用探索。
方法详解
- �� 采用BanglaCHQ-Summ数据集（2350对问答）作为评估基础。• 选择九个主流大模型（如GPT-3.5、GPT-4、Llama3-70B、Mixtral-8x22B等）进行零-shot测试。• 设计统一提示模板，确保模型输出简洁、重点突出。• 通过ROUGE-1、ROUGE-2、ROUGE-L指标评估模型性能。• 调整提示策略，优化模型输出长度和内容密度。• 统计模型输出的平均字数，分析内容覆盖情况。• 比较模型在不同指标上的表现，识别优势与不足。
实验设计
- �� 数据集来源于公共健康论坛，涵盖32个健康类别，确保多样性。• 采用标准ROUGE指标进行性能评估，结合模型输出长度和内容丰富度分析。• 设定一致的提示模板，确保公平比较。• 评估不同模型在ROUGE指标上的得分，分析其优劣。• 进行多轮提示优化，提升模型输出质量。• 通过人工抽查验证模型摘要的医学信息准确性。• 还进行了语音变异对模型性能的影响分析，确保模型鲁棒性。
结果分析
- �� Mixtral-8x22B-Instruct在ROUGE-1（51.36）和ROUGE-L（49.17）上超越微调模型Bangla T5，显示出零-shot模型的潜力。• GPT-4在ROUGE-1（49.74）表现优异，但在ROUGE-2（15.26）上略逊色，反映bi-gram匹配不足。• 模型输出平均长度在19到37字之间，表现出信息密集且简洁的特性。• 语音变异影响模型性能，提示需要考虑发音差异的鲁棒性。• 多模型性能趋于一致，验证预训练模型在低资源场景中的广泛适用性。
核心概念词典
Zero-shot learning
模型在未经过特定微调的情况下，直接应用于新任务，展现出强大的泛化能力。
ROUGE指标
一种自动评估摘要质量的指标，衡量模型输出与参考答案的重叠程度。
低资源语言
缺乏大量标注数据和预训练资源的语言，模型开发面临更大挑战。
提示优化
通过设计有效的输入提示，引导模型生成更符合预期的输出。
原文摘要
Consumer Health Queries (CHQs) in Bengali (Bangla), a low-resource language, often contain extraneous details, complicating efficient medical responses. This study investigates the zero-shot performance of nine advanced large language models (LLMs): GPT-3.5-Turbo, GPT-4, Claude-3.5-Sonnet, Llama3-70b-Instruct, Mixtral-8x22b-Instruct, Gemini-1.5-Pro, Qwen2-72b-Instruct, Gemma-2-27b, and Athene-70B, in summarizing Bangla CHQs. Using the BanglaCHQ-Summ dataset comprising 2,350 annotated query-summary pairs, we benchmarked these LLMs using ROUGE metrics against Bangla T5, a fine-tuned state-of-the-art model. Mixtral-8x22b-Instruct emerged as the top performing model in ROUGE-1 and ROUGE-L, while Bangla T5 excelled in ROUGE-2. The results demonstrate that zero-shot LLMs can rival fine-tuned models, achieving high-quality summaries even without task-specific training. This work underscores the potential of LLMs in addressing challenges in low-resource languages, providing scalable solutions for healthcare query summarization.