BenLLMEval: A Comprehensive Evaluation into the Potentials and Pitfalls of Large Language Models on Bengali NLP
本研究评估了GPT-3.5、LLaMA-2-13b-chat和Claude-2在孟加拉语多任务零-shot性能，发现大部分任务表现不佳。
核心发现
方法论
本研究采用BenLLM-Eval基准，涵盖孟加拉语的七个关键NLP任务，包括文本摘要、问答、改写、自然语言推理、转写、文本分类和情感分析。采用零-shot评估方式，使用GPT-3.5、LLaMA-2-13b-chat和Claude-2模型，设计了针对每个任务的专门提示（prompt），并与当前SOTA微调模型进行性能对比。评估指标包括ROUGE、BLEU、准确率、F1等，结合人工干预确保评估的公平性。通过对模型输出的详细分析，揭示了模型在孟加拉语资源有限环境下的表现差异。实验还引入任务污染检测，确保模型未提前见过测试数据，增强评估的可靠性。
关键结果
- 在文本摘要任务中，GPT-3.5和Claude-2的ROUGE-1得分分别为20.19和20.79，均未超越微调的mT5模型（28.32）。LLaMA-2-13b-chat表现极差，仅获得0.41的ROUGE-1，且多次输出英语摘要，经翻译后得分提升显著。
- 问答任务中，GPT-3.5的F1得分为78.67，接近SOTA水平，但准确率仅为44.85%，显示其生成的答案多样但不够精确。Claude-2表现略优，F1达79.04。LLaMA-2-13b-chat表现极差，几乎无法提供有效答案。
- 在自然语言推理（NLI）任务中，GPT-3.5的表现优于其他模型，BNLI数据集的准确率达52.71%，但仍远低于微调的BanglaBERT（约87.6%）。LLaMA-2-13b-chat在判定中性关系时表现较差，Claude-2在推断蕴涵方面表现不佳。
- 转写任务中，GPT-3.5在单词转写中表现优异，字符错误率（CER）为18.1%，句子错误率（WER）为60.6%，优于LLaMA-2-13b-chat和Claude-2。全句转写表现仍不理想，错误率较高。
- 文本分类任务中，GPT-3.5和Claude-2的准确率分别为48.47%和48.61%，远低于SOTA的XLM-R（87.60%）。在没有提示类别标签的情况下，模型性能显著下降，强调提示设计的重要性。
- 情感分析方面，GPT-3.5在IndicSentiment数据集上达到了90.20%的准确率，刷新了当前SOTA，Claude-2紧随其后，表现也较为优异。LLaMA-2-13b-chat表现较差，反映出开源模型在孟加拉语资源有限环境中的局限。
- 任务污染检测显示，GPT-3.5在部分任务中可能提前见过测试数据，但整体评估仍具有一定的代表性。其他模型在任务污染方面表现较好，未发现明显提前见过测试集的证据。
- 综上所述，零-shot大模型在孟加拉语任务中的表现普遍不及微调模型，尤其是开源模型LLaMA-2-13b-chat，表现明显不足。研究强调了在低资源语言环境下，提升模型性能的必要性和未来研究的方向。
- 本研究首次系统评估了大型语言模型在孟加拉语中的零-shot能力，为未来多语言、多任务的模型开发提供了宝贵的基准数据和分析框架。
研究意义
本研究揭示了当前大型语言模型在孟加拉语等低资源语言中的局限性，强调了多语言训练和数据覆盖的重要性。通过全面评估模型在多任务中的表现，提供了理解模型能力边界的关键数据，为未来模型优化和应用推广提供理论基础。特别是在孟加拉语这样拥有超过3亿母语使用者的语言中，提升模型性能具有广泛的社会和经济意义。研究还强调了零-shot评估在低资源环境中的实用价值，为缺乏大规模标注数据的语言提供了可行的解决方案。
技术贡献
本研究提出了BenLLM-Eval评估框架，结合多任务、多指标的性能评估方法，首次系统性地评估了GPT-3.5、LLaMA-2-13b-chat和Claude-2在孟加拉语中的零-shot表现。通过设计专门的提示（prompt）策略，确保评估的公平性和一致性。引入任务污染检测机制，有效识别模型是否提前见过测试数据。实验结果丰富了对大模型在低资源语言中的能力认知，揭示了模型在特定任务中的局限性，为未来多语言模型的训练和微调提供了数据支持和理论指导。
新颖性
这是首次系统性评估大型语言模型在孟加拉语中的零-shot性能，填补了低资源语言评估研究的空白。研究创新点在于引入多任务、多指标的综合评估框架，结合任务污染检测机制，确保评估的科学性和可靠性。与以往主要集中在英语和欧洲语言的研究不同，本工作关注孟加拉语这一拥有庞大用户基础但资源有限的语言，为多语言模型的公平性和普适性提供了新视角。
局限性
- 由于训练数据的保密性，无法确认模型是否在训练中见过测试数据，存在潜在的任务污染风险，尤其是GPT-3.5模型。
- 评估仅限于零-shot场景，未考虑微调或少-shot学习的潜力，未来应结合微调策略进行深入分析。
- 模型在孟加拉语中的表现受限于训练数据的多样性和质量，缺乏大规模高质量的孟加拉语标注数据，限制了模型性能提升。
- 实验仅使用了部分公开模型，未来应引入更多开源和闭源模型进行对比，以全面理解模型能力。
- 评估指标主要为自动指标，部分任务的主观评估和人类反馈仍然缺失，未来应结合人类评价以获得更全面的性能理解。
未来方向
未来将扩大评估范围，涵盖更多低资源语言和任务类型，探索多语言联合训练和微调策略。计划引入更丰富的提示工程技术，提升模型在孟加拉语中的表现。还将结合人类反馈机制，优化模型生成的真实性和可靠性。此外，研究将关注模型在实际应用中的适应性，如孟加拉语聊天机器人和内容生成系统，推动多语言AI的普及和公平性发展。
AI 总览摘要
近年来，随着大规模预训练语言模型（LLMs）的崛起，NLP领域迎来了前所未有的变革。这些模型通过在海量数据上的训练，展现出惊人的语言理解和生成能力，极大地推动了自动文本处理技术的发展。然而，绝大多数研究集中在英语和少数资源丰富的语言，对于像孟加拉语这样资源有限的语言，模型的表现仍然有限，亟需系统性评估。
本研究提出了BenLLM-Eval，这是一个专门针对孟加拉语的多任务零-shot评估框架，涵盖文本摘要、问答、改写、自然语言推理、转写、文本分类和情感分析等关键任务。通过设计精细的提示（prompt），利用GPT-3.5、LLaMA-2-13b-chat和Claude-2三款代表性大模型，进行了全面的性能评估。结果显示，虽然在某些任务中，GPT-3.5和Claude-2的表现接近甚至优于微调的SOTA模型，但在大多数任务中，尤其是开源模型LLaMA-2-13b-chat，表现明显不足。
这些发现强调了低资源语言环境下模型训练和数据覆盖的重要性。研究还引入了任务污染检测机制，确保评估的公平性。总体而言，研究揭示了当前大模型在孟加拉语中的能力边界，为未来多语言、多任务模型的开发提供了宝贵的基准数据和理论指导。
未来工作将集中在扩大评估范围，探索多语言联合训练、提示工程优化，以及结合人类反馈提升模型的真实性和实用性。该研究不仅丰富了多语言NLP的理论体系，也为实际应用如孟加拉语聊天机器人和内容生成系统的开发提供了科学依据。
深度解读
原文摘要
Large Language Models (LLMs) have emerged as one of the most important breakthroughs in NLP for their impressive skills in language generation and other language-specific tasks. Though LLMs have been evaluated in various tasks, mostly in English, they have not yet undergone thorough evaluation in under-resourced languages such as Bengali (Bangla). To this end, this paper introduces BenLLM-Eval, which consists of a comprehensive evaluation of LLMs to benchmark their performance in the Bengali language that has modest resources. In this regard, we select various important and diverse Bengali NLP tasks, such as text summarization, question answering, paraphrasing, natural language inference, transliteration, text classification, and sentiment analysis for zero-shot evaluation of popular LLMs, namely, GPT-3.5, LLaMA-2-13b-chat, and Claude-2. Our experimental results demonstrate that while in some Bengali NLP tasks, zero-shot LLMs could achieve performance on par, or even better than current SOTA fine-tuned models; in most tasks, their performance is quite poor (with the performance of open-source LLMs like LLaMA-2-13b-chat being significantly bad) in comparison to the current SOTA results. Therefore, it calls for further efforts to develop a better understanding of LLMs in modest-resourced languages like Bengali.
参考文献 (20)
XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages
Tahmid Hasan, Abhik Bhattacharjee, Md Saiful Islam 等
A Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark Datasets
Md Tahmid Rahman Laskar, M Saiful Bari, Mizanur Rahman 等
SentNoB: A Dataset for Analysing Sentiment on Noisy Bangla Texts
Khondoker Ittehadul Islam, Sudipta Kar, Md. Saiful Islam 等
Language Models are Few-Shot Learners
Tom B. Brown, Benjamin Mann, Nick Ryder 等
IndicXTREME: A Multi-Task Benchmark For Evaluating Indic Languages
Sumanth Doddapaneni, Rahul Aralikatte, Gowtham Ramesh 等
A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference
Adina Williams, Nikita Nangia, Samuel R. Bowman
IndicNLG Benchmark: Multilingual Datasets for Diverse NLG Tasks in Indic Languages
Aman Kumar, Himani Shrotriya, P. Sahu 等
BanglaBERT: Language Model Pretraining and Benchmarks for Low-Resource Language Understanding Evaluation in Bangla
Abhik Bhattacharjee, Tahmid Hasan, Kazi Samin Mubasshir 等
Extract with Order for Coherent Multi-Document Summarization
Mir Tafseer Nayeem, Yllias Chali
BanglaRQA: A Benchmark Dataset for Under-resourced Bangla Language Reading Comprehension-based Question Answering with Diverse Question-Answer Types
Syed Mohammed Sartaj Ekram, Adham Arik Rahman, Mangera Altaf 等
iNLPSuite: Monolingual Corpora, Evaluation Benchmarks and Pre-trained Multilingual Language Models for Indian Languages
Divyanshu Kakwani, Anoop Kunchukuttan, S. Golla 等
[Workshop].
Susann Fischer, M. Marchis, Mario Navarro
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Jacob Devlin, Ming-Wei Chang, Kenton Lee 等
Conference on Empirical Methods in Natural Language Processing EMNLP 2016
Zita Marinho, A. Martin, Shay B. Cohen 等
Learning from 26 Languages: Program Management and Science in the Babel Program
M. Harper
Paraphrastic Fusion for Abstractive Multi-Sentence Compression Generation
Mir Tafseer Nayeem, Yllias Chali
Abstractive Unsupervised Multi-Document Summarization using Paraphrastic Sentence Fusion
Mir Tafseer Nayeem, Tanvir Ahmed Fuad, Yllias Chali
XNLI: Evaluating Cross-lingual Sentence Representations
Alexis Conneau, Guillaume Lample, Ruty Rinott 等
RoBERTa: A Robustly Optimized BERT Pretraining Approach
Yinhan Liu, Myle Ott, Naman Goyal 等
Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
M. Shoeybi, M. Patwary, Raul Puri 等
被引用 (20)
BdSentiLLM: A Novel LLM Approach to Sentiment Analysis of Product Reviews
bnContextQA: Benchmarking Long-Context Question Answering and Challenges in Bangla
ConVerSum: A Contrastive Learning-Based Approach for Data-Scarce Solution of Cross-Lingual Summarization Beyond Direct Equivalents
BeliN: A Novel Corpus for Bengali Religious News Headline Generation using Contextual Feature Fusion
TituLLMs: A Family of Bangla LLMs with Comprehensive Benchmarking
Performance Evaluation of Large Language Models in Bangla Consumer Health Query Summarization
Empowering Regional Language: NLP-driven Conversion from Rangpur Dialect to Standard Bengali Language
Mitigating Extrinsic Gender Bias for Bangla Classification Tasks
DiaFrame: A Framework for Understanding Bengali Dialects in Human-AI Collaborative Creative Writing Spaces
Better to Ask in English: Evaluation of Large Language Models on English, Low-resource and Cross-Lingual Settings
Do Large Language Models Speak All Languages Equally? A Comparative Study in Low-Resource Settings
A Systematic Survey and Critical Review on Evaluating Large Language Models: Challenges, Limitations, and Recommendations
Too Late to Train, Too Early To Use? A Study on Necessity and Viability of Low-Resource Bengali LLMs
Decoding the Diversity: A Review of the Indic AI Research Landscape
Unraveling the Dominance of Large Language Models Over Transformer Models for Bangla Natural Language Inference: A Comprehensive Study
Harnessing Large Language Models Over Transformer Models for Detecting Bengali Depressive Social Media Text: A Comprehensive Study
Generation, Analysis, and Detection of LLM Manipulated Bangla News
TeamB2B at BLP-2025 Task 2: BanglaForge: LLM Collaboration with Self-Refinement for Bangla Code Generation
AlphaBorno at BLP-2025 Task 2: Code Generation with Structured Prompts and Execution Feedback
The Anoa-L01 Benchmark: Prompt-Based Zero-Shot Evaluation for Sulawesi’s Regional Languages Detection in LLMs