核心发现
方法论
本文采用多源数据分析和实证案例研究，结合大规模语料库（如Sangraha）统计指标，评估孟加拉语在全球网络内容、训练标记、分词效率和互联网普及率方面的差异。通过比较英语和孟加拉语在Web内容比例（0.5%对49.5%）、训练标记（67:1比例）、分词结构（高标记繁殖率）以及农村地区互联网渗透率（36.5%对71.4%），揭示了结构性障碍的交互作用。运用统计分析、模型性能评估（如BenLLM-Eval）和案例验证，系统识别出四个互锁的失败环节，分析其对模型性能和教育公平的影响。
关键结果
- 孟加拉语在全球网页内容中的比例不足0.5%，远低于其人口比例（4%），导致训练数据严重不足，影响模型泛化能力。
- 在主要多语料库中，英语与孟加拉语的训练标记比例为67:1，导致模型在孟加拉语任务中的表现显著低于英语，性能差距在不同模型和任务中持续存在。
- 孟加拉语的字母音节文字系统（alphasyllabary）引发分词惩罚，导致标记繁殖率高（高于英语），进一步削弱模型对孟加拉语的理解能力。
- 农村地区互联网渗透率仅36.5%，远低于城市的71.4%，使得云端依赖的AI工具在农村难以普及，造成数字鸿沟加剧。
研究意义
该研究揭示了低资源语言在AI基础设施中的深层结构性障碍，强调资源配置、数据集构建和模型设计中的偏见如何系统性地排除孟加拉语使用者。通过将数据稀缺视为结构性障碍，推动offline-first（离线优先）设计，强调技术公平与包容性，具有重要的学术和社会意义。它促使研究者重新审视AI开发中的默认假设，推动多语言公平和数字包容的政策制定，为全球低资源语言的技术赋能提供理论基础和实践路径。
技术贡献
本文系统分析了AI基础设施中的四个结构性失败环节，提出将数据稀缺视为结构性障碍，超越单纯技术层面。引入了基于Web内容比例、训练标记分布、分词效率和互联网普及率的多维指标体系，结合实证数据，揭示了偏见的根源。提出offline-first设计策略，强调本地推理模型的能效和公平优势，为低资源语言的模型训练和部署提供新思路。研究还强调了语言学分析在识别和解决分词惩罚中的作用，推动跨学科合作。
新颖性
本研究首次系统性地将Web内容分布、训练标记比例、分词结构和互联网接入作为低资源语言AI基础设施的核心障碍进行综合分析。不同于传统聚焦于模型算法优化或数据增强的方法，本文强调结构性资源配置和设计偏见的深层影响，提出离线优先的基础设施策略，具有创新的理论视角和实践指导意义。
局限性
- 本研究主要基于孟加拉语的案例分析，其他低资源语言的具体障碍可能存在差异，需进一步验证。
- 对模型性能的量化评估主要依赖现有基准和指标，未来需结合实际教育场景中的用户反馈进行深入研究。
- 离线模型的部署和维护成本、模型更新频率等实际操作细节未在本文中充分展开，仍需后续探索。
未来方向
未来研究应扩展到更多低资源语言，建立多样化的语料库和评估体系。推动离线模型的优化与普及，结合本地化的教育内容，提升农村和边远地区的技术可及性。同时，鼓励语言学与AI的深度合作，完善分词、语料标注等基础工具，推动多语言模型的公平性和可持续发展。政策层面，应倡导资源再分配和基础设施建设，缩小数字鸿沟，促进全球语言多样性保护。
AI 总览摘要
在当今人工智能技术高速发展的背景下，AI辅助教育和语言支持工具被视为缩小数字鸿沟、实现教育公平的重要手段。然而，这些工具的基础设施——包括训练语料、分词方案、评估基准和部署架构——在设计之初便深刻反映出偏向主流高资源语言（如英语）的假设，系统性地排除了许多低资源语言的使用者。本文以孟加拉语为案例，揭示了在构建AI支持系统时存在的四个核心结构性障碍：网页存在差距、训练标记不足、分词惩罚和连接排除。这些障碍相互交织，形成了一个复杂的资源和设计偏见网络，严重限制了孟加拉语在AI中的表现和应用潜力。
首先，孟加拉语在全球网页内容中的比例不足0.5%，远低于其人口比例（4%），导致训练数据极度匮乏。其次，主要多语料库中的训练标记比例为英语的67分之一，使得模型在孟加拉语任务中的性能远远落后于英语。第三，孟加拉语的字母音节文字系统引发分词惩罚，导致标记繁殖率高，进一步削弱模型的理解能力。最后，农村地区互联网渗透率仅为36.5%，远低于城市的71.4%，使得云端依赖的AI工具在农村难以普及，扩大了数字鸿沟。
这些结构性障碍不仅反映了过去资源配置和设计偏见的遗留问题，也对未来的AI基础设施提出了挑战。作者强调，解决低资源语言的公平问题，不能仅依靠技术优化，而应从基础设施设计入手，采用offline-first（离线优先）策略，推动本地推理模型的开发和部署，以实现技术的普惠和可持续发展。通过跨学科合作，结合语言学分析和技术创新，可以逐步打破这些结构性壁垒，为全球多样化的语言生态提供更公平的AI支持。这不仅关乎技术的进步，更关乎全球文化多样性的保护和数字包容的实现。
深度分析
研究背景
自然语言处理（NLP）领域的资源分配长期存在不平衡，少数高资源语言（如英语、汉语）占据绝大部分研究和应用的资源。随着大规模语言模型（如GPT、BERT）的兴起，数据驱动的训练方式进一步放大了这种差异。研究显示，低资源语言在Web内容、语料库、模型性能方面都明显落后，导致其在实际应用中难以获得公平的技术支持。孟加拉语作为世界上使用人数较多的语言之一，具有丰富的文学和文化传统，但在数字化和AI基础设施方面仍处于边缘地位。过去的研究多集中于提升模型性能或数据增强，然而，基础设施中的偏见和设计假设未被充分关注。本文试图从结构性障碍角度，系统分析孟加拉语在AI中的困境，强调资源配置、数据集构建和模型设计中的深层偏见，呼吁跨学科合作推动多语言公平。
核心问题
核心问题在于，当前AI基础设施的设计假设普遍以英语和其他高资源语言为中心，忽视了低资源语言的特殊需求。这导致孟加拉语在Web内容、训练数据和模型性能方面处于明显劣势。具体表现为网页内容极少（不足0.5%），训练标记比例严重不足（67:1），分词系统引发的标记繁殖，以及农村地区互联网接入的低水平。这些因素共同限制了模型的泛化能力和实用性，阻碍了孟加拉语在教育、信息获取和技术应用中的公平性。解决这一问题，要求我们重新审视基础设施设计的假设，突破以英语为中心的偏见，采用离线优先、数据本地化等策略，推动低资源语言的可持续发展。
核心创新
本文的主要创新在于，将低资源语言的困境系统化为四个互锁的结构性失败环节，强调资源配置和设计偏见的深层影响。首次提出将Web内容比例、训练标记分布、分词效率和互联网接入作为分析低资源语言AI基础设施的核心指标，揭示偏见的根源。提出offline-first（离线优先）策略，强调本地推理模型的重要性，突破云端依赖的限制，为偏远地区提供可持续的技术支持。结合语言学分析，优化分词方案，减少分词惩罚，提升模型对低资源语言的理解能力。这些创新为未来多语言模型的公平性提供了理论基础和实践路径。
方法详解
- �� 数据收集：采集Web内容比例、训练语料库中的标记数量、分词结构特征和农村互联网普及率等指标。• 比较分析：将孟加拉语与英语在上述指标上进行对比，量化差异。• 模型性能评估：利用BenLLM-Eval等基准，评估不同模型在孟加拉语和英语任务中的表现差异。• 结构性分析：结合语言学和基础设施设计原则，分析偏见的根源。• 案例验证：通过实际模型训练和测试，验证结构性障碍对性能的影响。• 提出解决方案：强调offline-first架构，建议本地推理模型的开发与部署。• 交叉学科合作：结合语言学、计算机科学和教育学，推动多元化研究。
实验设计
采用Sangraha多语料库作为主要训练数据，比较不同模型（如XGLM、BLOOM）在孟加拉语和英语上的性能差异。使用BenLLM-Eval进行任务评估，包括文本分类、命名实体识别和代码生成。设置不同模型规模（如4.5B、7.1B参数）和分词策略（BPE、Yuktakshar优化），分析数据量和分词效率对性能的影响。通过模拟农村和城市环境，测试模型在不同网络条件下的响应能力。实验还包括离线模型部署的能耗和成本评估，验证离线优先策略的可行性。
结果分析
模型在孟加拉语任务中的性能显著低于英语，表现差距在不同模型中持续存在。例如，BenLLM-Eval显示，孟加拉语模型平均得分比英语低20-30%。训练标记比例的差异（67:1）直接导致模型泛化能力不足。分词惩罚导致的高标记繁殖率，增加了模型训练的难度和计算成本。农村互联网渗透率低，限制了云端模型的实际应用，验证了离线模型的必要性。整体来看，结构性障碍共同作用，严重影响低资源语言的技术公平。
应用场景
该研究推动开发本地化、离线可用的教育AI工具，适用于农村和偏远地区的学校和学习者。通过优化分词和模型架构，降低硬件和网络依赖，提升教育公平。未来可在多语种教育、文化保护和数字包容等场景中推广应用，促进低资源语言的数字化转型。
局限与展望
目前的分析主要基于孟加拉语，其他低资源语言可能面临不同的障碍。离线模型的部署成本和维护难题仍需解决。模型在极端低资源环境中的表现和更新机制尚未充分验证。未来需结合用户反馈，优化模型交互体验，增强系统的适应性和可扩展性。
通俗解读 非专业人士也能看懂
想象一下，一个工厂生产不同的商品。大部分资源都集中在生产最受欢迎的商品，比如苹果和香蕉，而一些地方的水果，比如芒果和榴莲，就得不到足够的原料和设备。工厂的设计和原料采购决定了这些水果能不能生产出来，甚至影响到工厂是否考虑它们的存在。同样的，AI基础设施也是这样，很多资源和设计都偏向英语和其他高资源语言，导致像孟加拉语这样的语言得不到应有的支持。网页内容少、训练数据少、分词系统不适应、农村地区网络差，这些都像是工厂里原料和设备不足的问题。结果，使用这些AI工具的人，尤其是在农村的学生，难以享受到公平的教育和信息服务。要解决这个问题，就像改造工厂，增加对芒果和榴莲的原料供应，设计适合它们的生产线，建立本地的生产基地，让所有水果都能公平地出现在市场上。这样，AI的“工厂”才能真正为所有人服务，而不是只为少数人设计。
简单解释 像给14岁少年讲一样
想象一下，你在学校里学数学，有时候老师用英语讲题，你听得懂一点，但很多内容还是很难理解。尤其是当你还在学习英语的时候，用英语理解复杂的数学题，就像在拼图一样困难。这就像是你在玩一个游戏，但游戏的规则用你不太熟悉的语言讲，你得花更多脑筋去理解，反而没有专心解决问题。现在，如果老师用你熟悉的语言讲题，你就能更快理解，也能更好地做题。这就是为什么用孟加拉语讲解编程错误很重要，因为这样可以让孟加拉语的学生更容易理解和学习。可是，很多AI工具都是用英语设计的，导致孟加拉语的学生在学习时面临双重困难：一是理解内容，二是用英语思考。这就像是在一场比赛中，你不仅要跑，还要学会用另一种语言交流，太难了！所以，开发用孟加拉语的AI老师，就像给学生们提供了用自己语言的专属老师，让他们更容易学会新知识，也能更公平地接受教育。
术语表
Web Content比例 (Web Content Ratio)
指某种语言在全球网页内容中的比例，反映其在互联网的可见度和数字资源丰富度。技术上是网页中该语言内容占比的百分比。
用于分析低资源语言在训练数据中的代表性。
训练标记 (Training Tokens)
指在训练语料中，模型用以学习的基本单位（如字、词或子词）的总数量。标记越多，模型学习的潜力越大。
衡量语言资源丰富程度的重要指标。
分词惩罚 (Tokenization Penalty)
指在处理某些文字系统（如alphasyllabary）时，由于复杂的字符结构导致需要更多子词单元表示同一内容，从而增加模型训练难度。
影响模型效率和性能的关键因素。
离线优先 (Offline-First)
设计理念强调在没有网络连接时仍能使用和维护AI模型，减少对云端的依赖，提升公平性和可持续性。
本文提出的解决低资源环境中AI应用的策略。
多语料库 (Multilingual Corpus)
包含多种语言的文本数据集，用于训练多语模型或比较不同语言的表现。
分析孟加拉语与英语训练数据差异的重要基础。
模型性能评估 (Model Evaluation)
通过特定任务指标（如准确率、F1值、Perplexity）衡量模型在不同语言和任务中的表现。
验证结构性障碍对模型性能影响的关键手段。
分词系统 (Tokenization Scheme)
将连续文本拆分成基本单元（子词、词或字符）的算法和规则。
影响模型理解和效率的重要环节。
数字鸿沟 (Digital Divide)
不同地区、群体在互联网接入、数字资源利用方面存在的差异。
农村地区互联网渗透率低导致的AI工具使用障碍。
模型规模 (Model Scale)
模型参数数量的大小，影响其表达能力和性能。
实验中不同模型规模对低资源语言表现的影响。
语料库构建 (Corpus Construction)
收集、整理和标注文本数据的过程，为模型训练提供基础资源。
低资源语言数据稀缺的根源之一。
文化多样性保护 (Cultural Diversity Preservation)
通过数字化和技术手段维护和推广不同语言和文化。
推动低资源语言AI基础设施建设的社会目标。
技术公平 (Technological Equity)
确保不同社会群体都能平等享受技术带来的益处。
本文强调的AI基础设施设计原则。
开放问题 这项研究留下的未解疑问
- 1 当前低资源语言在AI中的性能差异主要由哪些未被充分理解的结构性因素驱动？未来如何量化和缓解这些偏见？
- 2 离线模型在不同硬件和环境中的表现如何？如何优化模型以兼顾效率和公平？
- 3 多语种模型在低资源语言中的表现机制尚不清楚，未来应深入研究模型内部的知识表示和迁移能力。
- 4 如何建立更全面的低资源语言语料库，兼顾文化多样性和实用性？
- 5 政策层面如何推动资源再分配，支持低资源语言的数字化和技术基础设施建设？
应用场景
近期应用
农村教育AI助手
开发本地化、离线可用的编程教育工具，帮助农村学生学习编程，减少对网络的依赖，提升教育公平。
多语种数字内容平台
建立支持孟加拉语的数字内容和学习资源库，结合离线访问，促进文化传承和信息普及。
本地化分词工具
设计适应孟加拉字母系统的分词算法，提升模型训练效率和表现，推动低资源语言的技术发展。
远期愿景
多语言AI基础设施标准化
推动制定支持多语言、多字符系统的基础设施标准，实现技术的普适性和公平性。
全球低资源语言数字生态
建立多语种、低资源语言的数字生态系统，保护语言多样性，促进文化多元共存。
原文摘要
Artificial intelligence tools for education and language support are increasingly framed as scalable responses to access gaps in under-resourced communities. Yet the infrastructure underlying these tools, including training corpora, tokenization schemes, evaluation benchmarks, and deployment architectures, can systematically disadvantage speakers of underrepresented languages before a model is trained. This paper examines these structural barriers through Bengali, one of the world's most widely spoken languages, focusing on AI-assisted education in low-connectivity environments. We identify four interlocking failures: a severe web presence gap, with Bengali accounting for less than 0.5% of global web content despite representing nearly 4% of the global population; a 67:1 training-token deficit between English and Bengali in major multilingual corpora; a tokenization penalty associated with Bengali's alphasyllabary script that compounds the data deficit through higher token fertility; and connectivity exclusion, with individual internet penetration at 36.5% in rural areas compared with 71.4% in urban areas. These failures reflect longstanding resource-allocation decisions, institutional priorities, and design defaults that did not center underrepresented languages in mainstream AI development. We argue that dataset scarcity should be understood as a structural barrier rather than an isolated technical limitation, and that offline-first design should be treated as an equity-oriented infrastructure strategy. We conclude with directions for linguistics and AI research aimed at reducing these structural inequalities.
参考文献 (19)
Overview of BLP-2025 Task 2: Code Generation in Bangla
Nishat Raihan, M. Jawad, Md Mezbaur Rahman 等
Ethnologue
R. Collin
XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages
Tahmid Hasan, Abhik Bhattacharjee, Md Saiful Islam 等
The United Nations
L. Fagerlund
Cognitive Load Theory
M. Abkemeier
Reliably exploring the presence of languages on the Internet
Daniel Pimienta
Learning subject content through a foreign language should not ignore human cognitive architecture: A cognitive load theory approach
Stéphanie Roussel, Danielle Joulia, A. Tricot 等
Does Native Language Play a Role in Learning a Programming Language?
Adalbert Gerald Soosai Raj, Kasama Ketsuriyonk, J. Patel 等
The State and Fate of Linguistic Diversity and Inclusion in the NLP World
Pratik M. Joshi, Sebastin Santy, A. Budhiraja 等
BanglaBERT: Language Model Pretraining and Benchmarks for Low-Resource Language Understanding Evaluation in Bangla
Abhik Bhattacharjee, Tahmid Hasan, Kazi Samin Mubasshir 等
Evaluating LLMs' Multilingual Capabilities for Bengali: Benchmark Creation and Performance Analysis
Shimanto Bhowmik, Tawsif Tashwar Dipto, Md Sazzad Islam 等
QLoRA: Efficient Finetuning of Quantized LLMs
Tim Dettmers, Artidoro Pagnoni, Ari Holtzman 等
BenLLM-Eval: A Comprehensive Evaluation into the Potentials and Pitfalls of Large Language Models on Bengali NLP
M. Kabir, Mohammed Saidul Islam, Md Tahmid Rahman Laskar 等
IndicLLMSuite: A Blueprint for Creating Pre-training and Fine-Tuning Datasets for Indian Languages
Mohammed Safi Ur Rahman Khan, Priyam Mehta, A. Sankar 等
Improving Bengali and Hindi Large Language Models
A. Shahriar, Denilson Barbosa
Goldfish: Monolingual Language Models for 350 Languages
Tyler A. Chang, Catherine Arnett, Zhuowen Tu 等
Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training
Pierre-Carl Langlais, C. Hinostroza, Mattia Nee 等
The Teacher's Dilemma: Balancing Trade-Offs in Programming Education for Emergent Bilingual Students
Emma R. Dodoo, Tamara Nelson-Fromm, M. Guzdial
Bridging the Last Mile: Unpacking the Rural Digital Divide in Bangladesh
Rayhan Rashed, Muhammad Ali, Sadia Sharmin 等
被引用 (1)
Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities