核心发现
方法论
本文采用基于SentencePiece的BPE算法，训练于781MB平衡语料库，涵盖英语、印地语、梵语、泰米尔语、泰卢固语、卡纳达语和马拉雅拉姆语。通过多阶段版本迭代（v1至v3），引入沙迪（sandhi）分割、后缀边界标记和多语种原生子词支持，结合形态学特征分析，优化子词生育率。采用子词生育率（fertility）指标，评估每个术语的子词数，验证模型在古典印度知识体系（IKS）术语上的表现。
关键结果
- v3版本平均每个IKS术语仅需2.6个子词，远低于GPT-2的5.25和基础SentencePiece的3.75，尤其在单子词表示的保留术语上表现优异。
- 在490句测试集上，v3相较GPT-2和字节级编码减少序列长度约90%，比mBART-50多语种模型节省约25%，显著提升模型的有效上下文容量。
- 子词生育率的降低直接改善了神经模型的训练效率和推理能力，为印度古典语言的深度学习应用提供了技术基础。
研究意义
该研究解决了印度古典语言在子词分词中的核心难题，包括复杂的形态变化、沙迪现象和多脚本覆盖问题。通过引入形态感知机制，显著提升了模型在古典语料中的表现，为多语种、多脚本的自然语言处理提供了创新路径。其在教育、文化遗产数字化和知识系统自动化等领域具有深远影响，有助于推动印度语言的数字化与智能化发展。
技术贡献
技术上，本文提出了结合沙迪分割、后缀边界标记和多语种原生子词支持的分词框架，超越传统BPE和SentencePiece的局限。引入子词生育率分析，量化子词效率，指导模型优化。模型采用32K词汇，训练在多源平衡语料上，确保多脚本、多形态的高效覆盖。该方法兼容现有多语种预训练模型，提升了古典语言的子词表达能力。
新颖性
本研究首次系统性结合沙迪处理、后缀边界标记和多语种原生子词支持，针对印度古典语言的特殊形态特征，提出了形态感知子词分词方案。相比以往仅依赖频率统计的子词算法，本文引入生育率分析作为优化指标，显著改善了古典语料的子词效率，填补了多语种古典语言处理的空白。
局限性
- 模型在极端复杂的沙迪或多重嵌套复合词场景中仍存在分割不准确的问题，部分古典文本的特殊符号和变体未完全覆盖。
- 训练数据虽平衡多源，但仍存在少数古典语料不足的问题，影响部分术语的子词表示效果。
- 模型推理时对硬件资源要求较高，未来需优化模型压缩与推理效率。
未来方向
未来将结合深度学习的形态分析工具，进一步提升沙迪分割的准确性；探索无监督或少监督的子词学习方法，增强模型对稀有词和变体的适应能力；同时扩展到更多印度语言和古典文本，推动多脚本、多形态的统一处理框架。
AI 总览摘要
印度古典语言如梵语、泰米尔语等，因其丰富的形态变化和沙迪现象，给现代神经网络模型的子词分词带来巨大挑战。传统的BPE和SentencePiece算法，主要在现代语言语料上训练，难以有效处理这些古典语料中的复杂结构，导致子词生育率高、序列长度长，影响模型效率。为此，本文提出了BHARATI分词器系列，基于多阶段版本迭代，结合沙迪分割、后缀边界标记和多语种原生子词支持，显著提升了古典印度语言的子词表达效率。
通过在781MB平衡语料库上训练，v3版本实现了每个IKS术语平均仅需2.6个子词，较GPT-2的5.25和基础SentencePiece的3.75有大幅改善。在490句测试集上，模型将序列长度缩短约90%，比多语种模型mBART-50节省25%以上，极大地提升了模型的上下文容量。这一技术突破不仅改善了古典语言的模型训练和推理效率，也为印度文化遗产的数字化和知识系统的智能化提供了坚实基础。
未来，作者计划结合深度形态分析工具，进一步优化沙迪处理精度，扩展到更多印度语言和古典文本，推动多脚本、多形态的统一处理框架，助力印度语言的数字未来。
深度分析
研究背景
近年来，子词分词已成为神经语言模型的核心预处理技术。早期，BPE由Sennrich等提出，解决了开集词汇问题，广泛应用于机器翻译和预训练模型中。随后，SentencePiece作为一种语言无关的子词工具，支持多语种和无预处理，成为行业标准。然而，针对印度语言的研究较少，尤其在古典语料中，复杂的形态变化和沙迪现象严重影响子词效率。传统算法在多脚本、多形态环境下表现不佳，导致子词生育率高，序列过长，限制模型性能。
核心问题
印度古典语言具有丰富的形态变化、沙迪融合和多脚本书写，传统子词算法难以高效编码这些特性。现有模型在处理古典语料时，子词数量过多，导致序列长度长，模型上下文受限，影响训练和推理效率。如何设计一种兼容多脚本、多形态、古典特性的子词分词方案，成为亟待解决的问题。这不仅关系到模型性能，更影响到印度文化遗产的数字化保护和学术研究的深度。
核心创新
本文提出了结合沙迪分割、后缀边界标记和多语种原生子词支持的形态感知子词分词框架。创新点包括：1）引入沙迪分割，解决词边融合问题；2）利用后缀边界标记，平衡长复合词的粒度；3）支持多语种原生子词，确保古典语言的脚本和形态覆盖；4）采用子词生育率指标，量化子词效率，指导模型优化。这些创新突破了传统频率统计的局限，为古典语言的深度学习提供了新途径。
方法详解
- �� 构建平衡多语料库，涵盖现代与古典文本。
- �� 预处理：沙迪分割（梵语）、后缀边界标记（泰米尔）、Unicode标准化。
- �� 训练SentencePiece BPE模型，词汇量32K，字符覆盖率99.95%，启用字节级回退。
- �� 逐步版本迭代：v1（仅英语、梵语）、v2（加入印地语、泰米尔语）、v3（全部七语支持）。
- �� 结合子词生育率指标，评估每个术语的子词数，优化模型参数。
- �� 采用多阶段评估，包括子词效率、脚本覆盖和下游任务性能。
实验设计
在包含490句的测试集上，比较GPT-2、基础SentencePiece和本方法的子词生育率。训练在781MB平衡语料上，使用标准超参数（32K词汇、字符覆盖率99.95%），评估模型在古典语料中的子词效率和序列长度。通过ablation验证沙迪分割和边界标记的贡献，分析不同版本的改进效果。模型部署在NanoGPT上，验证实际训练和推理中的性能提升。
结果分析
v3模型在IKS术语上的子词平均数为2.6，远低于GPT-2的5.25和基础SentencePiece的3.75。序列长度缩短90%以上，比多语种mBART-50节省约25%。在实际应用中，模型显著提升了古典文本的编码效率，增强了模型的上下文理解能力。子词效率的提升带来训练速度加快和推理更快，验证了方法的实用性和有效性。
应用场景
该分词器适用于古典印度语言的预训练模型、文化遗产数字化、学术研究和教育平台。通过高效编码复杂的形态和沙迪结构，提升模型在古典文本理解和生成中的表现，为印度语言的AI应用奠定基础。未来可扩展到更多古典语言和多脚本环境，推动印度多语种AI生态系统的发展。
局限与展望
模型在极端复杂的沙迪或多重嵌套复合词场景中仍存在分割不准确的问题，部分古典符号和变体未完全覆盖。训练数据虽平衡，但部分古典文本不足，影响子词表示效果。推理时对硬件资源要求较高，未来需优化模型压缩和推理效率。
通俗解读 非专业人士也能看懂
想象你在一家工厂里，工厂的任务是把各种不同的零件拼装成完整的产品。每个零件代表一句话或一个词，但不同语言和古典文本中的“零件”形状和拼装方式都不一样。有些零件非常复杂，里面藏着很多小零件（像沙迪），需要特殊的工具（分词算法）才能拆开。传统的工具只能用简单的拼装方式，导致拼装出来的零件太多，浪费空间和时间。本文提出了一种新工具，能更聪明地拆解复杂零件，减少拼装的零件数，让整个生产线（模型）变得更快、更高效。这就像用更聪明的工具组装汽车，不仅节省时间，还能做出更复杂、更漂亮的车。
简单解释 像给14岁少年讲一样
想象你在玩拼图游戏，但拼图块有很多奇怪的形状，有的还会融合在一起变成更复杂的图案。普通的拼图方法就像用普通的剪刀，只能一块一块拼，拼得慢还容易错。现在，有个新方法像是用一把特别的工具，可以更聪明地拆开这些融合的拼图块，把复杂的图案变成简单的小块。这样拼图就变得快多了，而且拼出来的图案也更漂亮。这个新工具就像是给拼图游戏设计的智能助手，让你可以更快、更好地完成拼图，特别适合那些复杂、融合很多的图案，比如古老的书页或特殊的符号。它让拼图变得简单又有趣，也帮我们更好地理解那些古老的文字和文化。
原文摘要
Standard subword tokenization algorithms such as Byte-Pair Encoding (BPE) and SentencePiece are trained predominantly on modern language corpora and produce inefficient segmentations when applied to classical Indian languages. Sanskrit, Tamil, and other classical Indic languages exhibit agglutinative morphology, productive sandhi (phonological fusion at word boundaries), and domain-specific vocabularies absent from general-purpose training data. This paper presents BHARATI, a set of SentencePiece BPE tokenizers trained on a balanced 781 MB corpus spanning seven languages (English, Hindi, Sanskrit, Tamil, Telugu, Kannada, and Malayalam) with native script support for all languages. We describe three successive tokenizer versions: v1 (English and Sanskrit only, with broken byte-fallback for Tamil), v2 (four-language support with byte-level fallback for southern languages), and v3 (full seven-language native subword coverage). Subword fertility analysis demonstrates that v3 averages 2.6 tokens per Indian Knowledge System (IKS) technical term, compared to 5.25 tokens per term with GPT-2's tokenizer and 3.75 tokens with the multilingual SentencePiece baseline, with the largest gains on a set of reserved IKS terms that are represented as single tokens by construction. On a held-out test set of 490 IKS-domain sentences (70 per language across seven languages, released with the measurement script), v3 reduces sequence length by roughly 90% relative to GPT-2 and byte-level encoding (which lack native Indic subwords) and by approximately 25% relative to the mBART-50 multilingual baseline, averaged across the six Indic languages, directly translating to increased effective context length for downstream language models. The tokenizer models (32,000 vocabulary), training scripts, and evaluation benchmarks are released under open licenses.