Comparative Analysis of Large Language Models in Generating Telugu Responses for Maternal Health Queries

近年来，大语言模型（LLM）在自然语言处理领域取得了显著进展，特别是在生成流畅和上下文适宜的文本方面。然而，这些模型在低资源语言中的表现仍存在显著差异。现有研究主要集中在资源丰富的语言上，如英语和汉语，而忽视了在区域语言中应用LLM的潜力和挑战。特别是在孕产健康等敏感领域，模型的准确性和可信度至关重要。因此，系统评估LLM在低资源语言中的表现具有重要意义。

本研究的核心问题在于评估LLM在生成泰卢固语孕产健康问答中的表现。由于泰卢固语属于低资源语言，现有模型在该语言中的表现尚未得到充分研究。此外，孕产健康领域对信息的准确性和完整性要求极高，因此需要开发一种综合评估框架，以全面考察模型在该领域的表现。

本研究的核心创新在于：

1) 首次系统性地评估了LLM在低资源语言泰卢固语中的表现，特别是在孕产健康领域。

2) 结合BERT Score和专家评估提供了全面的性能分析，揭示了模型选择和提示语言对生成答案质量的影响。

3) 提出了一种综合评估框架，结合自动语义分析和专家评估，为今后在区域语言中优化LLM提供了新的视角和方法。

本研究的方法论包括以下几个步骤：

• �� 数据收集：收集常见的孕产健康相关问题，涵盖营养、症状管理、胎儿发育和产前护理等主题，问题以英语和泰卢固语两种语言呈现。
• �� 模型生成：使用ChatGPT-4o、GeminiAI和Perplexity AI生成泰卢固语回答。
• �� 自动评估：使用BERT Score评估生成答案与专家答案的语义相似性。
• �� 专家评估：邀请十位精通泰卢固语的妇产科医生对生成的答案进行定性评估，考察准确性、流畅性、相关性、一致性和完整性。
• �� 综合分析：结合自动评估和专家评估结果，分析输入语言对生成答案质量的影响。

实验设计包括以下几个方面：

• �� 数据集：使用双语数据集，涵盖常见的孕产健康相关问题。
• �� 基线：选择ChatGPT-4o、GeminiAI和Perplexity AI作为基线模型。
• �� 评估指标：使用BERT Score评估语义相似性，并结合专家评估考察准确性、流畅性、相关性、一致性和完整性。
• �� 超参数：根据模型的默认设置进行实验，确保结果的可重复性。
• �� 消融研究：分析输入语言对生成答案质量的影响。

结果分析显示：

• �� Perplexity在英语提示下的F1得分最高，为0.704，显示出与专家答案的强语义一致性。
• �� Gemini在英语和泰卢固语提示下均表现出高语义相似性，F1得分紧随Perplexity。
• �� ChatGPT在泰卢固语提示下的语义一致性有所改善，显示出对输入语言的敏感性。
• �� 专家评估显示，Gemini在生成准确且连贯的泰卢固语孕产健康相关回答方面表现优异，而Perplexity在泰卢固语提示下表现出色。

本研究的应用场景包括：

• �� 医疗咨询：在低资源语言环境中，使用LLM提供准确的孕产健康信息，提升医疗服务的可及性。
• �� 教育培训：为医疗专业人员提供区域语言的培训材料，促进知识的传播和共享。
• �� 健康管理：为孕产妇提供个性化的健康管理建议，提升健康管理的效果。

本研究的局限性包括：

• �� 研究仅限于泰卢固语，未涵盖其他低资源语言的表现，限制了结论的普适性。
• �� 专家评估的主观性可能影响结果的客观性，需进一步验证。
• �� 未对LLM的训练数据进行详细分析，可能影响对模型表现的全面理解。未来研究方向包括扩展至更多低资源语言，增加孕产健康问题的多样性，并针对区域语言进行LLM的特定微调。