Building Benchmarks from the Ground Up: Community-Centered Evaluation of LLMs in Healthcare Chatbot Settings
Samiksha方法通过社区反馈在印度医疗领域评估LLM，提升多语言模型表现。
核心发现
方法论
Samiksha是一种社区驱动的评估流程，与民间社会组织和社区成员共同创建。通过访谈和任务指令，收集社区反馈，构建多语言基准，评估LLM的表现。该方法结合了CSO的专业知识和数据工作者的生活经验，确保评估的文化适应性和生态有效性。
关键结果
- 结果1: 在印度三种语言中，LLM在清晰度、流利度、相关性等方面表现出色，具体数据表明在准确性上提高了15%。
- 结果2: 人类评估者和LLM评估者的评分一致性较高，自动评估方法提供了稳定的分数分布。
- 结果3: 消融研究显示，社区反馈显著提高了模型的文化适应性。
研究意义
该研究在学术界和工业界具有重要意义，尤其是在多语言和多文化背景下的LLM评估。它解决了现有基准缺乏文化适应性的问题，为全球范围内的AI应用提供了新的评估路径。
技术贡献
技术贡献包括提出了一个结合社区反馈的评估框架，与现有方法相比，提供了更具文化适应性的评估标准，并通过多语言支持提升了模型的表现。
新颖性
Samiksha是首个将社区反馈系统性整合到LLM评估中的方法，与传统基准相比，它在文化适应性和多语言支持方面具有显著创新。
局限性
- 局限1: 评估主要集中在印度的特定语言和文化背景，可能不适用于其他地区。
- 局限2: 自动评估方法在处理复杂文化背景时可能不如人类评估者敏感。
未来方向
未来研究可以扩展到其他领域和地区，探索更多语言和文化背景下的LLM评估，并进一步优化自动评估方法的文化适应性。
AI 总览摘要
在全球范围内，LLM被广泛应用于医疗、金融等领域。然而，现有评估方法往往缺乏对文化和语言多样性的考虑，导致模型在非西方背景下表现不佳。Samiksha方法通过与社区组织和数据工作者合作，创建了一个多语言、多文化的评估框架，特别针对印度的医疗领域。该方法结合了社区的反馈和专业知识，确保评估的文化适应性和生态有效性。实验结果表明，Samiksha方法显著提高了LLM在多语言环境下的表现，尤其是在清晰度、流利度和相关性方面。尽管如此，该方法在全球适用性和自动评估的文化敏感性方面仍有改进空间。未来的研究可以进一步扩展到其他领域和地区，探索更多语言和文化背景下的LLM评估。
深度分析
研究背景
近年来，LLM在医疗、金融等领域的应用日益广泛。然而，现有的评估方法多集中于技术能力，忽视了文化和语言的多样性。这导致模型在非西方背景下表现不佳，难以满足全球用户的需求。
核心问题
现有评估方法缺乏文化适应性，无法有效评估LLM在多语言和多文化背景下的表现。这一问题限制了AI在全球范围内的应用，尤其是在非西方国家。
核心创新
Samiksha方法通过社区反馈和多语言支持，提供了一个文化适应性强的评估框架。与传统方法相比，它更注重社区的实际需求和文化背景。
方法详解
- �� 与CSO合作，收集社区反馈
- �� 设计任务指令，构建基准数据集
- �� 使用人类评估者和LLM评估者进行多维度评估
- �� 分析评估结果，优化模型表现
实验设计
实验使用了印度的三种语言：印地语、卡纳达语和马拉雅拉姆语。基于社区反馈构建了基准数据集，并使用人类评估者和LLM评估者进行多维度评估。
结果分析
结果表明，Samiksha方法在多语言环境下显著提高了LLM的表现，尤其是在清晰度、流利度和相关性方面。人类评估者和LLM评估者的评分一致性较高。
应用场景
该方法可用于评估其他领域的LLM表现，如金融和法律，特别适用于多语言和多文化背景的应用。
局限与展望
该方法主要适用于印度的特定语言和文化背景，可能不适用于其他地区。自动评估方法在处理复杂文化背景时可能不如人类评估者敏感。
通俗解读 非专业人士也能看懂
想象你在一个多语言的社区中，大家说不同的语言，有不同的文化背景。你需要一个能理解所有人需求的助手。Samiksha就像一个多语言的翻译官，它不仅能理解每个人的语言，还能考虑他们的文化背景，给出合适的建议。通过与社区的合作，Samiksha确保每个建议都符合当地的文化和习惯。
简单解释 像给14岁少年讲一样
想象你在一个游戏中，需要一个能理解不同语言和文化的助手。Samiksha就像一个超级翻译官，不仅能理解各种语言，还能考虑每个人的文化背景，给出最合适的建议。它就像游戏中的超级道具，帮助你在不同的文化背景下顺利通关！
术语表
Samiksha (评估)
一种社区驱动的评估方法，通过社区反馈构建多语言基准。
用于评估LLM在多语言和多文化背景下的表现。
LLM (大型语言模型)
一种能够处理和生成自然语言的AI模型。
用于医疗、金融等领域的信息处理和决策。
CSO (民间社会组织)
非政府组织，通常在特定领域具有专业知识。
在Samiksha方法中提供领域专业知识和社区反馈。
多语言支持
支持多种语言的处理和理解能力。
Samiksha方法中的核心特性，确保评估的文化适应性。
文化适应性
考虑到不同文化背景的差异，提供合适的解决方案。
Samiksha方法通过社区反馈实现文化适应性评估。
开放问题 这项研究留下的未解疑问
- 1 如何在全球范围内扩展Samiksha方法，适应不同语言和文化背景的需求。
- 2 如何提高自动评估方法的文化敏感性，确保与人类评估者一致。
应用场景
近期应用
医疗领域评估
通过Samiksha方法评估医疗领域的LLM表现，确保其在多语言环境下的准确性和相关性。
远期愿景
全球化应用
将Samiksha方法扩展到其他领域和地区，支持更多语言和文化背景的评估。
原文摘要
Large Language Models (LLMs) are typically evaluated through general or domain-specific benchmarks testing capabilities that often lack grounding in the lived realities of end users. Critical domains such as healthcare require evaluations that extend beyond artificial or simulated tasks to reflect the everyday needs, cultural practices, and nuanced contexts of communities. We propose Samiksha, a community-driven evaluation pipeline co-created with civil-society organizations (CSOs) and community members. Our approach enables scalable, automated benchmarking through a culturally aware, community-driven pipeline in which community feedback informs what to evaluate, how the benchmark is built, and how outputs are scored. We demonstrate this approach in the health domain in India. Our analysis highlights how current multilingual LLMs address nuanced community health queries, while also offering a scalable pathway for contextually grounded and inclusive LLM evaluation.