核心发现
方法论
研究采用定量和定性方法评估Mozilla Common Voice 17.0、FLEURS和Vox Populi三个数据集的质量。使用信噪比、语音活动检测等指标，并邀请母语者审查样本。
关键结果
- 在MCV17的nan_tw子集发现严重质量问题，99%的语音持续时间低于7秒，导致数据几乎无法使用。
- 发现数据集的质量与语言的制度化程度呈正相关，低资源语言的问题更为严重。
- 提出了改善未来数据集开发的指南，强调社会语言学意识和语言规划原则。
研究意义
研究强调了数据质量对下游应用和研究的重要性，尤其是对低资源语言的影响。提出的指南有助于提高数据集质量，促进语言社区的规划和复兴。
技术贡献
提供了对多语言语音数据集质量问题的全面分析，并提出了改进建议。强调了社会语言学因素在数据集设计中的重要性。
新颖性
首次系统性地将社会语言学因素纳入多语言语音数据集质量评估，提出了新的语言规划方法。
局限性
- 研究主要集中在少数几个数据集，可能无法全面代表所有多语言数据集。
- 对低资源语言的分析需要更多的语言学专家参与。
- 未能涵盖所有可能的社会语言学因素。
未来方向
建议未来研究深入探讨数据集创建过程如何作为社区主导的语言规划和复兴工具。
AI 总览摘要
本研究揭示了多语言语音数据集的质量问题，尤其是在低资源语言中。现有的数据集，如Mozilla Common Voice 17.0、FLEURS和Vox Populi，存在严重的微观和宏观质量问题，影响了下游应用的评估结果。
研究采用了定量和定性方法，分析了信噪比、语音活动检测等指标，并邀请母语者审查样本。结果显示，数据集质量与语言的制度化程度呈正相关，低资源语言的问题更为严重。
研究提出了改善未来数据集开发的指南，强调社会语言学意识和语言规划原则的重要性。建议将数据集创建过程作为社区主导的语言规划和复兴工具。
深度解读
原文摘要
Our quality audit for three widely used public multilingual speech datasets - Mozilla Common Voice 17.0, FLEURS, and Vox Populi - shows that in some languages, these datasets suffer from significant quality issues, which may obfuscate downstream evaluation results while creating an illusion of success. We divide these quality issues into two categories: micro-level and macro-level. We find that macro-level issues are more prevalent in less institutionalized, often under-resourced languages. We provide a case analysis of Taiwanese Southern Min (nan_tw) that highlights the need for proactive language planning (e.g. orthography prescriptions, dialect boundary definition) and enhanced data quality control in the dataset creation process. We conclude by proposing guidelines and recommendations to mitigate these issues in future dataset development, emphasizing the importance of sociolinguistic awareness and language planning principles. Furthermore, we encourage research into how this creation process itself can be leveraged as a tool for community-led language planning and revitalization.