核心发现
方法论
ETHOS数据集通过主动采样和Figure-Eight平台标注，确保数据平衡和多样性。使用SVM和TF-IDF进行初步分类，随后由人类标注者验证。
关键结果
- 在Figure-Eight平台上，Fleiss' kappa值超过0.75，表明标注者间一致性良好。
- 数据集在多标签分类任务中表现出色，特别是在性别和种族类别上。
- 实验结果显示，主动采样提高了数据集的代表性和模型的泛化能力。
研究意义
ETHOS数据集为仇恨言论检测提供了高质量的标注数据，支持多标签分类，填补了现有数据集在多样性和准确性上的空白。
技术贡献
提出了一种新的数据标注协议，结合主动学习和众包平台，提升了数据集的质量和多样性。
新颖性
ETHOS是首个专注于多标签仇恨言论检测的数据集，特别关注标签间的语义重叠。
局限性
- 数据集规模较小，可能限制模型的泛化能力。
- 标注过程依赖于人类标注者，存在主观性。
未来方向
未来工作可扩展数据集规模，探索更多语言和文化背景下的仇恨言论检测。
AI 总览摘要
仇恨言论在社交媒体上日益猖獗，现有检测方法难以应对其多样性和复杂性。ETHOS数据集通过主动采样和Figure-Eight平台标注，提供了一个高质量的多标签数据集，专注于YouTube和Reddit评论。实验结果表明，ETHOS在多标签分类任务中表现优异，特别是在性别和种族类别上。尽管数据集规模较小，但其设计理念和标注协议为未来的研究提供了重要参考。未来工作将致力于扩展数据集规模，并探索更多语言和文化背景下的仇恨言论检测。
深度分析
研究背景
仇恨言论在社交媒体上迅速传播，现有检测方法多为二元分类，忽视了标签间的语义重叠。ETHOS数据集通过多标签分类，填补了这一空白。
核心问题
现有数据集多为单一标签，缺乏多样性和准确性，难以应对复杂的仇恨言论。
核心创新
ETHOS数据集通过主动采样和Figure-Eight平台标注，确保数据平衡和多样性，特别关注多标签分类中的语义重叠。
方法详解
- �� 使用SVM和TF-IDF进行初步分类
- �� 通过Figure-Eight平台进行人类标注
- �� 主动采样确保数据多样性
实验设计
实验使用ETHOS数据集进行多标签分类，评估标注者一致性和模型性能。使用Fleiss' kappa评估标注质量。
结果分析
实验结果显示，ETHOS在多标签分类任务中表现优异，特别是在性别和种族类别上。Fleiss' kappa值超过0.75，表明标注者间一致性良好。
应用场景
ETHOS数据集可用于社交媒体平台的仇恨言论检测，帮助平台更好地管理用户内容。
局限与展望
数据集规模较小，可能限制模型的泛化能力。标注过程依赖于人类标注者，存在主观性。
通俗解读 非专业人士也能看懂
想象你在一个图书馆，那里有很多书籍。每本书都有不同的标签，比如‘小说’、‘历史’、‘科学’等。ETHOS数据集就像是一个特别的图书馆，专门收集和标注仇恨言论的‘书籍’。通过这种方式，我们可以更好地识别和管理这些言论。
简单解释 像给14岁少年讲一样
想象你在学校，有些同学总是用不友好的话语攻击别人。ETHOS数据集就像是一个超级侦探，帮助老师识别这些不友好的言论，并提醒大家注意。这样，学校就能变得更加友好和包容！
术语表
主动学习 (Active Learning)
一种机器学习方法，通过选择性标注提高模型性能。
用于选择最有信息量的评论进行标注。
多标签分类 (Multi-label Classification)
一种分类任务，每个样本可以有多个标签。
ETHOS数据集支持多标签分类。
Figure-Eight
一个众包平台，用于数据标注和验证。
用于ETHOS数据集的标注过程。
Fleiss' kappa
一种评估多标注者一致性的统计方法。
用于评估标注者间的一致性。
TF-IDF
一种文本向量化技术，用于衡量词语的重要性。
用于初步分类阶段的文本处理。
开放问题 这项研究留下的未解疑问
- 1 如何在更大规模的数据集上保持标注质量？
- 2 多语言环境下的仇恨言论检测如何实现？
应用场景
近期应用
社交媒体监控
帮助平台识别和管理仇恨言论，提升用户体验。
远期愿景
全球化应用
扩展到多语言和多文化背景，提升全球社交媒体的安全性。
原文摘要
Online hate speech is a recent problem in our society that is rising at a steady pace by leveraging the vulnerabilities of the corresponding regimes that characterise most social media platforms. This phenomenon is primarily fostered by offensive comments, either during user interaction or in the form of a posted multimedia context. Nowadays, giant corporations own platforms where millions of users log in every day, and protection from exposure to similar phenomena appears to be necessary in order to comply with the corresponding legislation and maintain a high level of service quality. A robust and reliable system for detecting and preventing the uploading of relevant content will have a significant impact on our digitally interconnected society. Several aspects of our daily lives are undeniably linked to our social profiles, making us vulnerable to abusive behaviours. As a result, the lack of accurate hate speech detection mechanisms would severely degrade the overall user experience, although its erroneous operation would pose many ethical concerns. In this paper, we present 'ETHOS', a textual dataset with two variants: binary and multi-label, based on YouTube and Reddit comments validated using the Figure-Eight crowdsourcing platform. Furthermore, we present the annotation protocol used to create this dataset: an active sampling procedure for balancing our data in relation to the various aspects defined. Our key assumption is that, even gaining a small amount of labelled data from such a time-consuming process, we can guarantee hate speech occurrences in the examined material.