核心发现
方法论
HMS-BERT是一种混合多任务自训练框架，基于预训练的多语言BERT模型，结合上下文表示和手工设计的语言特征。该框架同时优化细粒度的多标签滥用分类任务和三类主分类任务。为了应对低资源语言中标注数据稀缺的问题，HMS-BERT引入了一种基于置信度的伪标签迭代自训练策略，以促进跨语言知识转移。
关键结果
- 在多标签任务上，HMS-BERT在四个公共数据集上的宏F1得分高达0.9847，显著优于现有方法。这表明该模型在处理多语言和多标签网络欺凌检测方面具有很强的能力。
- 在主分类任务上，HMS-BERT的准确率达到0.6775，显示出在三类分类任务中的稳健性。通过与基线模型对比，HMS-BERT在多语言场景下表现出色。
- 消融研究验证了HMS-BERT各个组件的有效性，特别是手工特征和自训练机制对模型性能的提升具有重要作用。
研究意义
HMS-BERT的提出在学术界和工业界具有重要意义。它解决了现有方法在多语言和多标签场景下的局限性，特别是在低资源语言中的应用。通过结合多任务学习和自训练策略，该框架提高了模型的跨语言泛化能力，为多语言网络欺凌检测提供了新的解决方案。
技术贡献
HMS-BERT在技术上与现有最先进方法有显著区别。它不仅结合了多任务学习和自训练策略，还通过手工特征增强了上下文理解能力。该框架的设计为多语言多标签学习提供了新的理论保障，并为工程应用开辟了新的可能性。
新颖性
HMS-BERT首次在多语言多标签网络欺凌检测中结合了多任务自训练策略。与相关工作相比，该框架在处理低资源语言和多标签分类任务方面具有独特的创新性，特别是在跨语言知识转移和伪标签生成方面。
局限性
- HMS-BERT在处理极端不平衡的数据集时可能表现不佳，尤其是在某些类别样本极少的情况下，模型的泛化能力可能受到限制。
- 该框架的计算复杂度较高，训练时间较长，可能不适用于实时应用场景。
- 在某些语言的特定文化背景下，手工特征可能无法完全捕捉语言的细微差异。
未来方向
未来的研究可以在以下几个方向进行扩展：1) 进一步优化自训练策略，提高伪标签的质量；2) 探索更高效的模型结构以降低计算复杂度；3) 扩展到更多低资源语言，验证HMS-BERT的广泛适用性。
AI 总览摘要
随着在线交流的快速发展，网络欺凌已成为一个普遍且紧迫的社会问题。传统的网络欺凌检测方法主要集中在单语言数据上，采用基于规则的方法和传统的机器学习模型。然而，这些方法在多语言和多标签场景下的表现有限，尤其是在低资源语言中。
HMS-BERT是一种创新的混合多任务自训练框架，旨在解决多语言和多标签网络欺凌检测的挑战。该框架基于预训练的多语言BERT模型，结合上下文表示和手工设计的语言特征，同时优化细粒度的多标签滥用分类任务和三类主分类任务。为了应对低资源语言中标注数据稀缺的问题，HMS-BERT引入了一种基于置信度的伪标签迭代自训练策略，以促进跨语言知识转移。
在实验中，HMS-BERT在四个公共数据集上表现出色，在多标签任务上的宏F1得分高达0.9847，在主分类任务上的准确率达到0.6775。消融研究进一步验证了HMS-BERT各个组件的有效性，特别是手工特征和自训练机制对模型性能的提升具有重要作用。
HMS-BERT的提出在学术界和工业界具有重要意义。它解决了现有方法在多语言和多标签场景下的局限性，特别是在低资源语言中的应用。通过结合多任务学习和自训练策略，该框架提高了模型的跨语言泛化能力，为多语言网络欺凌检测提供了新的解决方案。
然而，HMS-BERT在处理极端不平衡的数据集时可能表现不佳，尤其是在某些类别样本极少的情况下，模型的泛化能力可能受到限制。此外，该框架的计算复杂度较高，训练时间较长，可能不适用于实时应用场景。未来的研究可以在优化自训练策略、探索更高效的模型结构以及扩展到更多低资源语言等方向进行扩展。
深度分析
研究背景
网络欺凌是指通过数字渠道传播侮辱性、威胁性或贬低性内容的行为。与传统欺凌相比，网络欺凌不受时间或地点限制，通常匿名发生，并在平台间广泛传播，对受害者造成更大的心理伤害。近年来，网络欺凌的多语言性质日益显著，用户生成内容的多样性增加了检测系统在多语言场景下的需求。此外，在线滥用行为通常涉及侮辱、歧视和威胁等重叠形式，这对二元或单标签分类器提出了重大挑战。早期的研究主要集中在英语单语言数据上，采用基于规则的方法和传统的机器学习模型。然而，这些方法在捕捉语义细微差别、上下文依赖性和隐性攻击方面表现有限，尤其是在跨域场景中。
核心问题
当前的网络欺凌检测方法在多语言和多标签场景下面临挑战。现有方法通常假设单语言或单任务，这限制了它们在现实多语言和多标签场景中的有效性。此外，低资源语言中标注数据的稀缺性进一步限制了模型的泛化能力。网络欺凌文本通常包含多种重叠的攻击形式，使得单标签分类无法充分表示语义复杂性。因此，亟需一种能够在多语言和多标签场景下有效检测网络欺凌的解决方案。
核心创新
HMS-BERT的核心创新在于其混合多任务自训练框架：
- �� 结合多任务学习和自训练策略：通过同时优化多标签滥用分类任务和三类主分类任务，提高了模型的跨语言泛化能力。
- �� 引入基于置信度的伪标签迭代自训练策略：通过生成高质量的伪标签，促进了跨语言知识转移，特别是在低资源语言中的应用。
- �� 融合上下文表示和手工设计的语言特征：增强了模型对语义细微差别和隐性攻击的检测能力。
方法详解
HMS-BERT的实现包括以下关键步骤：
- �� 数据预处理：对多源数据集进行清洗和标准化，确保多标签注释的一致性。
- �� 输入表示：将输入文本转换为多语言BERT编码的上下文语义和手工设计的词汇特征流。
- �� 语义编码：通过多语言BERT的12层Transformer编码器获取句子级表示。
- �� 特征增强：通过dropout层和密集层处理手工特征，然后与BERT表示融合。
- �� 分类：使用sigmoid激活的全连接层进行多标签任务预测，使用softmax激活的全连接层进行三类主任务分类。
- �� 自训练优化：通过迭代自训练循环，利用未标注数据生成高置信度伪标签，增强模型的鲁棒性和泛化能力。
实验设计
实验设计包括在四个公共数据集上的评估：HateXplain、Cyberbullying Classification、SCCDUser和SCCDComment。使用HateXplain作为多标签分类任务的主要训练资源，其余三个数据集用于伪标签生成和跨语言评估。实验采用宏F1得分、准确率、MCC等指标进行评估，并进行消融研究以验证各组件的有效性。
结果分析
实验结果表明，HMS-BERT在多标签任务上的宏F1得分高达0.9847，在主分类任务上的准确率达到0.6775。与基线模型相比，HMS-BERT在多语言场景下表现出色，特别是在低资源语言中的应用。消融研究验证了手工特征和自训练机制对模型性能的提升具有重要作用。
应用场景
HMS-BERT可应用于多语言网络平台的实时网络欺凌检测，特别是在低资源语言环境中。该框架的设计使其能够有效处理多语言和多标签场景，为社交媒体平台提供更全面的滥用检测解决方案。
局限与展望
尽管HMS-BERT在多语言和多标签场景下表现出色，但在处理极端不平衡的数据集时可能表现不佳。此外，该框架的计算复杂度较高，训练时间较长，可能不适用于实时应用场景。未来的研究可以在优化自训练策略、探索更高效的模型结构以及扩展到更多低资源语言等方向进行扩展。
通俗解读 非专业人士也能看懂
想象一下，你在一个大型的国际学校上学，这里有来自不同国家的学生，他们说着不同的语言。学校想要确保每个学生都能在一个安全的环境中学习，所以他们决定开发一个系统来检测任何形式的欺凌行为。这个系统不仅需要理解不同语言的文字，还要识别出不同类型的欺凌，比如侮辱、威胁或歧视。
HMS-BERT就像是这个学校的超级侦探，它能够同时处理多种语言，并识别出各种欺凌行为。它就像一个聪明的老师，能够理解学生们在不同语言中使用的词汇和表达方式。为了做到这一点，HMS-BERT使用了一种特别的训练方法，叫做自训练。就像老师在课堂上教学生一样，HMS-BERT通过不断学习和更新自己的知识来提高自己的能力。
这个系统还使用了一些特别的技巧，比如结合上下文信息和手工设计的特征，就像老师会注意到学生的语气和表情一样。通过这种方式，HMS-BERT能够更准确地识别出欺凌行为，即使是在那些不常见的语言中。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！想象一下，你在玩一个超级酷的多人在线游戏，里面有来自世界各地的玩家。你们都在用不同的语言聊天，但有时候会遇到一些不友好的玩家，他们可能会用语言攻击别人。为了让游戏环境更友好，游戏公司决定开发一个超级智能的系统来检测这些不友好的行为。
这个系统叫做HMS-BERT，它就像游戏里的超级英雄，能够理解多种语言，并识别出各种不友好的行为。它不仅能听懂你说的每一句话，还能判断这些话是不是在欺负别人。就像你在游戏里升级角色一样，HMS-BERT也会通过自我训练不断提升自己的能力。
HMS-BERT就像一个聪明的游戏管理员，它能识别出那些用不同语言说出的不友好话语。即使有些玩家用的是不常见的语言，HMS-BERT也能通过它的超级技能来识别这些行为。这样一来，大家就能在一个更安全、更友好的游戏环境中玩耍啦！
术语表
HMS-BERT (混合多任务自训练BERT)
一种用于多语言和多标签网络欺凌检测的框架，结合了多任务学习和自训练策略。
HMS-BERT是本文提出的核心方法，用于处理多语言和多标签场景。
多语言BERT (mBERT)
一种预训练的语言模型，能够处理多种语言的文本，支持跨语言的语义表示。
mBERT是HMS-BERT的基础模型，用于生成上下文语义表示。
自训练 (Self-Training)
一种机器学习策略，通过使用未标注数据生成伪标签来提高模型的泛化能力。
HMS-BERT通过自训练策略来促进跨语言知识转移。
伪标签 (Pseudo-Label)
由模型生成的未标注数据的标签，用于自训练过程中的模型更新。
HMS-BERT使用伪标签来增强低资源语言的检测能力。
多任务学习 (Multi-Task Learning)
一种学习策略，通过同时优化多个相关任务来提高模型的整体性能。
HMS-BERT通过多任务学习同时优化多标签和主分类任务。
宏F1得分 (Macro F1-Score)
一种评估多标签分类模型性能的指标，考虑了每个标签的精确率和召回率。
HMS-BERT在多标签任务上的宏F1得分高达0.9847。
手工特征 (Handcrafted Features)
由人工设计的特征，用于增强模型对特定任务的理解能力。
HMS-BERT结合了手工特征和上下文表示来提高检测准确性。
跨语言知识转移 (Cross-Lingual Knowledge Transfer)
通过在一种语言中学习到的知识来提高模型在另一种语言中的性能。
HMS-BERT通过自训练策略实现跨语言知识转移。
消融研究 (Ablation Study)
一种实验方法，通过移除模型的某些组件来评估其对整体性能的影响。
消融研究验证了HMS-BERT各个组件的有效性。
主分类任务 (Main Classification Task)
HMS-BERT中的一个任务，负责对文本进行三类分类（正常、冒犯、仇恨）。
主分类任务的准确率达到0.6775。
开放问题 这项研究留下的未解疑问
- 1 如何在极端不平衡的数据集中提高HMS-BERT的泛化能力？当前方法在处理样本极少的类别时可能表现不佳，需要探索新的策略来增强模型的鲁棒性。
- 2 在实时应用场景中，如何降低HMS-BERT的计算复杂度？现有框架的计算成本较高，训练时间较长，限制了其在实时检测中的应用。
- 3 如何在更多低资源语言中验证HMS-BERT的广泛适用性？需要扩展研究以涵盖更多语言，验证其在不同文化背景下的有效性。
- 4 如何提高伪标签的质量以进一步优化自训练策略？伪标签的准确性直接影响模型的训练效果，需要探索更高效的生成方法。
- 5 在特定文化背景下，如何设计更有效的手工特征？现有特征可能无法完全捕捉某些语言的细微差异，需要针对性地进行优化。
应用场景
近期应用
社交媒体平台
HMS-BERT可用于社交媒体平台的实时网络欺凌检测，帮助平台管理者快速识别和处理不当内容，提升用户体验。
教育机构
教育机构可以利用HMS-BERT监控在线学习平台中的学生互动，及时发现并干预潜在的欺凌行为，维护健康的学习环境。
在线游戏
在线游戏公司可以部署HMS-BERT来检测游戏中的不当言论，确保玩家在一个友好和安全的环境中进行游戏。
远期愿景
跨文化交流
HMS-BERT的多语言能力可以促进跨文化交流，帮助不同语言背景的人们更好地理解和沟通，减少误解和冲突。
全球网络安全
HMS-BERT可以作为全球网络安全的一部分，帮助各国政府和组织检测和防范网络欺凌和仇恨言论，维护网络空间的和谐与安全。
原文摘要
Cyberbullying on social media is inherently multilingual and multi-faceted, where abusive behaviors often overlap across multiple categories. Existing methods are commonly limited by monolingual assumptions or single-task formulations, which restrict their effectiveness in realistic multilingual and multi-label scenarios. In this paper, we propose HMS-BERT, a hybrid multi-task self-training framework for multilingual and multi-label cyberbullying detection. Built upon a pretrained multilingual BERT backbone, HMS-BERT integrates contextual representations with handcrafted linguistic features and jointly optimizes a fine-grained multi-label abuse classification task and a three-class main classification task. To address labeled data scarcity in low-resource languages, an iterative self-training strategy with confidence-based pseudo-labeling is introduced to facilitate cross-lingual knowledge transfer. Experiments on four public datasets demonstrate that HMS-BERT achieves strong performance, attaining a macro F1-score of up to 0.9847 on the multi-label task and an accuracy of 0.6775 on the main classification task. Ablation studies further verify the effectiveness of the proposed components.
参考文献 (20)
mBERT-GRU multilingual deep learning framework for hate speech detection in social media
Pardeep Singh, N. Singh, Monika 等
MC-BERT4HATE: Hate Speech Detection using Multi-channel BERT for Different Languages and Translations
Hajung Sohn, Hyunju Lee
Cyberbullying: Causes, Consequences, and Coping Strategies
Nicole L. Weber, William V. Pelfrey
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Jacob Devlin, Ming-Wei Chang, Kenton Lee 等
Bias and Cyberbullying Detection and Data Generation Using Transformer Artificial Intelligence Models and Top Large Language Models
Y. Kumar, Kuan Huang, Á. Pérez 等
Language-agnostic BERT Sentence Embedding
Fangxiaoyu Feng, Yinfei Yang, Daniel Matthew Cer 等
MTBullyGNN: A Graph Neural Network-Based Multitask Framework for Cyberbullying Detection
Krishanu Maity, Tanmay Sen, S. Saha 等
DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
Victor Sanh, Lysandre Debut, Julien Chaumond 等
A Machine Learning Approach to Cyberbullying Detection in Arabic Tweets
Dhiaa Musleh, Atta Rahman, Mohammed Abbas Alkherallah 等
SCCD: A Session-based Dataset for Chinese Cyberbullying Detection
Qingpo Yang, Yakai Chen, Zihui Xu 等
Unsupervised Cross-lingual Representation Learning at Scale
Alexis Conneau, Kartikay Khandelwal, Naman Goyal 等
Multi-Task Self-Training for Learning General Representations
Golnaz Ghiasi, Barret Zoph, E. D. Cubuk 等
Label prompt for multi-label text classification
Rui Song, Zelong Liu, Xingbing Chen 等
Exhaustive Study into Machine Learning and Deep Learning Methods for Multilingual Cyberbullying Detection in Bangla and Chittagonian Texts
Tanjim Mahmud, Michal Ptaszynski, Fumito Masui
Hybrid Fake News Detection Model: Bagging and Logistic Regression Approach
Shivam Kumar, N. Tiwari, Abhishek Bajpai 等
Multimodal hate speech detection: a novel deep learning framework for multilingual text and images
Furqan Khan Saddozai, Sahar K. Badri, Daniyal M. Alghazzawi 等
Cyberbullying, Mental Health, and Violence in Adolescents and Associations With Sex and Race: Data From the 2015 Youth Risk Behavior Survey
Mohammed Alhajji, S. Bass, Ting Dai
From Words to Wounds: Cyberbullying and Its Influence on Mental Health Across the Lifespan
S. von Humboldt, Gail Low, Isabel Leal