核心发现
方法论
Enemray模型采用分层选择的持续预训练和监督后训练，结合Hassaniya语言特定参数更新和指令调优参数空间转移。使用Gemma 4 E4B架构，模型在Hassaniya文本上进行语言更新，并通过监督学习发展对话、文化、文学和跨语言行为。
关键结果
- 在英-哈翻译中，Enemray在比对的开放和专有模型中表现最佳，Mauritanian翻译错误检测得分最高，同时保留了数学推理、知识、代码生成和函数调用的能力。
- Enemray在Hassaniya语言的自然文本和多任务对话中表现优异，超越现有资源。
- 通过分层选择的持续预训练，模型在早期和晚期层进行语言更新，减少可训练参数。
研究意义
Enemray的研究显著提升了Hassaniya语言在自然语言处理中的地位，弥补了低资源语言在多语言模型中的不足。该模型不仅增强了Hassaniya的语言能力，还保留了多语言推理和安全性，推动了多语言模型在低资源语言中的应用。
技术贡献
Enemray通过分层选择的持续预训练和监督后训练，将Hassaniya语言能力转移到指令调优模型中，提出了新的参数空间组合方法，显著提升了低资源语言的建模能力。
新颖性
Enemray首次将Hassaniya语言能力与多语言推理结合，通过分层选择的持续预训练实现语言更新，开创了低资源语言模型的新方向。
局限性
- 模型在处理极端低资源情况下的表现仍需提升，尤其是在更复杂的对话场景中。
- 对Hassaniya以外的方言支持有限，需进一步扩展。
未来方向
未来工作可包括扩展至其他低资源语言，优化模型在复杂对话场景中的表现，以及探索更多跨语言应用。
AI 总览摘要
Enemray是一个专注于Hassaniya语言的模型，旨在提升其在多语言环境中的应用能力。现有的解决方案在处理低资源语言时常常面临数据不足和模型能力受限的问题。Enemray通过分层选择的持续预训练和监督后训练，成功地将Hassaniya语言能力与多语言推理结合。
该模型采用Gemma 4 E4B架构，通过在自然Hassaniya文本上的语言更新，实现了语言能力的显著提升。实验结果显示，Enemray在英-哈翻译和Mauritanian翻译错误检测中表现优异，超越了现有的开放和专有模型。
尽管Enemray在Hassaniya语言建模中取得了显著进展，但在处理极端低资源情况下的表现仍需提升。未来的研究方向包括扩展至其他低资源语言，优化复杂对话场景中的表现，以及探索更多跨语言应用。
深度分析
研究背景
Hassaniya是一种西部阿拉伯语变体，主要在毛里塔尼亚使用，具有丰富的口头和文学传统。然而，该语言在计算资源中代表性不足，现有的资源分散在情感数据、平行语料库和文化指令等不同任务中。
核心问题
Hassaniya语言在自然语言处理中的应用受限于数据稀缺和模型能力不足。现有的多语言模型在处理低资源语言时常常面临稳定性和可塑性问题，难以同时保留多语言推理能力。
核心创新
Enemray通过分层选择的持续预训练和监督后训练，将Hassaniya语言能力与多语言推理结合。该方法在早期和晚期层进行语言更新，减少可训练参数，并通过监督学习发展对话、文化、文学和跨语言行为。
方法详解
- �� 使用Gemma 4 E4B架构进行分层选择的持续预训练。
- �� 在自然Hassaniya文本上进行语言更新。
- �� 将语言更新转移到指令调优模型中。
- �� 通过监督学习发展对话、文化、文学和跨语言行为。
实验设计
实验使用了自然Hassaniya文本和多任务对话数据集，评估模型在英-哈翻译和Mauritanian翻译错误检测中的表现。关键超参数包括学习率和批量大小。
结果分析
Enemray在英-哈翻译和Mauritanian翻译错误检测中表现优异，超越了现有的开放和专有模型，同时保留了数学推理、知识、代码生成和函数调用的能力。
应用场景
Enemray可用于提升Hassaniya语言在多语言环境中的应用能力，适用于翻译、对话系统和文化知识传播等场景。
局限与展望
模型在处理极端低资源情况下的表现仍需提升，尤其是在更复杂的对话场景中。此外，对Hassaniya以外的方言支持有限，需进一步扩展。
通俗解读 非专业人士也能看懂
想象你在学习一门新的语言，比如Hassaniya。Enemray就像一个超级语言老师，它不仅教你如何说这门语言，还教你如何用它进行复杂的对话和翻译。它通过不断学习和更新自己的知识，确保你在使用这门语言时不会出错。就像一个智能助手，它可以帮助你在不同的场合下使用Hassaniya，无论是日常对话还是专业翻译。
简单解释 像给14岁少年讲一样
嘿，小伙伴！你知道吗？Enemray就像一个超酷的语言机器人，它可以帮助你学习一种叫做Hassaniya的语言。这种语言在毛里塔尼亚很流行，但在网上的资源很少。Enemray通过不断学习和更新自己，变得越来越聪明。它不仅能帮你翻译，还能教你用这种语言聊天和写作。是不是很酷？
术语表
持续预训练 (Continual Pretraining)
一种在特定语言上进行额外训练的方法，以增强模型的语言能力。
用于在Hassaniya文本上进行语言更新。
指令调优 (Instruction Tuning)
通过监督学习调整模型参数，使其在特定任务上表现更好。
用于发展对话、文化和跨语言行为。
参数空间组合 (Parameter-Space Composition)
将语言更新转移到指令调优模型中的方法。
用于将Hassaniya语言能力转移到多语言模型中。
Gemma 4 E4B
一种多模态模型架构，用于支持文本、图像和音频输入。
Enemray的基础架构。
低资源语言 (Low-Resource Language)
在计算资源中代表性不足的语言。
Hassaniya是一种低资源语言。
开放问题 这项研究留下的未解疑问
- 1 如何在极端低资源情况下提升模型表现？
- 2 如何扩展模型对其他方言的支持？
应用场景
近期应用
翻译服务
Enemray可用于提升Hassaniya语言的翻译能力，适用于需要多语言支持的企业和组织。
远期愿景
文化传播
通过增强Hassaniya语言能力，促进文化交流和知识传播，推动多语言社会的发展。
原文摘要
We introduce Enemray, a Hassaniya-centric language model that enables general-purpose interaction in Hassaniya. Enemray is trained around a stability--plasticity objective: acquire strong Hassaniya linguistic and cultural competence while preserving the general reasoning, multilingual, instruction-following, and safety behaviors of a capable instruction-tuned model. The development pipeline separates language acquisition from behavioral specialization. A separately assembled continual-pretraining corpus provides broad exposure to natural Hassaniya and Mauritanian text; layer-selective continual pretraining learns a compact language-specific parameter update; that update is transferred into the instruction-tuned parameter space; and supervised post-training develops conversational, cultural, literary, task-oriented, and cross-lingual behavior. The supervised corpus integrates selected public Hassaniya and Mauritanian resources with a substantially larger body of newly collected, reconstructed, curated, and constructed instruction data, while policy-generated replay provides a retention signal from the reference model's own behavior distribution. The resulting collection is substantially larger and broader in purpose than existing Hassaniya text resources. In evaluation, Enemray achieves the strongest English to Hassaniya translation among the compared open and proprietary models and the highest overall score on Mauritanian translation error detection, while retaining most of the general capabilities of its instruction-tuned base model on mathematical reasoning, knowledge, code generation, and function calling. This report describes the motivation, data construction, model design, training methodology, and evaluation of Enemray.