核心发现
方法论
研究使用预训练大型语言模型生成伪自然语言音乐描述，并通过MetaScore数据集训练文本和标签控制的音乐生成模型。模型包括MetaScore Transformer-Text和MetaScore Transformer-Tags。
关键结果
- 在听觉测试中，文本和标签模型均优于基线模型，文本模型在自然语言交互方面表现更佳。
- 与Text2MIDI相比，MST-Text在音高类熵和音阶一致性上表现更接近真实值。
- 标签模型在一致性和编排上表现优异，文本模型在整体质量上得分最高。
研究意义
该研究通过MetaScore数据集和LLM生成的伪自然语言描述，显著提升了符号音乐生成的可控性和自然语言交互能力，推动了音乐生成领域的发展。
技术贡献
提出了新的音乐表示方法，支持多种音乐属性控制，并通过LLM生成自然语言描述，实现了高质量的文本到音乐生成。
新颖性
首次使用LLM生成音乐描述，结合MetaScore数据集进行符号音乐生成，提供了更自然的用户交互界面。
局限性
- 模型在处理复杂自由文本输入时表现有限，可能导致生成音乐的质量下降。
- 数据集中的自动生成标签可能不够准确，影响标签模型的表现。
未来方向
未来可探索更复杂的自由文本输入处理方法，以及改进自动标签生成的准确性。
AI 总览摘要
近年来，音频域文本到音乐生成模型取得了重大进展，但符号域音乐生成因缺乏大规模数据集而滞后。MetaScore数据集通过LLM生成伪自然语言描述，提供了丰富的音乐元数据。我们提出了两种模型，分别支持文本和标签控制的音乐生成。实验结果显示，这些模型在听觉测试中表现优异，尤其是文本模型在自然语言交互方面更具优势。尽管如此，模型在处理复杂文本输入时仍存在局限，未来研究将致力于改进这些方面。MetaScore数据集及其生成模型为符号音乐生成领域带来了新的可能性。
深度分析
研究背景
符号音乐生成系统能够生成可编辑的音乐格式，便于音乐家整合到创作流程中。然而，缺乏大规模公共符号音乐数据集限制了这一领域的发展。MetaScore数据集通过收集来自MuseScore论坛的音乐分数及其元数据，填补了这一空白。
核心问题
符号音乐生成面临的核心问题是缺乏大规模数据集支持复杂的音乐属性控制。现有方法难以提供自然语言交互界面，限制了用户体验。
核心创新
我们提出了MetaScore数据集，结合LLM生成的伪自然语言描述，支持文本和标签控制的音乐生成。通过新的音乐表示方法，实现了多种音乐属性的控制。
方法详解
- �� 使用LLM生成音乐描述
- �� 训练文本控制的MetaScore Transformer-Text模型
- �� 训练标签控制的MetaScore Transformer-Tags模型
- �� 提供多种音乐属性控制，包括乐器、风格、作曲家和复杂性
实验设计
实验使用MetaScore数据集进行训练，比较文本和标签模型与基线模型的表现。采用听觉测试评估模型在一致性、编排、依从性和整体质量上的表现。
结果分析
实验结果显示，文本和标签模型在听觉测试中均优于基线模型。文本模型在自然语言交互方面表现更佳，而标签模型在一致性和编排上表现优异。
应用场景
这些模型可用于音乐创作和教育，提供自然语言交互界面，便于用户根据需求生成音乐。
局限与展望
模型在处理复杂自由文本输入时表现有限，可能导致生成音乐的质量下降。数据集中的自动生成标签可能不够准确，影响标签模型的表现。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。MetaScore数据集就像一个大食材库，LLM生成的描述是食谱。我们的模型就像厨师，根据食谱选择食材，制作出符合你口味的音乐。文本模型就像一个能理解你口味的厨师，而标签模型则根据预设的食材选择来烹饪。
简单解释 像给14岁少年讲一样
嘿，想象一下你在玩游戏，MetaScore就像一个超级游戏库，LLM生成的描述是游戏攻略。我们的模型就像游戏角色，根据攻略选择武器和技能，打出你想要的音乐。文本模型就像一个能理解你想法的角色，而标签模型则根据预设的武器和技能来战斗。
术语表
LLM (大型语言模型)
一种能够理解和生成自然语言的机器学习模型。
用于生成音乐的自然语言描述。
MetaScore
一个包含丰富音乐元数据和伪自然语言描述的数据集。
用于训练音乐生成模型。
符号音乐
音乐的可编辑格式，便于用户进行进一步创作。
生成的音乐格式。
文本到音乐生成
根据自然语言输入生成音乐的过程。
模型的主要功能。
标签控制
通过预设标签控制音乐生成的过程。
模型的辅助功能。
开放问题 这项研究留下的未解疑问
- 1 如何提高模型处理复杂自由文本输入的能力？
- 2 如何改进自动标签生成的准确性？
应用场景
近期应用
音乐创作
音乐家可以使用模型生成符合特定风格和复杂性的音乐。
远期愿景
音乐教育
学生可以通过自然语言交互学习音乐创作。
原文摘要
Recent years have seen many audio-domain text-to-music generation models that rely on large amounts of text-audio pairs for training. However, symbolic-domain controllable music generation has lagged behind partly due to the lack of a large-scale symbolic music dataset with extensive metadata and captions. In this work, we present MetaScore, a new dataset consisting of 963K musical scores paired with rich metadata, including free-form user-annotated tags, collected from an online music forum. To approach text-to-music generation, We employ a pretrained large language model (LLM) to generate pseudo-natural language captions for music from its metadata tags. With the LLM-enhanced MetaScore, we train a text-conditioned music generation model that learns to generate symbolic music from the pseudo captions, allowing control of instruments, genre, composer, complexity and other free-form music descriptors. In addition, we train a tag-conditioned system that supports a predefined set of tags available in MetaScore. Our experimental results show that both the proposed text-to-music and tags-to-music models outperform a baseline text-to-music model in a listening test. While a concurrent work Text2MIDI also supports free-form text input, our models achieve comparable performance. Moreover, the text-to-music system offers a more natural interface than the tags-to-music model, as it allows users to provide free-form natural language prompts.