核心发现
方法论
本文采用Transformer架构，比较四种不同的符号化策略（TS+Dur、TS+NOff、Pos+Dur、Pos+NOff），在音乐生成、分类和序列表示任务中评估性能。通过调整时间和持续时间的表达方式，结合不同的任务目标，分析模型在预测准确性、表示能力和生成质量上的差异。实验使用GiantMIDI、POP909和EMOPIA数据集，结合预测错误率、分类准确率和序列嵌入的空间分布等指标，系统评估符号化策略的优劣。
关键结果
- 显式时间移位（TimeShift）与持续时间（Duration）结合的策略在生成任务中表现优越，预测错误率最低，达0.001（TS+NOff）和0.002（TS+Dur），在分类任务中也表现出较高准确率（约97.3%）。
- 位置（Position）表示虽在预测类型错误上表现优异，但在时间连续性和音符持续性方面存在不足，导致生成的音符位置分布不均，出现意外休止符。
- 序列表示任务中，Pos+Dur策略的嵌入空间更均匀，表现出更高的空间分布均匀性（内在维度更高，约177），表明其更适合捕捉音乐的全局结构。
研究意义
本研究揭示了符号化策略对深度学习音乐模型性能的影响，强调显式时间和持续时间信息在不同任务中的作用，为未来音乐生成、分类和表示学习提供设计指导。这对于提升音乐AI的理解能力和生成质量具有重要意义，推动符号音乐建模技术的理论发展与实际应用。
技术贡献
论文系统比较了四种时间与持续时间的符号化方案，结合具体算法（如Byte Pair Encoding）优化词汇表，提出了结合时间移位与持续时间的策略，显著降低预测错误率。通过引入预测错误分析指标（TSE），提供了量化模型预测可靠性的工具，增强了模型的可解释性。实验验证了不同符号化方案在多任务中的适用性，为符号音乐建模提供了实证依据。
新颖性
首次系统性比较时间与音符持续时间两大维度的符号化策略在多任务中的表现，明确了显式时间信息在生成和分类中的优势。提出结合时间移位和持续时间的符号化方案，结合错误率分析，为音乐符号化设计提供了新思路，填补了相关研究中缺乏全面实证分析的空白。
局限性
- 实验主要集中在符号化策略的比较，未充分考虑多轨、多模态等复杂场景的适应性，未来需扩展到更复杂的音乐结构。
- 模型训练依赖大规模数据和计算资源，实际应用中存在计算成本较高的问题，需优化模型效率。
- 符号化策略虽在特定任务中表现优异，但在音乐创作的多样性和表达力方面仍有待提升，未来应结合语义理解进行优化。
未来方向
未来将探索多轨、多模态符号化方案，结合语义信息提升模型理解能力。同时，研究更高效的符号化与解码机制，适应实时生成和交互场景。此外，将扩展到音乐转录和合成任务，验证符号化策略的通用性与鲁棒性，为音乐AI的多任务学习提供更全面的解决方案。
AI 总览摘要
本研究深入探讨了符号音乐的时间与音符持续时间标记策略对深度学习模型性能的影响。随着Transformer模型在音乐生成、分类和序列表示中的广泛应用，如何有效地对音乐进行符号化成为关键问题。传统方法多采用隐式或简单的符号化方案，难以充分表达音乐中的时间关系与持续信息，限制了模型的推理能力与生成质量。
本文系统比较了四种符号化策略，结合时间移位（TimeShift）与位置（Position）以及持续时间（Duration）与音符偏移（NoteOff）两大维度，设计了多种组合方案。通过在GiantMIDI、POP909和EMOPIA数据集上的多任务实验，评估了不同方案在音乐生成、作曲家分类和情感识别中的表现。结果显示，显式时间移位与持续时间的结合（TS+Dur）在生成任务中表现最佳，预测错误率最低（约0.001），分类准确率达97%以上。而位置表示虽在类型错误方面表现优异，但在连续性和节奏建模上存在不足，导致生成的音符位置分布不均，出现意外休止。
在序列表示任务中，Pos+Dur方案的嵌入空间更均匀，空间维度更高，表明其更适合捕捉音乐的全局结构。这些发现强调了符号化策略在不同任务中的差异性，为未来音乐符号化设计提供了理论指导。研究还引入了预测错误指标（TSE）作为模型预测可靠性的量化工具，增强了模型的可解释性。
总体而言，本工作揭示了显式时间和持续时间信息在深度学习音乐建模中的重要作用，为提升音乐生成、分类和表示的性能提供了实证依据。未来，将结合多轨、多模态信息，优化符号化方案，推动音乐AI的多任务学习与应用发展。
深度解读
原文摘要
Symbolic music is widely used in various deep learning tasks, including generation, transcription, synthesis, and Music Information Retrieval (MIR). It is mostly employed with discrete models like Transformers, which require music to be tokenized, i.e., formatted into sequences of distinct elements called tokens. Tokenization can be performed in different ways. As Transformer can struggle at reasoning, but capture more easily explicit information, it is important to study how the way the information is represented for such model impact their performances. In this work, we analyze the common tokenization methods and experiment with time and note duration representations. We compare the performances of these two impactful criteria on several tasks, including composer and emotion classification, music generation, and sequence representation learning. We demonstrate that explicit information leads to better results depending on the task.
参考文献 (20)
Byte Pair Encoding for Symbolic Music
Nathan Fradet, Jean-Pierre Briot, Fabien Chhel 等
Pop Music Transformer: Beat-based Modeling and Generation of Expressive Pop Piano Compositions
Yu-Siang Huang, Yi-Hsuan Yang
GiantMIDI-Piano: A large-scale MIDI dataset for classical piano music
Qiuqiang Kong, Bochen Li, Jitong Chen 等
LakhNES: Improving Multi-instrumental Music Generation with Cross-domain Pre-training
Chris Donahue, H. H. Mao, Yiting Li 等
On the evaluation of generative models in music
Li-Chia Yang, Alexander Lerch
POP909: A Pop-Song Dataset for Music Arrangement Generation
Ziyu Wang, K. Chen, Junyan Jiang 等
An Algorithm for Finding Intrinsic Dimensionality of Data
K. Fukunaga, D. R. Olsen
FIGARO: Controllable Music Generation using Learned and Expert Features
Dimitri von Rütte, Luca Biggio, Yannic Kilcher 等
Reasoning with Transformer-based Models: Deep Learning, but Shallow Reasoning
Chadi Helwe, C. Clavel, Fabian M. Suchanek
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Jacob Devlin, Ming-Wei Chang, Kenton Lee 等
Folk music style modelling by recurrent neural networks with long short term memory units
Bob L. Sturm, J. F. Santos, I. Korshunova
This time with feeling: learning expressive musical performance
Sageev Oore, Ian Simon, S. Dieleman 等
Estimating the effective dimension of large biological datasets using Fisher separability analysis
Luca Albergante, Jonathan Bac, A. Zinovyev
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Nils Reimers, Iryna Gurevych
ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
O. Khattab, M. Zaharia
Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere
Tongzhou Wang, Phillip Isola
被引用 (11)
How Far Should Tokenization Go? Predictive Effectiveness and Relational Losslessness
Inspecting Deep Learning Techniques for Music Transcription
On the de-duplication of the Lakh MIDI dataset
Moonbeam: A MIDI Foundation Model Using Both Absolute and Relative Music Attributes
Evaluating Interval-based Tokenization for Pitch Representation in Symbolic Music Analysis
MidiTok Visualizer: a tool for visualization and analysis of tokenized MIDI symbolic music
Do we need more complex representations for structure? A comparison of note duration representation for Music Transformers
Automated Thematic Composer Classification Using Segment Retrieval
Natural Language Processing Methods for Symbolic Music Generation and Information Retrieval: A Survey
Quantifying Repetition in Symbolic Music using Lempel-Ziv Compression
Byte Pair Encoding for Symbolic Music