核心发现
方法论
本研究采用了基于对比学习的BERT模型，通过多种数据增强方法来检测Lakh MIDI数据集中的重复项。使用LMD-clean作为基准测试集，评估了规则基础方法和现有的符号音乐检索模型，并提出了三种不同版本的过滤列表。
关键结果
- 在最保守的设置中，过滤掉了38,134个样本，占178,561个文件的21.4%。
- CLaMP3模型在nDCG和MRR指标上表现最佳，分别达到0.697和0.709。
- CAugBERT模型在分类任务中表现优异，达到最高的F1分数。
研究意义
本研究在音乐信息检索领域具有重要意义，解决了数据集重复问题，提升了模型训练的可靠性。通过去除重复数据，避免了训练、验证和测试集之间的数据泄漏，提高了模型评估的准确性。
技术贡献
提出了一种结合对比学习和多种数据增强的BERT模型，能够有效检测大规模符号音乐数据集中的重复项。与现有方法相比，该方法在去重任务中表现出色，尤其是在处理硬重复时。
新颖性
首次在符号音乐领域中应用对比学习BERT模型进行数据集去重，与传统的规则基础方法相比，提供了更高效的解决方案。
局限性
- 该方法在检测软重复时存在挑战，尤其是不同编曲风格的重复。
- 需要大量计算资源进行模型训练。
未来方向
未来可以探索更复杂的数据增强策略，以提高软重复检测的准确性，并在其他符号音乐数据集上验证该方法的通用性。
AI 总览摘要
在符号音乐领域，大规模数据集对于训练深度学习模型至关重要。然而，由于数据集通常通过网络抓取而来，重复数据的问题不可避免。Lakh MIDI数据集是该领域最大的公共资源之一，但其重复数据问题一直未被充分解决。
本研究通过使用对比学习的BERT模型，结合多种数据增强方法，提出了一种有效的去重方案。在LMD-clean基准测试集上，评估了多种去重方法，包括规则基础方法和现有的符号音乐检索模型。结果表明，CAugBERT模型在去重任务中表现优异，尤其是在处理硬重复时。
通过去除重复数据，本研究提高了模型训练和评估的可靠性，避免了数据泄漏带来的不准确性。这一研究不仅在学术界具有重要意义，也为音乐信息检索领域的实际应用提供了新的思路。
深度分析
研究背景
随着数据驱动方法的普及，大规模数据集在深度学习模型训练中的重要性日益增加。Lakh MIDI数据集是符号音乐领域的重要资源，但其重复数据问题一直未被充分解决。这些重复数据可能来自用户的多次编曲或简单编辑后的元数据变化。
核心问题
数据集重复问题导致训练、验证和测试集之间的数据泄漏，影响模型评估的准确性。尤其在音乐生成领域，主观评估成本高，客观评估指标往往不足以全面捕捉生成音乐的质量。
核心创新
本研究首次在符号音乐领域中应用对比学习BERT模型进行数据集去重。通过多种数据增强方法，提高了重复检测的准确性，尤其是在处理硬重复时表现出色。
方法详解
- �� 使用LMD-clean作为基准测试集
- �� 评估规则基础方法和现有符号音乐检索模型
- �� 训练对比学习BERT模型，应用多种数据增强
- �� 提出三种不同版本的过滤列表
实验设计
实验使用LMD-clean作为基准测试集，评估了多种去重方法，包括规则基础方法和现有的符号音乐检索模型。关键指标包括nDCG和MRR，用于评估模型的重复检测能力。
结果分析
CAugBERT模型在分类任务中表现优异，达到最高的F1分数。CLaMP3模型在nDCG和MRR指标上表现最佳，分别达到0.697和0.709。
应用场景
本研究的去重方法可用于提高符号音乐生成模型的训练和评估可靠性，避免数据泄漏带来的不准确性。
局限与展望
该方法在检测软重复时存在挑战，尤其是不同编曲风格的重复。需要大量计算资源进行模型训练。
通俗解读 非专业人士也能看懂
想象一个音乐图书馆，里面有很多重复的乐谱。这些乐谱可能是因为不同的人对同一首歌进行了不同的编曲，或者只是简单地修改了一些细节。我们的任务就是找到这些重复的乐谱，并把它们从图书馆中移除。我们使用了一种聪明的方法，类似于给每个乐谱打上一个独特的标签，然后用这些标签来识别哪些乐谱是重复的。
简单解释 像给14岁少年讲一样
想象一下你有一个音乐库，里面有很多重复的歌曲。这些歌曲可能是因为不同的人对同一首歌进行了不同的编曲，或者只是简单地修改了一些细节。我们的任务就是找到这些重复的歌曲，并把它们从库中移除。我们使用了一种聪明的方法，类似于给每首歌打上一个独特的标签，然后用这些标签来识别哪些歌曲是重复的。
术语表
对比学习 (Contrastive Learning)
一种机器学习方法，通过比较样本之间的相似性来学习数据表示。
用于训练BERT模型以检测重复数据。
BERT
一种用于自然语言处理的预训练模型，能够捕捉上下文信息。
用于符号音乐数据集的重复检测。
Lakh MIDI数据集
一个包含大量MIDI文件的符号音乐数据集。
研究中用于评估去重方法的数据集。
nDCG
一种用于评估检索系统性能的指标，考虑结果的相关性和排序。
用于评估去重方法的效果。
MRR
平均倒数排名，用于评估检索系统的准确性。
用于评估去重方法的效果。
开放问题 这项研究留下的未解疑问
- 1 如何有效检测软重复，尤其是不同编曲风格的重复，目前的方法在这方面仍有不足。
应用场景
近期应用
符号音乐生成
提高生成模型的训练和评估可靠性，避免数据泄漏带来的不准确性。
远期愿景
音乐信息检索
为音乐信息检索领域的实际应用提供新的思路，提升检索系统的性能。
原文摘要
A large-scale dataset is essential for training a well-generalized deep-learning model. Most such datasets are collected via scraping from various internet sources, inevitably introducing duplicated data. In the symbolic music domain, these duplicates often come from multiple user arrangements and metadata changes after simple editing. However, despite critical issues such as unreliable training evaluation from data leakage during random splitting, dataset duplication has not been extensively addressed in the MIR community. This study investigates the dataset duplication issues regarding Lakh MIDI Dataset (LMD), one of the largest publicly available sources in the symbolic music domain. To find and evaluate the best retrieval method for duplicated data, we employed the Clean MIDI subset of the LMD as a benchmark test set, in which different versions of the same songs are grouped together. We first evaluated rule-based approaches and previous symbolic music retrieval models for de-duplication and also investigated with a contrastive learning-based BERT model with various augmentations to find duplicate files. As a result, we propose three different versions of the filtered list of LMD, which filters out at least 38,134 samples in the most conservative settings among 178,561 files.