Transformer生成音乐 PyTorch权威测评

PyTorch生成式人工智能（29）——基于Transformer生成音乐

• • 0. 引言
  • 1. 音乐Transformer概述
    • 1.1 基于演奏的音乐表征
    • 1.2 音乐Transformer结构
    • 1.3 训练音乐Transformer的步骤
  • 2. 音乐片段分词处理
    • 2.1 获取训练数据
    • 2.2 MIDI文件分词
    • 2.3 准备训练样本
  • 3. 构建音乐生成Transformer
    • 3.1 音乐Transformer超参数设定
    • 3.2 搭建音乐Transformer模型
  • 4 训练与使用音乐Transformer
    • 4.1 训练音乐Transformer
    • 4.2 利用训练好的Transformer生成音乐
  • 总结
  • 系列链接

0. 引言

此前用MuseGAN将音乐视为类似图像的多维对象，成功生成了多音轨作品。这次换个方向——把音乐当作连续的事件序列，与自然语言处理思路一致。具体做法是构建一个类GPT的Transformer模型，让它基于已有的音符序列预测下一个音符。该模型包含2016万个参数，既能捕获整首曲子中音符间的长期依赖，又能将训练开销控制在可接受范围内。

训练数据来自Maestro钢琴音乐集。先将MIDI文件转成音符序列——对应NLP中的原始文本。然后，把音符序列切分成小片段，即“音乐事件”，类似NLP的词元（token）。神经网络只接受数字输入，因此需要为每个事件分配唯一的索引。这样，整段音乐就变成了索引序列，可直接送入模型。

训练完成后，该Transformer能创作出与训练集风格高度相似的逼真音乐。相比MuseGAN，一个显著区别是：通过调节温度参数可控制生成的随机性——温度高时音符跳跃更自由；温度低时输出更保守、更贴近训练数据。下图展示了一个生成示例。

来源：互联网