Dettato 是 KobiMusic 开源的音乐转录模型,可以在自己的电脑(CPU、GPU)上运行。你只需输入一段音频,它就能生成一个 MIDI 文件,每个乐器对应一个音轨,外加一个鼓组音轨。
将 MP3/WAV 转换为 MIDI
MP3 和 WAV 里存的是录下来的声音。MIDI 更像一份演奏指令,记录着哪个音在什么时候响、响多久、弹多重。
电脑读到这些指令,再用你选的乐器音源把它演奏出来。

上图中,上半部分是音频文件的波形图,也就是普通音频编辑软件里看到的样子。下半部分是 MIDI 钢琴卷帘:方块越高,音越高;方块从哪里开始、拉多长,对应音符什么时候响、响多久。蓝色是旋律,紫色是低音。
举个例子,你想学弹一首曲子开头那几秒,就可以在钢琴卷帘上看音高和顺序,放慢播放,跟着原曲逐个核对。觉得某个音太高?把对应的方块往下拖就行。往左拖可以让它早点响,拉长右边缘可以让它多响一会儿。
Dettato 工作原理
Dettato 由四个模型串联而成,合计 2810 万参数,一条命令即可运行。后面的模型会逐个音符读取转录模型的概率图和隐藏状态,依次完成:音符转录、音符校正、乐器分轨、鼓点识别。

需要注意,输入录音的采样率须达到 40 kHz。
如何使用?
安装比较简单,一行命令就行,也可以交给 AI 处理。运行同样只需一行:
pip install git+https://github.com/kobimusic/dettato
dettato song.mp3 -o out/
第一次运行会从 Hugging Face 下载模型。转换完成后,out 文件夹里会有 song.mid,以及记录轨道、音符数量等信息的 song.json。遇到读不了的 MP3,可以安装 FFmpeg 再试。
四种模型
这四个模型文件的尺寸都不大,几十 MB 级别:
| 模型 |
参数 |
它的作用 |
| kobimusic/dettato |
15.3M |
音频注释:88 个琴键的起始、结束和音高,每个键有两个声部 |
| kobimusic/dettato-evidence |
4.9M |
利用转录模型自身的证据修正音符:删掉错误的音符,修正起音和结尾,补上遗漏的音符 |
| kobimusic/dettato-grouper |
2.9M(290 万) |
将每个音符放入乐器轨道并命名乐器 |
| kobimusic/dettato-drums |
5.0M |
识别 General MIDI 鼓键上的鼓击声、鼓组和管弦打击乐器 |
什么电脑能跑 Dettato?
Dettato 需要 Python 3.10 或更新版本和 PyTorch 2.2 或更新版本。普通 Windows 或 Linux 电脑用 CPU 就能跑。开发者用笔记本的 CPU 转录 15 秒音频,花了 87 秒,其中包含模型加载时间。
作为对比,用 RTX 5060(8 GB 显存)转录一首 4 分钟的歌,约用 15 秒,显存峰值低于 4 GB。
M 系列 Mac 可以安装 PyTorch,用下面的命令指定 CPU 运行:
dettato song.mp3 -o out/ --device cpu
Mac 上实际要跑多久,取决于电脑配置和录音长度。
获取
喜欢音乐的朋友不妨试试。这是一个硬件门槛极低的人工智能音乐模型,想了解更多类似的开源实战项目,也可以去看看。
|