找回密码
立即注册
搜索
发回帖 发新帖

5393

积分

0

好友

685

主题
发表于 22 分钟前 | 查看: 6| 回复: 0

Dettato 是 KobiMusic 开源的音乐转录模型,可以在自己的电脑(CPU、GPU)上运行。你只需输入一段音频,它就能生成一个 MIDI 文件,每个乐器对应一个音轨,外加一个鼓组音轨。

将 MP3/WAV 转换为 MIDI

MP3 和 WAV 里存的是录下来的声音。MIDI 更像一份演奏指令,记录着哪个音在什么时候响、响多久、弹多重。

电脑读到这些指令,再用你选的乐器音源把它演奏出来。

音频波形与 MIDI 钢琴卷帘对照图,展示 MP3/WAV 转换为 MIDI 音符的对应关系

上图中,上半部分是音频文件的波形图,也就是普通音频编辑软件里看到的样子。下半部分是 MIDI 钢琴卷帘:方块越高,音越高;方块从哪里开始、拉多长,对应音符什么时候响、响多久。蓝色是旋律,紫色是低音。

举个例子,你想学弹一首曲子开头那几秒,就可以在钢琴卷帘上看音高和顺序,放慢播放,跟着原曲逐个核对。觉得某个音太高?把对应的方块往下拖就行。往左拖可以让它早点响,拉长右边缘可以让它多响一会儿。

Dettato 工作原理

Dettato 由四个模型串联而成,合计 2810 万参数,一条命令即可运行。后面的模型会逐个音符读取转录模型的概率图和隐藏状态,依次完成:音符转录、音符校正、乐器分轨、鼓点识别。

Dettato 工作流程图:音符转录、音符校正、乐器分轨、鼓点识别四个模型,输出多乐器音轨与鼓组 MIDI

需要注意,输入录音的采样率须达到 40 kHz。

如何使用?

安装比较简单,一行命令就行,也可以交给 AI 处理。运行同样只需一行:

pip install git+https://github.com/kobimusic/dettato
dettato song.mp3 -o out/

第一次运行会从 Hugging Face 下载模型。转换完成后,out 文件夹里会有 song.mid,以及记录轨道、音符数量等信息的 song.json。遇到读不了的 MP3,可以安装 FFmpeg 再试。

四种模型

这四个模型文件的尺寸都不大,几十 MB 级别:

模型 参数 它的作用
kobimusic/dettato 15.3M 音频注释:88 个琴键的起始、结束和音高,每个键有两个声部
kobimusic/dettato-evidence 4.9M 利用转录模型自身的证据修正音符:删掉错误的音符,修正起音和结尾,补上遗漏的音符
kobimusic/dettato-grouper 2.9M(290 万) 将每个音符放入乐器轨道并命名乐器
kobimusic/dettato-drums 5.0M 识别 General MIDI 鼓键上的鼓击声、鼓组和管弦打击乐器

什么电脑能跑 Dettato?

Dettato 需要 Python 3.10 或更新版本和 PyTorch 2.2 或更新版本。普通 Windows 或 Linux 电脑用 CPU 就能跑。开发者用笔记本的 CPU 转录 15 秒音频,花了 87 秒,其中包含模型加载时间。

作为对比,用 RTX 5060(8 GB 显存)转录一首 4 分钟的歌,约用 15 秒,显存峰值低于 4 GB。

M 系列 Mac 可以安装 PyTorch,用下面的命令指定 CPU 运行:

dettato song.mp3 -o out/ --device cpu

Mac 上实际要跑多久,取决于电脑配置和录音长度。

获取

喜欢音乐的朋友不妨试试。这是一个硬件门槛极低的人工智能音乐模型,想了解更多类似的开源实战项目,也可以去看看。




上一篇:GPT-6.2 Astra具身智能实测,16项任务成功率翻倍
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-22 21:55 , Processed in 0.066865 second(s), 39 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表