开源自动吉他演奏装置：AI识谱、语音点歌，RK3566驱动18路舵机

在 B 站偶然看到一个很有趣的开源项目，忍不住分享出来。它能自动爬取吉他谱、AI 识别后驱动机械手真实弹奏，创意和实现都让人眼前一亮。

项目地址：https://gitee.com/Liguanxi00/liguanxi_Automatic_guitar

功能特性

用户只需说出歌名，系统便会自动爬取吉他谱图片，通过 AI 识别将其转换为机器可读的数字谱，最后驱动 18 路舵机按照真实的指法弹出音乐。

核心功能

• AI 识谱：利用六线谱定位、OCR 文字识别和 YOLO 符头检测，最终经 DeepSeek 大模型 纠错，将图片乐谱转成 CSV 演奏数据。
• 三种操控方式：OLED 屏幕加按键菜单、浏览器 Web 端、呼叫“小爱同学”语音点歌。
• 硬件双主控：RK3566 主控板（泰山派）负责识谱和界面，ESP32‑S3 专管 18 路舵机时序，通过串口以 921600bps 通信。
• 附加功能：自动调音、WiFi 联网、固件 OTA 更新、电源温度监控。

如何使用

在 RK3566 泰山派上只需执行两条命令：

git clone https://gitee.com/Liguanxi00/liguanxi_Automatic_guitar.git
cd liguanxi_Automatic_guitar && bash tools/install_deps.sh

然后运行主程序：

sudo python3 src/guitarist/main.py

启动后系统会自动加载语音引擎和 Web 服务。如果只想在 PC 上测试识谱，也可以单独运行：

cd src/score_recognition && python main.py --song 歌名

这会生成 CSV 演奏数据而不驱动吉他。

硬件部分在立创 EDA 上开源，软件代码仓库仅包含代码，模型文件通过 Git LFS 管理，PP‑OCR 和 YOLO 的 RKNN 推理均已配置完毕。项目采用 PolyForm Noncommercial 协议，个人学习、把玩完全自由，如需商用请与作者联系。

本文由云栈社区整理分享，查看更多 开源实战 项目欢迎访问社区。