让摄像头认出“剪刀石头布”,框出画面中的猫狗,再跟着手掌画出关键点。这些 AI 视觉玩法,现在可以在 RA8P1 Titan Mini 上,用熟悉的 Python 脚本逐个体验。
本次 Titan Mini OpenMV 更新,把相机采集、图像处理、神经网络推理和外设控制串了起来:底层运行 RT-Thread 5.1,接入 OpenMV 5.0.1 与 MicroPython,再让板载 NPU 加入计算。
先记住三个关键词:
1 GHz 主频 · NPU 加速 · 194+个 Python 示例
该板卡在 IDE 中标识为 AE3,并非 OpenMV 官方板卡,仅用于模拟演示。
01 硬件够硬核,开发从 Python 开始
Titan Mini 的这套视觉组合,核心是 1 GHz Cortex-M85 + 500 MHz Ethos-U55-256。
通俗一点理解:CPU 负责程序运行、设备控制等工作,NPU 则加速神经网络中适合它处理的计算。摄像头采集画面,模型分析内容,Python 脚本把结果组织成你的应用。
接上 OV5640 MIPI 摄像头,连接 OpenMV IDE,就能围绕画面修改脚本、调整参数、观察识别效果。
对于想体验嵌入式 AI 的开发者,可以从现成示例开始,把注意力放在“我要让它识别什么、识别后做什么”上。

02 从追色块,到看懂手势和姿态
这次值得玩的内容,覆盖了两类常用视觉任务。
先从传统视觉入门
色块识别、巡线、条码、AprilTag、特征检测、滤波与几何变换,都有对应的功能或示例。想做一个寻找色块的小装置,或给小车增加巡线能力,可以从这里起步。
再把神经网络加进来
配套示例覆盖人脸检测、手部关键点、人体姿态、物体检测、分类与分割:
- 玩手势:体验剪刀石头布检测,尝试把识别结果映射成控制指令。
- 看动作:运行手部 21 点、人脸 468 点或人体姿态示例,观察关键点如何跟随画面变化。
- 找目标:体验行人、猫狗及常见物体检测,学习从图像中提取目标位置。
神经网络目录提供 23 个脚本,对应 20 个 NPU 模型和 1 个 CPU 回归模型。工程中配有模型文件与部署说明,按对应示例准备资源即可开始体验。
整个示例库则共有 194 个独立 Python 脚本,从视觉、机器学习,一直延伸到外设、存储和通信。
可以先跑通一个小例子,再逐步拼出自己的项目。

石头剪刀布检测

单手关键点跟踪

骨骼检测

行人检测
03 实际跑起来有多快?看应用数据
对于视觉项目,大家关心的是:摄像头持续采集时,识别画面能否跟得上动作。
根据项目性能文档记录,下面三个轻量检测示例的 相机应用帧率均约为 41 FPS:
| 检测示例 |
推理调用均值 |
相机应用帧率 |
| Swift-YOLO 手势检测 |
8.25 ms |
41.22 FPS |
| Swift-YOLO 猫狗检测 |
7.94 ms |
41.22 FPS |
| Swift-YOLO 行人检测 |
14.97 ms |
41.21 FPS |
FPS 表示每秒处理的画面数量。这里的应用帧率统计覆盖了 采集、推理、后处理、绘图和预览,更接近运行示例时的完整使用流程。
测试条件:Titan Mini、OV5640、SD 存储,固件版本 5.0.1;相机输出 QVGA(320×240),模型输入 192×192。推理调用为固定输入下 12 次测量的均值,应用帧率来自 30 秒测试。不同模型、画面与设置会影响结果。
还可以关注另一组数据:
单手检测与 21 点关键点跟踪,实测 21.88 FPS。
这组测试使用 RGB565、400×400 画面,包含采集、预处理、推理、后处理和绘图,关闭 IDE 预览传输。它与上表的测试条件不同,开启预览后的表现需另行测量。
以上数据均引用项目性能文档,你也可以结合自己的场景与设置进一步实测。
本次录制实际帧率约 16 帧。

04 识别之后,把设备也带动起来
视觉项目的乐趣,还在于让识别结果产生动作。
本工程提供 GPIO、IRQ、PWM、ADC、UART、I2C、SPI 和软件定时器 等 Python 外设接口,可以在视觉脚本的基础上继续连接传感器、控制器与执行机构。
例如,你可以尝试:
- 识别到指定手势,通过串口向另一个控制器发送指令。
- 根据色块位置,配合舵机及相应驱动,制作目标跟随装置。
- 识别 AprilTag,向机器人主控输出标记信息。
这些都是可以基于现有能力继续开发的项目方向,具体联动逻辑与外部硬件由你来组合。
日常调试也有熟悉的路径:USB 2.0 HS 连接兼顾 IDE 通信与文件传输。脚本调通后,还可按指南保存为 main.py,配好依赖与资源,在硬件启动时自动运行。
从电脑前调试,到独立运行的小装置,可以沿着同一套工程继续往前做。
05 准备好开发板,四步跑起第一个示例
先备好 Titan Mini、OV5640 MIPI 摄像头、USB 数据线、FAT/FAT32 格式 SD 卡及支持 RA8P1 的烧录器,电脑安装 OpenMV IDE 和烧录软件。
第一步:获取配套固件
按文档从 GitHub Actions 的 OpenMV Firmware 工作流下载构建成功的 SD 配置固件。喜欢自己编译,也可以配好工具链后运行 scons,自动生成发布文件。
第二步:烧录与复制
烧录 rtthread.hex,将配套的 openmv-vision.bin 复制到 SD 卡根目录。两个文件必须来自同一次构建。
第三步:连接 IDE,看见画面
安全弹出存储卷,连接 OpenMV IDE,打开工程中的 helloworld.py 相机预览示例并运行。
第四步:选一个 AI 玩法
从机器学习示例中选择应用,按说明把对应模型、标签及所需素材复制到板端存储,再安全弹出并运行脚本。

示例列表
第一次可以从 FOMO 人脸中心检测开始,再尝试手势检测或手部关键点。
使用提示:IDE 显示的 AE3 是兼容标识,请使用本工程的 RA8P1 固件;官方 Alif AE3 固件与本板不兼容。
项目地址: https://github.com/RT-Thread-Studio/sdk-bsp-ra8p1-titan-mini/tree/main/project/Titan_Mini_Openmv
06 给你的下一个作品,加上视觉
如果你正在学习嵌入式 AI、准备课程或竞赛原型,或者想给手头的机器人增加视觉能力,Titan Mini + OpenMV 值得放进你的开发清单。
它提供了一条具体的实践路径:用 Python 运行示例,观察摄像头画面,理解模型输出,再把结果接到外设控制上。
对已经拥有 Titan Mini 的朋友,这次可以继续挖掘手中开发板的视觉能力;对准备入手的朋友,配套脚本、模型和文档,也让第一个实验有了明确的起点。
想把这些效果搬到自己的桌面上?从一块 Titan Mini 和第一个视觉示例开始。
手势交互、宠物检测、视觉小车,你最想先做哪一个?