找回密码
立即注册
搜索
热搜: Java Python Linux Go
发回帖 发新帖
Claude、GPT 海外模型 API 接入Claude skills 从入门到精通 吴恩达亲授 AI Agent 核心技能2026 瞪哥公务员考试全攻略 行测申论一站式系统备考
Agent 文心智能蒸馏模型实战 90G 课程智泊 AI 大模型训练营 基于 LangChain 的 RAG 与提示工程实战构建企业级 AI 大脑:大模型微调与 RAG / Agent 全栈实战

6007

积分

0

好友

765

主题
发表于 前天 00:58 | 查看: 3| 回复: 0

让摄像头认出“剪刀石头布”,框出画面中的猫狗,再跟着手掌画出关键点。这些 AI 视觉玩法,现在可以在 RA8P1 Titan Mini 上,用熟悉的 Python 脚本逐个体验。

本次 Titan Mini OpenMV 更新,把相机采集、图像处理、神经网络推理和外设控制串了起来:底层运行 RT-Thread 5.1,接入 OpenMV 5.0.1 与 MicroPython,再让板载 NPU 加入计算。

先记住三个关键词:

1 GHz 主频 · NPU 加速 · 194+个 Python 示例

该板卡在 IDE 中标识为 AE3,并非 OpenMV 官方板卡,仅用于模拟演示。

01 硬件够硬核,开发从 Python 开始

Titan Mini 的这套视觉组合,核心是 1 GHz Cortex-M85 + 500 MHz Ethos-U55-256。

通俗一点理解:CPU 负责程序运行、设备控制等工作,NPU 则加速神经网络中适合它处理的计算。摄像头采集画面,模型分析内容,Python 脚本把结果组织成你的应用。

接上 OV5640 MIPI 摄像头,连接 OpenMV IDE,就能围绕画面修改脚本、调整参数、观察识别效果。

对于想体验嵌入式 AI 的开发者,可以从现成示例开始,把注意力放在“我要让它识别什么、识别后做什么”上。

Titan Mini 开发板正面接口标注:摄像头、40PIN GPIO、ETH、UART、USB 等

02 从追色块,到看懂手势和姿态

这次值得玩的内容,覆盖了两类常用视觉任务。

先从传统视觉入门

色块识别、巡线、条码、AprilTag、特征检测、滤波与几何变换,都有对应的功能或示例。想做一个寻找色块的小装置,或给小车增加巡线能力,可以从这里起步。

再把神经网络加进来

配套示例覆盖人脸检测、手部关键点、人体姿态、物体检测、分类与分割:

  • 玩手势:体验剪刀石头布检测,尝试把识别结果映射成控制指令。
  • 看动作:运行手部 21 点、人脸 468 点或人体姿态示例,观察关键点如何跟随画面变化。
  • 找目标:体验行人、猫狗及常见物体检测,学习从图像中提取目标位置。

神经网络目录提供 23 个脚本,对应 20 个 NPU 模型和 1 个 CPU 回归模型。工程中配有模型文件与部署说明,按对应示例准备资源即可开始体验。

整个示例库则共有 194 个独立 Python 脚本,从视觉、机器学习,一直延伸到外设、存储和通信。

可以先跑通一个小例子,再逐步拼出自己的项目。

OpenMV IDE 手势识别示例:Swift-YOLO 剪刀石头布检测,约 41 FPS

石头剪刀布检测

OpenMV IDE 单手 21 点关键点跟踪示例

单手关键点跟踪

YOLOv8n-pose 人体姿态估计与关键点骨架检测

骨骼检测

Swift-YOLO 行人检测示例:实时目标框选与性能监控

行人检测

03 实际跑起来有多快?看应用数据

对于视觉项目,大家关心的是:摄像头持续采集时,识别画面能否跟得上动作。

根据项目性能文档记录,下面三个轻量检测示例的 相机应用帧率均约为 41 FPS:

检测示例 推理调用均值 相机应用帧率
Swift-YOLO 手势检测 8.25 ms 41.22 FPS
Swift-YOLO 猫狗检测 7.94 ms 41.22 FPS
Swift-YOLO 行人检测 14.97 ms 41.21 FPS

FPS 表示每秒处理的画面数量。这里的应用帧率统计覆盖了 采集、推理、后处理、绘图和预览,更接近运行示例时的完整使用流程。

测试条件:Titan Mini、OV5640、SD 存储,固件版本 5.0.1;相机输出 QVGA(320×240),模型输入 192×192。推理调用为固定输入下 12 次测量的均值,应用帧率来自 30 秒测试。不同模型、画面与设置会影响结果。

还可以关注另一组数据:

单手检测与 21 点关键点跟踪,实测 21.88 FPS。

这组测试使用 RGB565、400×400 画面,包含采集、预处理、推理、后处理和绘图,关闭 IDE 预览传输。它与上表的测试条件不同,开启预览后的表现需另行测量。

以上数据均引用项目性能文档,你也可以结合自己的场景与设置进一步实测。

本次录制实际帧率约 16 帧。

YOLOv8 目标检测脚本与性能调试界面

04 识别之后,把设备也带动起来

视觉项目的乐趣,还在于让识别结果产生动作。

本工程提供 GPIO、IRQ、PWM、ADC、UART、I2C、SPI 和软件定时器 等 Python 外设接口,可以在视觉脚本的基础上继续连接传感器、控制器与执行机构。

例如,你可以尝试:

  • 识别到指定手势,通过串口向另一个控制器发送指令。
  • 根据色块位置,配合舵机及相应驱动,制作目标跟随装置。
  • 识别 AprilTag,向机器人主控输出标记信息。

这些都是可以基于现有能力继续开发的项目方向,具体联动逻辑与外部硬件由你来组合。

日常调试也有熟悉的路径:USB 2.0 HS 连接兼顾 IDE 通信与文件传输。脚本调通后,还可按指南保存为 main.py,配好依赖与资源,在硬件启动时自动运行。

从电脑前调试,到独立运行的小装置,可以沿着同一套工程继续往前做。

05 准备好开发板,四步跑起第一个示例

先备好 Titan Mini、OV5640 MIPI 摄像头、USB 数据线、FAT/FAT32 格式 SD 卡及支持 RA8P1 的烧录器,电脑安装 OpenMV IDE 和烧录软件。

第一步:获取配套固件

按文档从 GitHub Actions 的 OpenMV Firmware 工作流下载构建成功的 SD 配置固件。喜欢自己编译,也可以配好工具链后运行 scons,自动生成发布文件。

第二步:烧录与复制

烧录 rtthread.hex,将配套的 openmv-vision.bin 复制到 SD 卡根目录。两个文件必须来自同一次构建。

第三步:连接 IDE,看见画面

安全弹出存储卷,连接 OpenMV IDE,打开工程中的 helloworld.py 相机预览示例并运行。

第四步:选一个 AI 玩法

从机器学习示例中选择应用,按说明把对应模型、标签及所需素材复制到板端存储,再安全弹出并运行脚本。

OpenMV 机器学习示例脚本与模型对照表

示例列表

第一次可以从 FOMO 人脸中心检测开始,再尝试手势检测或手部关键点。

使用提示:IDE 显示的 AE3 是兼容标识,请使用本工程的 RA8P1 固件;官方 Alif AE3 固件与本板不兼容。

项目地址: https://github.com/RT-Thread-Studio/sdk-bsp-ra8p1-titan-mini/tree/main/project/Titan_Mini_Openmv

06 给你的下一个作品,加上视觉

如果你正在学习嵌入式 AI、准备课程或竞赛原型,或者想给手头的机器人增加视觉能力,Titan Mini + OpenMV 值得放进你的开发清单。

它提供了一条具体的实践路径:用 Python 运行示例,观察摄像头画面,理解模型输出,再把结果接到外设控制上。

对已经拥有 Titan Mini 的朋友,这次可以继续挖掘手中开发板的视觉能力;对准备入手的朋友,配套脚本、模型和文档,也让第一个实验有了明确的起点。

想把这些效果搬到自己的桌面上?从一块 Titan Mini 和第一个视觉示例开始。

手势交互、宠物检测、视觉小车,你最想先做哪一个?




上一篇:曲面积分入门:从几何直觉到高斯定律的通量定义
下一篇:Harness 工程化落地实践:AI Coding 团队如何用约束体系驾驭 Agent
您需要登录后才可以回帖 登录 | 立即注册

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-9-25 03:10 , Processed in 0.857366 second(s), 43 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表