找回密码
立即注册
搜索
发回帖 发新帖

6714

积分

0

好友

819

主题
发表于 昨天 03:01 | 查看: 14| 回复: 0

在博通集成的 BK7259 机器人开发板上,同一个摄像头可以完成两项任务:接上舵机,运行手掌跟随;按下拍照键,还可以向云端模型提问:“镜头前是什么?”

两项功能都从摄像头取图,后续路径却不同。视觉问答由应用侧准备图像,再交给无线侧发送;手掌跟随则在本地处理图像,随后将识别结果转换为舵机动作。沿着这两条路径,可以看清芯片为不同任务划分的处理资源,也能理解应用域有了 NPU,为什么还需要两颗 Arm Cortex-M。

博通集成 BK7259 机器人开发板,屏幕显示语音控制界面

博通集成 BK7259 机器人开发板实拍。图源:科技区角

搭载 BK7259 芯片的开发板特写

BK7259 芯片特写。图源:科技区角

01|一颗芯片里,应用和通信各编一份固件

BK7259 将芯片内部划分为两个处理域:应用处理域 AP 运行界面、音视频和 AI 业务,通信处理域 CP 运行 Wi-Fi、蓝牙等协议栈。

博通集成的 Armino SMP 开发文档还给出了一个具体细节:AP 和 CP 分别编译成独立的固件镜像。无线协议栈拥有自己的 CPU 执行资源,应用侧忙于处理画面时,两边不用在同一颗 CPU 上排队。

Armino SMP 文档说明 AP 与 CP 分别构建独立固件镜像

Armino SMP 中,应用域与通信域分别构建固件镜像。图源:博通集成

沿官方机器人参考设计走一遍,这个边界会更清楚。麦克风采集声音后,设备在本地识别唤醒词。唤醒之后,应用侧可以启动 RTC 对话,也可以将 MIPI CSI 摄像头采集的图像用于云端视觉问答。

假如现场遇到“画面预览正常,但视觉问答卡住”,就可以沿路径分段排查:应用侧是否准备好待发送的图像,图像交给网络服务后是否及时发出,以及云端多久返回结果。双域架构为排查提供了一个具体边界。

02|从摄像头到舵机,跨核传什么

博通集成的参考工程将手掌跟随列为端侧 AI 示例,将 AI Camera 列为云端 AI 示例。拍照问答需要保留用户按下快门时的那一帧;手掌跟随则更关心手掌现在的位置。同样使用一个摄像头,图像是否需要排队、旧帧何时可以丢弃,取决于下游如何使用它。

BK7259 参考工程示例列表,包括端侧 AI 和云端 AI

BK7259 参考工程将手掌跟随列为端侧 AI 示例,将 AI Camera 列为云端 AI 示例。图源:博通集成

再看芯片内部的分工:Arm Cortex-M55 承担主控和音视频相关信号处理,芯片还集成了 ISP 和视频编解码单元。Arm Ethos-U65 负责模型推理,安谋科技的“星辰”STAR-MC2(Cortex-M52)负责实时控制和低功耗协处理。SDK 也将视频、神经网络和舵机控制拆分为可独立裁剪的模块。

如果沿这套分工自行实现手掌跟随,可以把目标角度作为图像处理与控制任务的交接点。图像侧处理帧缓冲和模型输入,应用拿到识别位置后计算目标角度,再将角度和采集时间戳传给控制侧。控制任务按自己的周期读取最近一次有效目标,更新舵机指令。

假设摄像头每秒送出 30 帧,推理链每秒只能处理 15 帧。如果每一帧都进入先进先出队列,即使推理单元一直在工作,舵机追踪的也可能是越来越旧的位置。跟随功能可以在推理单元空闲时取最新可用帧,再用采集时间戳判断结果有多旧。

上板时可以记录三个时间点:采集图像、发布目标、更新舵机指令。前两个时间点相隔较久,就检查帧排队和推理链;后两个时间点相隔较久,就检查跨核通知和控制任务调度。

03|选 IP,要看哪条路径先吃紧

博通集成通过 Arm Flexible Access 在架构定型前评估了不同的 Arm IP 组合,比较功耗、面积和成本,最终选定 M55、M52 和 U65。

对于开发类似产品的团队,选型时可以使用同一组并发工况进行比较:摄像头连续送帧,无线侧持续传输,NPU 运行模型,同时让舵机按周期更新。分别记录视频待发队列的等待时间、识别结果到达控制侧时的时间差,以及控制指令是否错过执行期限。

Arm Flexible Access 的获取、设计和制造三个阶段

Arm Flexible Access 的三个阶段,涵盖获取 IP、设计评估和流片时的许可安排。图源:Arm

如果待发队列持续堆积,就沿传输和跨域交接路径排查;目标更新慢,就从 NPU 往回检查图像处理和采集;目标已经到达,舵机指令仍然发晚,就检查控制侧调度。

把延迟定位到具体交接点,才能判断下一版应当给哪个单元增加资源,还是先调整数据交接方式。




上一篇:LWS架构复用NPU阵列:边推理边训练,吞吐提升1.6倍
下一篇:程序员为什么不自己做微信小程序赚钱?5个回答讲清门槛
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-20 05:11 , Processed in 0.069845 second(s), 42 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表