在博通集成的 BK7259 机器人开发板上,同一个摄像头可以完成两项任务:接上舵机,运行手掌跟随;按下拍照键,还可以向云端模型提问:“镜头前是什么?”
两项功能都从摄像头取图,后续路径却不同。视觉问答由应用侧准备图像,再交给无线侧发送;手掌跟随则在本地处理图像,随后将识别结果转换为舵机动作。沿着这两条路径,可以看清芯片为不同任务划分的处理资源,也能理解应用域有了 NPU,为什么还需要两颗 Arm Cortex-M。

博通集成 BK7259 机器人开发板实拍。图源:科技区角

BK7259 芯片特写。图源:科技区角
01|一颗芯片里,应用和通信各编一份固件
BK7259 将芯片内部划分为两个处理域:应用处理域 AP 运行界面、音视频和 AI 业务,通信处理域 CP 运行 Wi-Fi、蓝牙等协议栈。
博通集成的 Armino SMP 开发文档还给出了一个具体细节:AP 和 CP 分别编译成独立的固件镜像。无线协议栈拥有自己的 CPU 执行资源,应用侧忙于处理画面时,两边不用在同一颗 CPU 上排队。

Armino SMP 中,应用域与通信域分别构建固件镜像。图源:博通集成
沿官方机器人参考设计走一遍,这个边界会更清楚。麦克风采集声音后,设备在本地识别唤醒词。唤醒之后,应用侧可以启动 RTC 对话,也可以将 MIPI CSI 摄像头采集的图像用于云端视觉问答。
假如现场遇到“画面预览正常,但视觉问答卡住”,就可以沿路径分段排查:应用侧是否准备好待发送的图像,图像交给网络服务后是否及时发出,以及云端多久返回结果。双域架构为排查提供了一个具体边界。
02|从摄像头到舵机,跨核传什么
博通集成的参考工程将手掌跟随列为端侧 AI 示例,将 AI Camera 列为云端 AI 示例。拍照问答需要保留用户按下快门时的那一帧;手掌跟随则更关心手掌现在的位置。同样使用一个摄像头,图像是否需要排队、旧帧何时可以丢弃,取决于下游如何使用它。

BK7259 参考工程将手掌跟随列为端侧 AI 示例,将 AI Camera 列为云端 AI 示例。图源:博通集成
再看芯片内部的分工:Arm Cortex-M55 承担主控和音视频相关信号处理,芯片还集成了 ISP 和视频编解码单元。Arm Ethos-U65 负责模型推理,安谋科技的“星辰”STAR-MC2(Cortex-M52)负责实时控制和低功耗协处理。SDK 也将视频、神经网络和舵机控制拆分为可独立裁剪的模块。
如果沿这套分工自行实现手掌跟随,可以把目标角度作为图像处理与控制任务的交接点。图像侧处理帧缓冲和模型输入,应用拿到识别位置后计算目标角度,再将角度和采集时间戳传给控制侧。控制任务按自己的周期读取最近一次有效目标,更新舵机指令。
假设摄像头每秒送出 30 帧,推理链每秒只能处理 15 帧。如果每一帧都进入先进先出队列,即使推理单元一直在工作,舵机追踪的也可能是越来越旧的位置。跟随功能可以在推理单元空闲时取最新可用帧,再用采集时间戳判断结果有多旧。
上板时可以记录三个时间点:采集图像、发布目标、更新舵机指令。前两个时间点相隔较久,就检查帧排队和推理链;后两个时间点相隔较久,就检查跨核通知和控制任务调度。
03|选 IP,要看哪条路径先吃紧
博通集成通过 Arm Flexible Access 在架构定型前评估了不同的 Arm IP 组合,比较功耗、面积和成本,最终选定 M55、M52 和 U65。
对于开发类似产品的团队,选型时可以使用同一组并发工况进行比较:摄像头连续送帧,无线侧持续传输,NPU 运行模型,同时让舵机按周期更新。分别记录视频待发队列的等待时间、识别结果到达控制侧时的时间差,以及控制指令是否错过执行期限。

Arm Flexible Access 的三个阶段,涵盖获取 IP、设计评估和流片时的许可安排。图源:Arm
如果待发队列持续堆积,就沿传输和跨域交接路径排查;目标更新慢,就从 NPU 往回检查图像处理和采集;目标已经到达,舵机指令仍然发晚,就检查控制侧调度。
把延迟定位到具体交接点,才能判断下一版应当给哪个单元增加资源,还是先调整数据交接方式。