找回密码
立即注册
搜索
发回帖 发新帖

6971

积分

0

好友

844

主题
发表于 昨天 23:08 | 查看: 9| 回复: 0

在智能驾驶方案中,摄像头数量已达到 11 颗甚至更多。一种常见的 11 路方案包括:

  • 两颗前视 8M 摄像头,分别用于广角和窄角视野;
  • 一颗后视 3M 摄像头;
  • 四颗周视 3M 摄像头;
  • 四颗环视 3M 摄像头。

其中,环视摄像头一般使用 YUV 格式,其他摄像头通常输出 RAW12 数据。

智能驾驶车辆摄像头、雷达和激光雷达感知范围示意图

这么多摄像头同时接入一颗 SoC,芯片如何承受持续不断的数据流?

一个容易产生的误解是:多路摄像头意味着海量数据,因此必须依靠强大的 AI 算力才能接收。实际上,图像接收与图像推理使用的是不同的资源。前者重点关注带宽、传输、调度和数据有效性;后者还要考虑感知算法的计算需求。

可以先把两类工作分开:

  • 接收和流转图像:涉及 SerDes、MIPI CSI 通路、DDR 吞吐、DMA 搬运和 ISP 处理能力。
  • 处理图像:涉及 BEV、目标检测、分割推理及后处理,需要评估 NPU 等计算资源。

加解串器是什么?

手机等消费电子设备中的摄像头距离 SoC 通常较近,一般可以直接通过 MIPI 传输数据。

车载摄像头则分布在车辆不同位置,与 SoC 之间的距离通常以米计算,MIPI 高速信号不适合直接用于这类长距离传输。

车载相机图像通常先由相机端的串行器转换为高速串行信号,再通过同轴电缆或双绞线送到中央控制器。解串器接收信号后,将其恢复并转换为 MIPI CSI-2 等接口数据,交给 SoC。

多路相机的数据也可以经过串行链路汇聚到解串器,再由解串器处理不同模组的数据,通过 MIPI CSI 传给 SoC。下图展示了四路相机通过串行器、解串器接入 SoC 的方式:

四路车载相机通过串行器和解串器接入 SoC 的链路图

多路图像汇聚到 CSI-2 端口后,像素数据以数据包形式传输。下图展示了帧起始、长包、帧结束与视频行之间的对应关系:

MIPI CSI-2 数据包转换为视频帧和像素行的时序图

SerDes 解决的是多颗车载相机如何接入中央控制器的问题。它打通了数据通路,但并没有减少图像数据量。

SoC 能否承受这 11 路相机,还要看 CSI-2 接入带宽、ISP 吞吐、内存带宽和后续算法负载。

11 路相机每秒产生多少数据?

先看一颗前视 8M 摄像头。按 3840 × 2160、30 fps、RAW12 输出计算:

3840 × 2160 × 12 × 30 = 2,985,984,000 bit/s ≈ 2.986 Gbps

也就是说,一颗该规格摄像头的有效图像带宽约为 2.986 Gbps。

这里计算的是有效图像载荷,不包含 CSI-2 数据包、嵌入式信息、消隐时序和 SerDes 链路开销。因此,2.986 Gbps 可以用于衡量图像数据规模,但不能直接等同于某条 MIPI Lane 或 SerDes 链路的实际线速。

其他模组按照同样的方法计算,11 路相机的数据量如下:

11 路车载摄像头分辨率、数据格式与有效带宽计算表

按图中的规格和 30 fps 计算,11 路相机的有效带宽合计约为 16.94 Gbps,也就是约 2.118 GB/s。SerDes 改变了数据的传输方式,但这部分有效像素载荷不会因此消失。

SoC 如何接收这些数据?

11 路数据并不是同时挤进 SoC 的同一个接口,也不是由 CPU 逐字节接收,而是经过分组汇聚、多口接入和硬件分流后进入芯片。

接入 11V 相机模组通常需要 3 至 4 路 MIPI 接口,也就是约 3 至 4 颗解串器。

一种组合方式是将两颗前视摄像头和一颗后视摄像头接到同一颗解串器,再使用 C-PHY 接入 SoC。也可以将一颗前视和一颗后视组合,另一颗前视单独接入解串器。具体如何分组,需要根据项目需求和器件规格估算。

11 路车载相机通过三颗解串器和 MIPI 接口接入 SoC 的示意图

D-PHY 接口的带宽可按“数据 Lane 数量 × 单 Lane 速率”估算。例如,若单 Lane 速率为 2.5 Gbps,使用 4 条数据 Lane,则总速率为 10 Gbps。

C-PHY 接口可按“Trio 数量 × 单 Trio 速率”估算。例如,若单 Trio 的等效数据速率为 5.7 Gbps,使用 3 个 Trio,则总传输能力约为 17.1 Gbps。

这些数字只用于说明组合方案的估算方法,不同 SoC 和解串器支持的 PHY 版本、速率及配置可能不同,实际应以器件数据手册为准。

评估接入方案时,可以依次检查:

  1. 相机到解串器:以 GMSL2 最大传输速率 6 Gbps 为例,上述各模组的有效图像带宽均低于该数值;实际选型还需计入链路开销,并核对器件支持的配置。
  2. 解串器输出:组合后的输入数据量需要落在解串器及其 MIPI 输出能力范围内,同时检查最大 PCLK 等限制,并为协议开销预留空间。
  3. SoC 接收端:查阅 SoC 数据手册,确认实际支持的 D-PHY、C-PHY 速率和接口配置,判断能否接收解串器输出的数据。

这些检查只能初步确认 11 路模组能否接入并通过 MIPI 传输。SoC 能否继续处理数据,还要看 ISP、DDR 带宽和算法模块的能力。

ISP 能否处理这些图像?

在上述方案中,前视、后视和周视摄像头通常需要 SoC 对 RAW 数据进行 ISP 处理。环视摄像头一般在模组内置 ISP,SoC 直接接收 YUV 数据,不再单独占用 SoC 的 ISP 处理这些图像。

判断 ISP 是否足够,可以从以下几个方面入手:

  • ISP 支持的通道数量是否足够;
  • 单路 ISP 的最大像素吞吐是否满足要求;
  • ISP 是否支持模组输出的数据格式。

例如,这套 11V 方案中有 7 颗摄像头需要 ISP 处理,SoC 至少要支持 7 路 RAW 图像的处理能力。需要注意的是,手册中的通道数量、硬件 IP 数量和并发处理能力不一定是同一个概念,应结合具体规格确认。

单通道的数据处理能力一般也会在芯片手册中标识。除了检查数据量最大的模组是否满足单路限制,还需要核对多路同时运行时的总吞吐限制。

例如,某款 SoC 手册给出了如下 ISP 规格:

SoC 的 ISP 多相机支持、分辨率、传感器格式与安全特性规格

DMA 如何搬运图像数据?

MIPI 解决了数据如何进入 SoC 的问题。数据进入芯片后,还需要送往 DDR、ISP 和后端算法模块。

如果全部由 CPU 逐字节搬运,会占用大量处理资源。在 11V 相机链路中,CSI-2 接收模块解析图像数据后,可以通过 DMA 将 RAW 或 YUV 数据写入 DDR 中的图像 Buffer。

需要处理图像时,ISP 可以从 Buffer 中读取数据,并将处理结果写入另一块输出 Buffer,供后端算法、显示或编码模块使用。具体路径取决于平台设计。

这些 DMA 不一定属于同一个统一的通用模块。CSI-2 接收、ISP 和其他图像 IP 往往带有各自的 DMA 或总线主接口,分别完成本模块的数据读写。

实际系统通常会准备多个图像 Buffer。当 DMA 向其中一块 Buffer 写入新帧时,ISP 或算法模块可以读取另一块已经准备好的图像,避免同时读写同一块 Buffer。

DMA 的价值在于让专用硬件完成数据搬运,减少 CPU 对重复搬运工作的参与。但 DMA 通道是否足够、传输效率是否达标,以及 DDR 能否承受这些读写流量,仍需要分别评估。

DDR 带宽是否足够?

判断 DDR 是否足够,本质上要比较两个数:

  • 整个系统实际需要多少 DDR 读写带宽;
  • SoC 在实际负载下能够持续提供多少 DDR 带宽。

不能只拿相机输入的 2.118 GB/s 与 DDR 峰值带宽比较,因为一份图像进入 SoC 后,可能被反复写入和读取。

例如,一路图像先由 CSI-2 接收模块写入 DDR,再由 ISP 从 DDR 读出;处理完成后写回 DDR,最后由感知算法再次读取。这样一来,同一份图像就产生了多次 DDR 访问。

DDR 带宽需求应结合具体链路与 SoC 厂商确认。不同平台的图像路径和配置不同,实际消耗可能有较大差异。

因此,不能仅凭模组输出数据量判断 DDR 带宽是否足够。DDR 是限制图像接入能力的重要因素,也是在系统设计中容易被低估的部分。

总结

11 路相机同时输出数据,单颗 SoC 为什么没有被撑爆?

并不是某项技术让数据凭空变少了,而是系统将工作分配给不同的硬件:

  • SerDes 和 MIPI 负责将数据送入 SoC;
  • DMA 负责数据搬运;
  • ISP 负责处理 RAW 图像;
  • DDR 和片上数据通路负责图像流转;
  • 后端算法模块按各自任务使用数据。

只要各模块的处理能力和链路余量满足实际负载,数据就能持续流转。这些操作由不同芯片或 IP 协同完成,不需要 CPU 逐字节参与搬运。




上一篇:MIPI CSI-2常见故障解析:Camera开发分层排查
下一篇:Rust 编译器并行前端默认开启,Nightly 编译提速
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-21 00:36 , Processed in 0.065564 second(s), 40 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表