RV1126B AI视觉SoC深度解析：多媒体架构、NPU与ISP核心模块功能详解

RV1126B 是一款面向机器视觉应用的高性能视觉处理 SoC，尤其擅长人工智能相关场景。其核心为四核ARM Cortex-A53 64位处理器，集成了NEON和FPU协处理器。每个核心配备32KB指令缓存和32KB数据缓存，并共享512KB的统一L2缓存。

内置的NPU支持INT8/INT16混合运算，算力最高可达3.0TOPS，并具备强大的兼容性，可轻松转换基于TensorFlow、PyTorch等主流框架训练的神经网络模型。

RV1126B采用了新一代硬件ISP（图像信号处理器），最高支持12MP，并集成了丰富的后处理单元。它实现了大量算法硬件加速，包括HDR、3A（自动曝光/自动白平衡/自动对焦）、LSC（镜头阴影矫正）、3DNR/2DNR（时域/空域降噪）、锐化、去雾、鱼眼校正及特征点检测等。同时，它还提供了一个最高8MP的AI-ISP，用于增强传统ISP的空间降噪和图像优化能力。

通过两个MIPI CSI（或LVDS/SubLVDS）接口和一个DVP接口，用户可以构建多摄像头输入系统，总计最多支持四路摄像头接入。

RV1126B内置的视频编码器支持H.265/H.264多路编码。利用此特性，摄像头视频可同时被编码为高分辨率版本用于本地存储，以及低分辨率版本用于云端传输。其视频解码器则支持H.264/H.265格式的4K@30fps解码。

除了强大的多媒体处理单元，RV1126B还集成了丰富的音频编解码器、内存控制器及多种外设接口（如I2C、SPI、PWM），方便用户连接各类传感器，增强系统灵活性与扩展能力。芯片支持高性能外部DRAM（DDR3/3L/4/LPDDR3/LPDDR4/4X）以满足高带宽需求，并集成了RTC、电源管理单元(POR)、RMII PHY和音频Codec。

功能特性：

应用处理器（Application Processor）

• 四核 ARM Cortex-A53。
• 完整实现 ARM v8-A 指令集，支持 ARM Neon 高级 SIMD（与FPU独立集成）。
• 32KB L1 指令缓存和 32KB L1 数据缓存。
• 统一的 512KB L2 缓存。
• 支持 TrustZone 安全技术。
• CPU核心系统使用独立供电域，支持内部电源切换与外部开关控制，适用于不同应用场景。具体电源域包括PD_CPU0至PD_CPU3。
• 具有独立电压域，支持DVFS（动态电压与频率调整）。

内存组织（Memory Organization）

片上内部存储器

• BootROM：支持从SPI、eMMC、SD/MMC接口启动；支持通过USB2.0、UART接口下载代码。
• 64KB 系统 SRAM。
• 8KB PMU SRAM。

片外外部存储器

• 动态内存接口：支持DDR3/DDR3L/DDR4/LPDDR3/LPDDR4/LPDDR4X，32位数据宽度，最大可寻址空间4GB。
• eMMC接口：符合JEDEC eMMC 4.51，支持HS200模式，数据宽度1/4/8bits。
• SD/MMC接口：兼容SD3.0、MMC ver4.51，支持1/4bits数据宽度。
• 灵活串行 Flash 接口（FSPI0）：支持1/2/4bits数据宽度，2个片选。

系统组件（System Component）

• HPMCU（高性能MCU）：集成16KB Cache、可编程中断控制器（PIC）和调试控制器。
• LPMCU（低功耗MCU）：用于低功耗应用，集成PIC和调试控制器。
• CRU（时钟与复位单元）：支持4个PLL，24MHz外部晶振输入，支持模块级时钟门控与复位控制。
• PMU（电源管理单元）：支持多种可配置工作模式与唤醒源，包含4个独立电压域和3个可开关电源域。
• Timer（定时器）：支持2个安全定时器与6个非安全定时器（64位计数器）。
• Watchdog（看门狗）：提供3个非安全看门狗和1个安全看门狗，支持超时中断或复位。
• Interrupt Controller（中断控制器）：支持256路外设中断与16路软件中断，可独立配置优先级。
• DMAC（DMA控制器）：支持2个物理通道、39组外设请求，提供48个逻辑DMA通道，支持散布-聚集传输。
• Secure System（安全系统）：
  • 密码引擎：支持AES、SM4、SHA、HMAC、RSA、ECC、SM2等多种加密算法。
  • Key-ladder：支持从OTP或RKRNG生成并派生密钥。
  • 其他：支持安全OTP、安全调试、安全OS，可配置内存与模块的安全访问权限。
• Mailbox（邮箱通信）：提供1个4通道邮箱用于Cortex-A53与HPMCU通信，1个邮箱用于与LPMCU通信。
• Decompression（解压模块）：支持GZIP、DEFLATE、ZLIB格式解压。
• RTC（实时时钟）：基于32.768kHz晶振，支持日历、闹钟及多种中断。
• AOV（Always On Video）子系统：低功耗视频感知子系统，含SPI接口与LPMCU控制核心。
• AOA（Always On Audio）子系统：低功耗音频感知子系统，含音频ADC、SAI控制器及AI声音检测功能。

视频编解码器（Video CODEC）

• 视频解码器：支持实时解码H.264/H.265，最大支持4K@30fps。
• 视频编码器：支持H.265/H.264及JPEG编码，最高12MP@30fps，码率最高200Mbps，支持CBR/VBR等多种码控模式、ROI、OSD及超低延迟编码。
• JPEG解码器：支持Baseline格式，多种YUV采样格式。

神经处理单元（NPU）

• 算力3 TOPS（INT8），支持INT4/INT8/INT16/FP16运算。
• 支持TensorFlow、Caffe、TFLite、PyTorch、ONNX等多种深度学习框架。
• 支持稀疏性优化，具备独立电压域以支持DVFS。

2D图形引擎（RGA）

• 支持两个输入图层（SRC0主源，SRC1辅助源）。
• 功能包括：像素格式转换、1/16x至16x任意比例缩放（支持双线性/双三次滤波）、0/90/180/270度旋转与镜像、BitBLT、Alpha混合、OSD叠加等。
• 最大输入分辨率8192×8192，最大输出4096×4096。

显示与视频接口

• 显示接口：支持MCU/RGB LCD（24-bit）、BT.656/1120及4-lane MIPI DSI，最大输出1920×1080@60fps。
• 视频输出处理器（VOP）：支持多图层（背景层、Win0、Win2）、Alpha混合、色彩空间转换、BCSH调节、抖动降位等功能。
• 视频输入接口：
  • MIPI接口：两个接口，每接口支持4 lanes，每通道2.5Gbps。
  • DVP接口：支持8~16位数据宽度，BT.601/656/1120规范。

图像信号处理器（ISP）

• 视频采集（VICAP）：支持多路MIPI CSI/LVDS/DVP输入，多种RAW及YUV数据格式，支持HDR、窗口裁剪、降采样等功能。
• 图像信号处理（ISP）：最大处理能力12MP@30fps。处理管线包括：黑电平校正、坏点矫正、LSC、HDR合成、去马赛克、3DNR、色彩校正、Gamma、去雾、锐化、YNR/CNR等丰富算法。支持多传感器复用、两路输出（MP/SP）及在线处理模式。
• AI-ISP：支持卷积运算，单模式最多8层网络，组合模式最多16层，最大处理能力8MP@30fps，用于增强图像质量。

视频处理子系统（VPSS）

• VPSS主处理器：支持DMA或ISP在线输入，提供6个输出通道，功能包括裁剪、缩放、镜像、区域遮盖等。各通道输出能力与分辨率配置不同，Channel 0/1支持更高分辨率与更多输出格式。
• VPSS Lite（VPSL）：轻量子系统，提供Luma Pyramid和Sigma Pyramid多尺度输出，用于高级视频分析。

音频子系统

• SAI接口：3个SAI接口，支持I2S、PCM、TDM协议，最多128时隙。
• PDM接口：支持最多8通道数字麦克风输入，最高192kHz采样率。
• ASRC：支持双路双声道异步采样率转换。
• 数字/模拟音频Codec：集成2通道DAC和2路ADC，支持多种混音模式、音量控制及高保真录音回放。