相机参数引导的深度学习网络实现可控图像去噪 | ICIP 2025

这是对2025年IEEE国际图像处理会议（ICIP）上一篇论文的解读。该研究聚焦于图像元数据中通常可获取的三个相机参数——ISO、快门速度（曝光时间的倒数）和光圈值（F值），通过将这些参数转换为特征向量，并利用自适应层归一化（Adaptive Layer Normalization）将其作为条件集成到去噪网络中，从而实现对真实图像噪声的可控去除。

原论文标题：Towards Controllable Real Image Denoising with Camera Parameters

研究背景

近年来，基于人工智能的图像去噪方法取得了显著进展，各种详尽的数据集被创建出来以支持真实场景下的去噪研究。由于图像中的噪声水平会因拍摄条件不同而变化，许多方法被开发用于灵活调整去噪强度以适应不同的噪声水平。然而，传统方法通常与特定算法或网络架构紧密耦合，缺乏根据噪声水平、相机设置及用户偏好动态调整去噪强度的灵活性。

研究方法

与噪声水平相关的相机参数

来自图像传感器的噪声通常可以用异方差高斯模型来近似表示。若将无噪声原始图像的强度表示为 (x)，则有噪声的原始图像 (y) 可建模为：

[
y \sim \mathcal{N}(x, \lambda{\text{read}} + \lambda{\text{shot}}x)
]

其中，参数 (\lambda{\text{read}}) 表示与信号无关的读取噪声，(\lambda{\text{shot}}) 表示与信号相关的散粒噪声。本文目标是训练一个去噪网络，能够利用特定的相机参数来有效去除噪声。基于公式(1)，我们选择了与图像噪声水平 (y) 最密切相关的三个参数：ISO、快门速度和光圈F值。这些参数通常记录在图像的EXIF元数据中，它们对图像噪声的影响机理如下所述。

1. ISO感光度：ISO是决定图像噪声量的关键因素，它影响传感器增益，进而关联到噪声参数 (\lambda{\text{read}}) 和 (\lambda{\text{shot}})。提高ISO可在相同曝光下获得更快的快门或更小的光圈，但也会放大信号和噪声，导致整体噪声水平上升。

2. 快门速度与光圈值：快门速度（曝光时间）和光圈F值直接影响到达传感器的光量，从而显著影响信噪比。在ISO固定时，更长的曝光时间（慢速快门）或更大的光圈（小F值）会捕捉更多光线。此时，读取噪声 (\lambda{\text{read}}) 保持恒定，而散粒噪声 (\lambda{\text{shot}}x) 会随着干净图像信号 (x) 的增加而增加，但其增长速率低于信号本身，因此总体信噪比得到提升，图像更清晰。

相机参数自适应去噪网络

本方法的核心思想是利用与噪声相关的相机参数来调节（Condition）去噪网络，并控制其去噪强度。通过在训练阶段为网络提供准确的相机参数，网络能够学习如何从具有不同噪声水平的真实图像中去除噪声。

然而，实现这一想法面临挑战：相机参数的变化趋势不均匀，且对噪声水平或去噪强度的影响是非线性的。为了表征这种非线性影响，我们对每个相机参数应用一组非线性函数：(x), (1/x), (x^2), (x^{-1/2}), (x^{1/4}), (x^{-1/4}), (\log(x)), (\sin(\log(x))), (\cos(\log(x)))，从而为每个参数生成一个9维向量。由于使用了三个相机参数，将这些向量拼接后，我们得到一个27维的相机参数向量 (v \in \mathbb{R}^{27})，用于表征图像的噪声水平。

为了在训练阶段将包含噪声先验知识的向量 (v) 作为条件，并在推理阶段实现网络的可控性，本方法采用了自适应层归一化（Adaptive Layer Normalization, AdaLN）。通过将相机参数向量 (v) 整合到AdaLN层中，我们可以用其生成的通道仿射参数 (\beta) 和 (\gamma) 来调节网络中每个模块。这种设计使得网络不仅能基于含噪图像本身，还能基于相机参数自适应地调整其去噪强度。

为了验证本方法能够引入可控性并提升现有去噪网络的性能，我们选择了一个鲁棒的去噪网络作为基线。具体而言，我们使用NAFNet（Nonlinear Activation Free Network）中的NAFBlocks来构建基线网络，该结构因其在各种图像复原任务中的简洁与卓越性能而闻名。网络结构如下图所示，我们构建的相机参数自适应去噪网络（CPADNet） 将原始NAFBlock中的标准层归一化替换为自适应层归一化，以便为网络提供关于噪声水平的条件信息。其中的MLP层由两个线性层组成，中间使用SiLU激活函数。在计算仿射参数之前，我们引入了概率为0.2的Dropout，以防止对某些特定参数组合产生过拟合。

实验结果

我们使用SID数据集的Sony子集和SIDD-medium数据集来训练和评估我们的方法。

去噪性能使用PSNR和SSIM指标进行衡量。此外，我们通过处理256×256大小的输入来计算MAC（乘加运算次数），并统计参数量以评估计算效率。对于SID数据集，我们使用全分辨率测试图像的非重叠块进行评估。对于SIDD数据集，我们使用其验证集和Kaggle上提供的测试集进行定量评估。定性评估则使用SID和SIDD的全分辨率图像进行。

定量结果如下表所示：

本文提出的方法（CPADNet）在PSNR和SSIM指标上均展现出了优于基线和其他对比方法的性能，这突出了我们方法的有效性。

下图展示了本方法的可控性。在推理时，我们选择了两组极端的相机参数来分别突出最弱和最强的去噪强度。如前所述，我们的网络被设计用于减少由高噪声相关参数（如高ISO）拍摄图像中的显著噪声，反之亦然。这意味着如果输入较低ISO、较慢快门速度或较大F数（小光圈）的参数，网络会施加较弱的去噪；反之，则会执行更强的去噪。

与大多数有监督深度学习方法一样，我们的方法也会受到训练数据噪声特性的影响（在本工作中即SID和SIDD的噪声特性）。然而，用户在本方法的推理过程中，有能力通过输入不同的相机参数来控制去噪器，并根据自身偏好生成恢复后的输出。

总结

本文开发了一种有效的方法，通过利用与噪声相关的相机参数来增强和控制去噪网络的性能。具体实现上，我们将相机参数编码为包含噪声水平信息的向量，并借助自适应层归一化技术将该向量赋予网络。实验表明，本方法通过利用相机参数作为先验信息，能够有效提升去噪网络的性能。此外，所提出的方法允许用户在推理阶段，通过输入相机参数作为条件，根据个人偏好灵活调整去噪强度。