基于FFPN网络的自适应视频预处理：优化H.265编码下UGC视频质量与码率

本文旨在探讨一种智能的视频编码前预处理方法，通过在压缩前智能地处理视频中的高频信息，以在主观视觉质量与码率消耗之间达到最优平衡。

研究背景与动机

视频中的边缘、纹理等高频细节是构成画面清晰度和真实感的关键，但它们同时也是编码器的“难点”，会显著增加码率消耗，进而推高带宽与存储成本。因此，在编码前对高频信息进行适当的预处理，成为一个重要的优化方向。

预处理决策并非单一。常见的手段包括：

• 锐化：增强高频信息，提升视觉冲击力和清晰度。
• 平滑：抑制高频信息，减少噪声、瑕疵和过冲光环。

然而，现有工作存在局限。例如，FreqSP方法仅考虑锐化操作，只能预测锐化强度。这对于本身已过锐化或含有大量噪声的用户生成内容视频并不友好，一味锐化反而会放大瑕疵，损害最终的主观质量。

核心创新点

本研究提出了一套完整的自适应高频预处理框架，其核心贡献如下：

1. 提出FFPN预测网络：设计了一种新颖的频率注意力特征金字塔预测网络，能够预测针对每个视频的最佳预处理策略（包括锐化或平滑的类型以及具体强度），从而灵活应对源视频可能存在的欠增强、过锐化及噪声等问题。
2. 构建伪标签训练法：通过率失真理论，利用CLIP-IQA等先进的无参考质量评估指标自动为训练视频生成最优预处理策略的伪标签，解决了该任务缺乏真实标注数据的难题。
3. 全面的性能验证：在多个数据集上进行了定量与定性评估，证明了该方法在提升压缩视频主观质量、节省码率以及模型效率方面的优越性。

方法论详述

1. 预处理滤波器：灵活的非锐化掩模

本研究采用非锐化掩码作为基础预处理滤波器，其数学表达简洁，参数 α 可正可负：

• α > 0：执行锐化处理，增强边缘和纹理。
• α < 0：执行平滑处理，抑制噪声和伪影。
• α = 0：无预处理操作。

该框架具备良好的扩展性，当前使用的USM滤波器可被替换为拉普拉斯滤波器、自适应双边滤波器等其他具有相似功能的滤波器。

2. 伪标签生成：基于率失真优化的自动化标注

为解决监督学习中的标注缺失问题，我们设计了如下自动化流程：

1. 定义策略空间：将预处理强度参数 α 在 [-2.0, 3.0] 范围内离散为11个候选策略。
2. 率失真评估：对每个训练视频，应用所有预处理策略后，使用 HEVC/H.265编码器 在多个固定码率点进行压缩。
3. 最优策略选择：采用基于对比语言-图像预训练模型的 CLIP-IQA 指标评估压缩后视频的感知质量。在目标码率点（如2000 kbps），选择能获得最高CLIP-IQA得分的 α 值作为该视频的伪标签。我们摒弃了与人类感知相关性不足的PSNR、SSIM，也避免了易被锐化误导的VMAF指标。

3. FFPN网络架构：多尺度特征与频率注意力

频率注意力特征金字塔预测网络由三个核心模块构成，其整体框架如下图所示：

• 金字塔特征提取模块：采用在 ImageNet 上预训练的轻量级 MobileOne-S0 作为骨干网络，分四个阶段提取多尺度特征，以同时捕获高层语义和低层细节。
• 频率注意力模块：这是网络的关键创新。首先将彩色视频帧转为灰度图，并通过高斯低通滤波及差分运算提取出高频掩码。随后，该模块利用空间自适应的仿射变换，将高频掩码与提取的各级特征进行融合，从而显式地增强网络对高频区域的关注度。
• 回归头模块：将经过频率注意力调制后的多尺度特征拼接，并通过两层全连接层映射为最终的预处理强度预测值 S_pred。训练时使用L1损失函数：ℒ = |S_pred - S_gt|。

实验评估与结论

实验设置

• 数据集：使用LSVQ（大规模UGC视频）、KoNViD-1k和LIVE-VQC三个包含真实失真的自然视频数据集进行训练与测试，以验证模型的泛化能力。
• 训练细节：从视频中采样32帧，并重组为256x256大小的输入。使用AdamW优化器对FFPN进行训练。
• 对比方法：与FreqSP及使用ResNet等不同骨干网络的变体进行对比。

核心结果分析

1. 预测性能最优：如下表所示，FFPN在三个测试集上的皮尔逊相关系数最高，均方根误差最低，显著优于对比方法。消融实验证实，特征金字塔结构和频率注意力模块均为带来性能提升的关键组件。

2. 高效轻量适合部署：FFPN在参数量、计算量和推理速度上均具有明显优势，证明了其在实际工业部署中的可行性。

3. 提升主观质量与码率效率：视觉对比表明，经FFPN指导预处理后的视频，在H.265编码后清晰度得到适度增强，同时有效减少了压缩伪影和噪声。用户研究表明，超过52%的用户更偏好本方法产生的结果。

总结

本文提出的自适应高频预处理框架，通过创新的FFPN网络架构和基于感知质量的伪标签训练范式，实现了对视频编码前预处理策略的智能、灵活预测。该方法不仅突破了前人仅能锐化的局限，还能根据内容自适应选择锐化或平滑，在显著提升压缩视频主观视觉体验的同时，兼顾了编码效率与计算成本，为视频编码预处理领域提供了一种高效实用的解决方案。