哈工深提出TTTIR：测试时训练驱动图像修复，一张图演化一套专属策略

背景挑战

在图像修复任务中，退化天然具有很强的输入依赖性。即使同属一类任务，不同图像的退化程度、空间分布和频率组成也可能截然不同。

同样是低光，一张图像可能主要存在整体照度不足，另一张真正缺失的却是暗部纹理；同样是去雨，不同场景中的雨纹密度、尺度和方向也可能完全不同。

但大多数恢复模型在训练完成后，仍主要依赖一套共享参数处理不同测试图像。模型当然可以产生不同的 feature response，但决定"如何恢复"的核心规则，仍主要来自训练阶段学到的共享参数。

这让我们进一步思考：如果 degradation 本身是 instance-specific 的，那么 restoration operator 是否也应该是 instance-specific 的？

基于这一思考，我们提出 TTTIR，将图像修复重新表述为 Instance-Specific State Evolution，让当前图像参与决定自己应该如何被恢复。

• 代码地址： https://github.com/Elysiaaaaaaaa/TTTIR.git
• 论文地址： http://doi.org/10.13140/RG.2.2.32985.48485

核心问题

TTT 让 optimization 本身成为 forward computation 的一部分。当前输入产生内部学习信号，并通过梯度更新轻量 fast weights。

于是，测试图像不再只是网络的输入，也开始参与决定当前 forward 中实际使用的算子。

但仅仅让 operator 能够针对当前图像变化还不够。

标准 TTT 更关注对当前输入或上下文的建模，而图像修复具有明确的恢复方向：当前退化状态并不是需要被重建的终点，而应该继续向结构更完整、细节更丰富的状态演化。

因此，将 TTT 引入图像修复的关键，不只是让模型"能够变化"，还需要告诉它"下一步应该往哪里变化"。

方法概览

基于这一问题，TTTIR 将图像修复建模为 progressive state evolution，并把整个过程拆成两个连续的问题：下一步应该向什么状态演化，以及针对当前图像应该如何完成这一步转移。

PSSG 负责前一个问题。它从空间和频率两个互补维度构造一系列渐进目标状态，将从全局结构恢复到局部细节重建的过程显式组织成一条 target trajectory，为 inner-loop 提供明确的 restoration direction。

STE 则负责"如何完成转移"。它将下一目标状态作为 inner-loop guidance，并利用当前状态与下一目标状态构造内部学习信号，动态更新轻量 transition operator。

由于这一更新由当前图像及其目标状态共同决定，不同输入会形成不同的 operator trajectory，从而实现 image-specific state transition。

实验结果

TTTIR 在低光增强、去雨、去雨滴和去雾等多个图像修复 benchmark 上进行了验证。

在定量性能上，LOL-v2-Real 达到 30.78 dB / 0.9070 SSIM，五个 rain streak removal benchmark 平均达到 32.35 dB / 0.918 SSIM，Haze4K 达到 28.06 dB / 0.970 SSIM。

同时，当前低光配置仅包含 0.787M 参数。

除了最终恢复性能，我们更希望验证两个与核心设计直接相关的问题：构造的状态是否真的具有渐进性？不同图像是否真的形成了不同的转移算子？

从 state evolution 角度看，Figure 2(b) 中不同 target state 的 DWT energy distribution 呈现出从低频结构信息逐渐向高频细节迁移的趋势，与设计中的 Structure Recovery → Detail Reconstruction 相一致。

这表明不同 restoration states 并不是简单重复的中间表示，而是在演化过程中承担着不同的恢复角色。

从 operator evolution 的角度看，Figure 2(c) 显示，不同测试图像在多个 restoration stage 中产生了不同的 relative operator updates，即不同输入确实诱导出了不同的 fast-weight 更新轨迹。

这两组分析分别从 state 和 operator 两个层面验证了 TTTIR：前者体现 Progressive，后者则进一步体现 Image-Specific。

在参数量可比的设置下，TTTIR 在相同输入分辨率下保持了较低的推理开销和 GPU 显存占用，表明其在高分辨率图像上具有良好的 scalability。

消融结果表明，PSSG 与 STE 均能带来稳定增益；将 Next-State Target 替换为 Current-State Target 后性能下降，也进一步验证了 restoration-oriented state transition 的必要性。

总结与展望

TTTIR 并不是简单将 TTT 移植到图像修复，而是重新思考了 TTT inner-loop 在 restoration 中应该学习什么：从重建当前状态，转向学习下一步的状态转移。

通过显式的恢复方向与输入驱动的 operator adaptation，不同图像最终形成各自的状态演化过程。

从这个角度看，Image-Specific 的核心并不是放弃共享知识，而是重新思考 shared knowledge 与 instance-specific computation 之间的边界。

前者提供稳定的恢复能力，后者针对当前图像动态调整状态转移，使共享恢复知识能够进一步适应具体实例。如果你对测试时训练在图像修复等方向的应用有更多想法，欢迎到 云栈社区 一起交流。