PromptIR：把提示学习引入一体化图像修复

论文：PromptIR: Prompting for All-in-One Blind Image Restoration，NeurIPS 2023。
一句话概括：PromptIR 不要求提前知道输入图像是噪声、雨还是雾，而是让网络从图像特征中生成退化提示，再用提示引导统一修复网络。

它解决了什么问题
#

传统图像修复通常为每一种退化训练一个模型：去噪一个模型，去雨一个模型，去雾又是另一个模型。这样做效果通常比较稳定，但模型数量多，部署和存储都不方便。

All-in-One Restoration 希望用一个模型处理多种退化，但不同退化的修复重点并不相同。噪声需要抑制随机高频，雨天需要去除雨丝，雾霾则涉及全局对比度和颜色恢复。如果所有输入都用完全相同的特征处理方式，任务之间容易相互干扰。

PromptIR 的想法很直接：给网络一组可学习的退化提示，让它根据输入图像自动判断应该使用哪类修复先验。

PromptIR 以 Restormer 作为主干，只在解码器中插入多个 Prompt Block。每个提示块主要包含两个部分。

提示生成模块维护一组可学习的提示向量。它们不是固定对应某一个人工标签，而是通过训练学习不同的退化表示。给定当前图像特征 (F)，模块计算输入与提示向量之间的匹配关系，再进行加权组合：

$$ P(F)=\sum_{i=1}^{N}a_i(F)P_i, $$

其中 (P_i) 是可学习提示，(a_i(F)) 是由当前输入特征产生的权重。这样得到的不是一组固定提示，而是针对当前图像动态生成的提示。

生成的提示随后与图像特征进行交互，将退化相关信息注入修复网络。简单理解，就是让主干网络知道：当前输入更像哪种退化、退化程度大概如何，以及哪些特征应该被增强或抑制。

测试时不需要额外输入“这是雨天图像”或“这是噪声图像”的标签，所以它属于盲图像修复。

2023 年以前，提示学习主要集中在分类、分割和视觉语言任务。PromptIR 的价值在于把这个思路迁移到底层视觉：提示不再描述“图片里有什么”，而是描述“图片应该如何被修复”。

它还具有比较强的工程属性：提示块参数量较小，可以插入不同的修复骨干；整个网络端到端训练，不需要先识别退化类型，再调用不同模型。

现在回头看，PromptIR 的基本思想已经比较容易理解：用一个输入自适应的提示向量调节统一网络。之后的工作已经把退化提示、频域信息、MoE 路由、扩散先验和大语言模型条件都加入了统一修复框架，因此 PromptIR 的结构显得相对简单。

它的局限也很明显：

所以我不会把 PromptIR 评价成现在仍然非常新颖的方法。更准确的说法是：它在当时完成了一次重要的范式迁移，把 Prompt Learning 从高层视觉带到了盲图像修复；但从今天的角度看，核心贡献主要是“动态提示 + 统一 Restormer”的组合，理论深度和结构复杂度都比较有限。

我的理解是，PromptIR 更像一个承上启下的工作。它说明统一图像恢复不一定要依赖人工任务标签，也可以让模型自己从输入中提取退化条件。后来的频域适应、专家路由和扩散桥方法，很多都在继续回答同一个问题：面对未知且混合的退化，模型应该如何动态分配修复能力。