（论文速读）DEnet：零参考联合去噪与增强

论文题目INTERPRETABLE UNSUPERVISED JOINT DENOISING AND ENHANCEMENT FOR REAL-WORLD LOW-LIGHT SCENARIOS用于实际微光场景的可解释无监督联合去噪和增强会议ICLR2025摘要现实世界中的弱光图像经常会出现复杂的退化如局部过度曝光、低亮度、噪声和照明不均匀。有监督的方法往往过度适应特定的场景而无监督的方法虽然在泛化方面做得更好但由于缺乏参考图像难以对这些退化进行建模。为了解决这一问题我们提出了一种可解释的、零参考联合去噪和微光增强框架该框架适用于真实场景。我们的方法基于物理成像原理和视网膜理论推导出一种基于具有不同光照和噪声水平的对子图像的训练策略。此外我们利用离散余弦变换(DCT)在sRGB空间进行频域分解并引入了一种隐式引导的混合表示策略有效地分离了复杂的复合退化。在主干网络设计中我们开发了隐式退化表征机制指导下的视网膜分解网络。大量实验证明了该方法的优越性。代码将在https://github.com/huaqlili/UnSupervised-Light-Enhance-ICLR2025中找到。零参考联合去噪与增强面向真实低光照场景的可解释无监督方法一、背景与动机低光照增强为什么难低光照图像增强是计算机视觉领域的重要研究方向其成果直接影响夜间摄影、天文观测、自动驾驶和人脸识别等下游任务的性能。然而真实场景中的低光照图像并非只是亮度不够那么简单它往往同时遭受以下多种复合退化整体亮度不足low brightness局部过曝local overexposure噪声污染noise尤其是泊松噪声不均匀光照uneven illumination这些退化相互耦合使得现有方法在真实场景中表现欠佳。现有方法的局限监督方法如 Retinexformer、LLFormer、URetinexNet虽然在基准测试上表现强劲但依赖大量配对训练数据正常光照图与低光照图一一对应采集成本高昂且容易过拟合特定场景跨域泛化能力弱。无监督/非配对方法如 EnlightenGAN、NeRCo、PairLIE绕开了配对数据的需求但依赖同场景不同光照图像受限于参考图像质量不一致以及光照分布归一化困难。零参考方法如 Zero-DCE、SCI、RUAS不需要任何参考图像是泛化性最强的一类方法。然而Zero-DCE 完全忽视噪声退化SCI 和 RUAS 虽集成了去噪模块但使用特定损失函数对不同噪声模式的泛化能力有限这些方法的根本问题在于无法区分多种退化模式对应的特征层导致增强与去噪的特征在网络中相互混淆带来模糊和伪影多阶段处理还会造成误差积累——低光照增强后噪声会被进一步放大。论文 Figure 1Input / Clip-LIT / SCI / Ours 在 SIDD 数据集上的对比图二、本文方法总览DEnet针对上述挑战本文提出了DEnetJoint Denoising and Enhancement Network一个零参考、可解释的联合去噪与低光照增强框架。其核心思路是无需外部参考图像通过对原始低光照图像进行物理驱动的预处理自动生成具有不同光照和噪声水平的配对子图利用 DCT 频域分解在 sRGB 空间中建模多维度退化先验设计隐式退化表示引导的 Retinex 分解网络在频域中并行分离复杂退化而非逐阶段串行处理。整体架构由四大模块组成FIcoder → LUMnet → REFnet → LCnet。论文 Figure 2完整流程图含 PartA/B/C 三部分三、理论基础3.1 Retinex 理论的扩展经典 Retinex 理论将图像 I 分解为反射分量 R物体固有属性和光照分量 L光照强度的逐元素乘积但经典 Retinex 无法处理真实低光照中的复杂噪声。本文在此基础上引入噪声扰动项 N建模为零均值泊松噪声这一扩展是后续自监督训练策略的理论基石。3.2 Noise2Noise 的理论支撑本文的自监督去噪思路来源于 Noise2NoiseN2N框架当训练一个去噪网络时如果替代目标clean image的噪声图像具有零均值噪声则使用 L2 损失的优化结果与使用干净图像训练等价。这一点保证了在没有干净参考图像的情况下去噪任务仍可自监督求解。四、核心创新一邻域像素掩码生成配对子图自监督配对生成策略在无法获取正常光照参考图的情况下如何构造训练对本文提出邻域像素掩码Neighboring Pixel Masking策略将原始低光照图像 I 按 2×2 像素块划分从每个块中随机选取两个相邻像素分别分配到两张 1/4 分辨率子图和两张子图来自同一场景因此而、是独立的零均值噪声——这正好满足 Noise2Noise 框架的条件。随机 Gamma 校正引入光照差异为构造光照差异从而让网络学会分离光照与反射对施加随机 Gamma 校正得到。对增强后的子图做 Taylor 展开近似当接近 1 时其中。最终两张子图可写为两者共享同一反射真值但光照和噪声强度不同。只需约束两张图的反射图相等即可构建联合去噪与增强的自监督网络无需任何外部标注数据。为什么不直接对原图做 Gamma 校正因为直接对 I 做 Gamma 会使噪声 N 几乎保持不变导致网络退化为学习恒等映射。通过先降采样再做 Gamma有效破坏了这一平凡解。五、核心创新二频率-光照先验编码器FIcoderFIcoder 的目标是从图像中提取隐式退化表示P为后续反射图提取提供退化引导。它融合了两类先验光照先验即图像在通道维度上的均值代表图像的整体亮度水平。频率先验DCT 分解使用逐通道二维 DCT 将空间域图像 I 转换为频域表示 F。随后定义四个频带掩码极低频色度/语义信息低频整体语义中高频边缘轮廓高频噪声强度对频域表示 F 应用掩码后做逆 DCTIDCT得到对应空间域特征图。最终将光照先验与四个频率先验通过卷积网络编码为隐式退化表示。论文 Figure 4五种先验图的可视化、、、、六、核心创新三Retinex 分解网络设计REFnet反射图提取REFnet 使用 Transformer 架构以退化表示 P 作为 Key/Value图像特征作为 Query通过多头交叉注意力机制将隐式退化先验注入特征提取过程。这使得网络能够依据不同的退化程度自适应地分离反射分量而非固定地处理所有输入。论文 Figure 3混合先验退化表示引导的多头交叉注意力示意图LUMnet光照图提取LUMnet 同样基于 Transformer每个 Transformer 块包含自注意力计算模块和门控模块专注于提取光照分量。LCnet光照校正网络LCnet 是本文的一个重要设计。它通过 Transformer 处理特征后做全局平均池化再经两层线性层输出一维增强因子用于校正光照图这一自适应模块解决了不同低光照程度图像增强结果不一致的问题——例如同一场景三张不同程度的低光照图使用相同 LCnet 能分别输出合适的增强强度避免局部过曝。论文 Figure 8 左侧LCnet 自适应性实验可视化SICE 三张图的增强结果对比七、损失函数设计总损失函数由四项组成Retinex 分解损失反射图一致性损失约束两张子图提取的反射图加上跨尺度正则化项光照图平滑损失约束光照图平滑性、分解重建保真度以及光照图的梯度。跨尺度正则化项通过对比原始分辨率图与子图的反射图保证跨尺度一致性提升训练稳定性和泛化能力。自监督增强损失局部一致性损失约束增强前后相邻 patch 间的对比关系保持一致防止局部过增强。亮度与色彩增强损失约束增强图像的平均亮度向自然感知标准 E 靠近并限制 R/G/B 三通道间的色彩偏差。八、实验结果8.1 定量对比LOLv1 / LOLv2-Real 数据集论文 Table 1LOLv1 与 LOLv2-Real 上的 PSNR↑/SSIM↑/LPIPS↓ 对比含监督/非配对/零参考方法本文方法在 LOLv1 上取得PSNR 19.80 / SSIM 0.750 / LPIPS 0.253在所有无参考zero-reference方法中排名第一并超过了部分非配对方法PairLIE: 19.51NeRCo: 19.70。在 LOLv2-Real 上PSNR 达到20.22 / SSIM 0.793同样居无参考方法之首。值得注意的是本文方法参数量仅0.36M远少于 SNR-aware50.95M、LLFormer72.29M等监督方法。SICE / SIDD 数据集论文 Table 2SICE 上的 PSNR↑/SSIM↑/LPIPS↓ 和 SIDD 上的 BRISQUE↓/CLIPIQA↓ 对比含模型参数量在 SICE 数据集包含低/中/高三个退化等级上本文 PSNR 达到22.55超过所有对比方法包括监督方法中的 URetinexNet22.12。在极具挑战性的 SIDD 数据集真实手机拍摄高噪声图像上本文在无参考统计指标上取得最优成绩BRISQUE 2.555第二名 PairLIE 为 3.168CLIPIQA 0.292排名第一。这表明本文增强结果最接近自然图像的视觉特性。8.2 定性对比论文 Figure 5LOL 数据集视觉对比包含 Input/RUAS/EnlightenGAN/Zero-DCE/SCI/PairLIE/NeRCo/Clip-LIT/Ours/Reference论文 Figure 6SICE 数据集视觉对比论文 Figure 7SIDD 数据集真实高噪声场景视觉对比从定性结果来看RUAS 和 EnlightenGAN存在局部过曝和强烈对比度失真根本原因是网络结构中缺乏可解释的光照反馈设计NeRCo在部分区域产生伪影暴露了生成模型在图像增强任务中的不可控性EnlightenGAN、Zero-DCE、Clip-LIT能够增亮暗区但缺乏去噪机制增亮的同时放大噪声本文方法在对比度、色度保真、噪声控制和细节保留上均表现最佳。九、消融实验9.1 去噪设计的消融论文 Table 4去噪设计消融三种设置在 LOLv1/LOLv2 上的对比论文 Figure 8 右侧三种设置在 LOLv1 上的视觉对比去掉邻域掩码Set 1PSNR 大幅下降至 18.52视觉上噪声极为明显网络学习了恒等映射去掉正则化项Set 2欠曝区域丢失细节降采样引入的局部语义损失两者缺一不可。9.2 混合先验的消融论文 Table 3三类物理先验的消融实验论文 Figure 9 右侧不同先验组合的视觉对比仅加入光照先验即可带来约0.6 dB的 PSNR 提升在此基础上加入低频或高频先验均进一步提升性能三者联合使用效果最优。9.3 Gamma 增强因子的影响论文 Figure 9 左侧不同值下的 PSNR 曲线LOLv1实验表明增强因子在时性能最佳过小接近 1两张子图光照差异不足网络无法有效学习光照分离过大违背的假设非线性噪声变化加剧性能下降。训练时在 (1.3, 1.7) 范围内随机采样为模型提供更丰富的特征处理范围。十、总结与思考本文提出了一套完整的零参考低光照联合去噪与增强框架核心亮点可归纳为物理驱动的自监督训练邻域像素掩码 随机 Gamma 校正无需任何外部参考即可构造有效的自监督训练对频域隐式退化表示DCT 多频带分解 隐式编码器将亮度、色度、边缘、噪声等不同退化信息显式建模交叉注意力引导的分解退化先验通过交叉注意力注入反射图提取实现退化解耦自适应光照校正LCnet 输出一维因子解决不同低光照程度图像的一致性增强问题。该方法以0.36M的轻量参数量在多个真实数据集上超越了众多参数量更大的监督和非配对方法展现出极强的泛化能力和实用价值。对于未来工作一个值得关注的方向是将该框架扩展到视频低光照增强时序一致性约束以及与扩散模型结合以进一步提升高频细节恢复质量。