CDTFusion：红外和可见光图像融合的跨域和任务

CDTFusion: Crossing Domain and Task for Infrared and Visible Image Fusion摘要引言相关工作A. 基于深度学习的图像融合B. 跨域图像融合C. 跨任务图像融合方法A. 交换图像翻译B. 任务交互查询C. 网络架构D.模型训练第一阶段：交换图像转换模块训练（注释）第二阶段：任务交互与查询模块训练（注释）四． 实验A. 设置B.消融实验C. 与最先进方法的比较D. 细分结果E. 检测结果五、结论摘要红外和可见光图像呈现不同的域，阻碍融合过程，从而丢失纹理细节。此外，低层融合和随后的高层分割出现跨任务特征差距，阻碍了它们的相互提升，导致目标边缘模糊。针对上述问题，本文提出了一种同时跨领域和任务的红外与可见光图像融合方法。首先，建立交换图像转换策略，将可见光和红外图像的特征转移到自适应域。同时，引入全局-局部约束来实现整体域空间转移，并缩短它们的特征距离。其次，设计任务交互和查询模块来探索跨任务特征交互关系，然后作为实现梯度反向传播的桥梁。因此，获得了从分割特征到融合特征的细粒度映射。大量的实验表明，所提出的方法比最先进的方法表现出更好的融合和分割性能。—红外和可见光图像融合、跨领域和任务、交换图像翻译策略、任务交互和查询模块。引言红外图像描述具有高对比度物体的热辐射信息，而可见光图像表示具有纹理细节的反射光信息。红外与可见光图像融合（IVIF）旨在生成融合高对比度物体和纹理细节的新图像，可以解决可见光图像对光照条件的敏感性以及红外图像中缺乏纹理细节的问题。因此，IVIF有利于许多后续的视觉任务，例如变化检测[1]、[2]、场景理解[3]、[4]、对象检测[5]、[6]和语义分割[7]、[8]。基于深度学习的IVIF方法已经取得了显着的进展，大致可以分为三类。基于损失约束的方法[9]、[10]、[11]尝试通过约束融合结果中的细节、边缘、结构或内容来保留更多信息。基于网络结构的方法[12]、[13]、[14]侧重于挖