极端曝光图像的多尺度分解细节感知融合算法

张俊超，黄俊彬，杨德贵，梁步阁，陈溅来，赵党军; ZHANG Junchao; HUANG Junbin; YANG Degui; LIANG Buge; CHEN Jianlai; ZHAO Dangjun

doi: 10.11887/j.cn.202402017

张俊超，黄俊彬，杨德贵，梁步阁，陈溅来，赵党军

中南大学自动化学院，湖南长沙 410083

基金项目: 微系统技术重点实验室开发课题基金资助项目(6142804231001) ；国家自然科学基金资助项目(62105372) ；湖南省自然科学基金资助项目(2021JJ40794)

详细信息

作者简介

张俊超（1991—），男，河南周口人，副教授，博士，硕士生导师，E-mail: junchaozhang@csu.edu.cn

通讯作者

杨德贵（1978—），男，四川崇州人，教授，博士，博士生导师，E-mail: degui.yang@csu.edu.cn

中图分类号: TP391

文献标识码: A

文章编号: 1001-2486(2024)02-162-12

Multi-scale decomposition based detail perception fusion algorithm for extreme exposure images

ZHANG Junchao ， HUANG Junbin ， YANG Degui ， LIANG Buge ， CHEN Jianlai ， ZHAO Dangjun

School of Automation, Central South University, Changsha 410083 , China

摘要

针对极端曝光(欠曝光和过曝光)图像动态范围低的问题，提出一种基于多尺度分解细节感知的图像融合算法。欠曝光图像经过细节增强后，与过曝光图像进行初步的粗融合；采用小波变换对细节增强后图像的亮度分量进行多尺度分解，并设计专门的高频和低频融合策略，实现亮度分量的精融合；将粗融合图像的色调、饱和度分量，与精融合图像的亮度分量重组，获得最终的融合结果。基于大量测试数据，实验结果表明所提方法在视觉效果方面表现优异，平均MEF-SSIM指标为0.9854，平均SSIM指标为0.6508，均优于现有主流算法。

关键词

高动态范围 / 图像融合 / 多尺度分解

Abstract

Aiming at the problem of the low dynamic range of extreme exposure images, such as underexposure and overexposure images, a detail perception image fusion algorithm based on multi-scale decomposition was proposed. After detail enhancement, the underexposed image was roughly fused with the overexposed image. Wavelet transform was used to perform multi-scale decomposition on the brightness component of the image after detail enhancement, and a special high-frequency and low-frequency fusion strategy was designed to realize the fine fusion of brightness components. The hue and saturation components of the coarse fusion image were recombined with the brightness components of the fine fusion image to obtain the final fusion result. Based on abundant testing data, the experimental results show that the visual effect of this method is excellent. The index of averaged MEF-SSIM is 0.9854, and the index of averaged SSIM is 0.6508, which are superior to the existing mainstream algorithms.

Keywords

high dynamic range / image fusion / multi-scale decompositio

1 基于多尺度分解细节感知的图像融合 1.1 低照度图像细节增强 1.2 基于纹理匹配的图像色调和饱和度分量融合 1.2.1 Frei-Chen算子检测图像边缘 1.2.2 计算初始融合权值矩阵 1.2.3 平滑初始融合权值矩阵 1.2.4 色调和饱和度融合 1.3 图像亮度分量的多尺度精细融合 1.3.1 小波分 1.3.2 低频子带融合规则 1.3.3 高频子带融合规则 2 实验结果比较与分析 2.1 实验设置 2.2 消融实验 2.2.1 验证图像增强的有效性 2.2.2 验证图像亮度精细融合的必要性 2.3 横向对比实验 2.3.1 主观评价 2.3.2 客观评价 2.4 小波分解层数对融合结果的影响 3 结论

日常生活中，一个自然场景的光照动态范围非常巨大^[1]，而普通数码相机的传感器能够感知的光照动态范围又十分有限^[2]，在成像时不能完整地捕捉景物的光照细节，因此获得的单幅图像通常存在局部曝光不足或过度曝光的问题，这不仅严重影响了成像质量，也为后续图像分析任务带来了麻烦。

为了解决上述问题，可以改善硬件配置，如重新设计相机的CMOS探测器^[3]，增加其成像的动态范围；或者开发软件算法，对传感器获得的若干幅低动态范围图像进行融合，得到高动态范围的融合图像。改善硬件配置的方法受制于复杂的设备和高昂的价格，难以在广大消费群体中普及，实用性受限^[4]。因此，基于软件算法开发的多曝光图像融合技术需求依然强烈。在硬件配置不变的情况下，只需要延长相机曝光时间、调整光圈等，对同一个自然场景多次成像后，获得若干幅曝光程度不同的图像^[5]，就可以利用多曝光图像融合算法生成一张符合人眼感知的高动态范围图像。

目前，多曝光图像融合技术已经在数字摄影^[6]、视频监控^[7]、军事侦察^[8]、医学图像^[9]等领域具有广泛的应用，其发展前景依然看好。

随着研究的深入，越来越多的图像融合算法被提出。Shen等^[10]认为图像融合是一种概率合成过程，每个输入图像的初始概率是根据局部特征估计得到的。他们提出用广义随机游动理论进行图像的全局优化，并获得最终概率图，这些概率图用作线性融合过程中的权重以产生融合图像。这种方法对大多数场景具有较好的融合效果，但是在曝光度变化剧烈的区域损失了大量细节。Li等^[11]将图像分解为包含大尺度强度变化的基础层，以及捕获小尺度细节的细节层，提出一种基于引导滤波的加权平均技术，充分利用空间一致性对基础层和细节层进行融合。这种融合方法导致图像断层明显，整体视觉失真。Shen等^[12]提出用拉普拉斯金字塔分解的方法进行多曝光图像融合，通过考虑不同曝光图像之间的曝光质量测量，基于局部权重和全局权重，以及基于刚好可见失真的显著性权重，提出了一种新的混合曝光权重测量方法。这种新的混合权重同时受到单个图像的曝光水平和不同曝光图像之间的相对曝光水平的指导。该方法可以同时保留颜色外观和纹理结构，图像纹理信息十分清楚，但是这也使得图像色彩不自然，边界过渡不平缓。Hou等^[13]提出用梯度和曝光度来估计原始图像的权重，再利用引导滤波平滑权重矩阵的思想进行加权平均融合。这种方法得到的融合图像在图像曝光值突变的边缘过渡自然，整体色彩更符合人眼的感知，但是也丢失了许多纹理细节。Li等^[14]提出一种快速多尺度结构块分解的多曝光图像融合方法，实现了在动态场景和静态场景下的融合，有效地减少了图像的光晕和伪影，整体融合效果优异。

近年来，深度学习技术也被成功应用于多曝光图像融合。Ma等^[15]利用深度学习算法，首先将输入序列的一个低分辨率版本提供给卷积网络，用于权值图预测，然后使用引导滤波联合上采样得到权重图，最终通过加权得到融合图像。Jung等^[16]提出了一种用于图像融合的无监督深度学习框架DIF-Net（deep image fusion network）。DIF-Net是利用CNN对图像融合的整个过程进行参数化处理，其目的是生成与高维输入图像具有相同对比度的输出图像。与传统的融合方法需要耗时的优化或迭代过程来获得融合结果不同，该方法可以通过单个前向网络进行训练，在不需要真实参考图像的情况下产生融合图像，从而保持源图像的细节信息，适用于多光谱、多聚焦、多曝光等多种图像融合问题。Xu等^[17]提出了一种名为U2Fusion（unified unsupervised image fusion network）的新型无监督图像融合网络。U2Fusion使用特征提取和信息测量，自动估计相应源图像的重要性，并得出自适应信息保存度，将不同的融合任务统一于一个框架中，避免了对场景实况设计专门的指标，能够解决不同的融合问题，包括多模态、多曝光和多聚焦等。Li等^[18]提出了一种新的深度学习体系结构。与传统的卷积网络不同，其编码网络由卷积神经网络层和密集块组成，使用这种架构在编码过程中从源图像中获取更多有用的特征，然后采用合适的融合策略对这些特征进行融合；最后，通过解码器对融合后的图像进行重建。

虽然深度学习技术已经取得了较好的融合效果，但是有监督的学习网络依赖大量的训练样本和对应真实的高动态图像，其实用性受限；非监督的学习网络不依赖真实的高动态图像，训练网络依赖大量的训练数据和巧妙设计的损失函数。本文未采用深度学习技术，而是从传统方法入手，为极端曝光下图像融合问题提供新的途径。

极端曝光图像，通常指动态范围非常窄的图像。其中，低照度场景下获取的图像具有低信噪比、低对比度等特点^[19]，通常会有一定程度上的质量退化^[20]。但是在实际生活中不可避免地需要在这类环境中成像，例如夜晚监控、人脸识别等^[21]，前文提到的几种图像融合方法适用于大多数场景，但是在低照度场景下的融合效果欠佳。本文针对此类场景的图像融合，提出了在改善低照度图像质量的情况下，对图像进行多尺度分解细节感知的融合算法。首先，用平均灰度阈值筛选低照度图像，对这类图像进行曝光值的细节增强；其次，用梯度算子遍历图像计算图像的区域纹理丰富程度，以此作为权重对图像进行粗融合；然后，取图像的亮度分量，采用小波变换进行多尺度分解，在低频和高频子带分别采取不同的融合策略，实现亮度分量的精融合；最后，把粗融合图像的色调和饱和度分量，与精融合图像的亮度分量重组，获得最终的融合图像。本文算法对于极端曝光图像均有较好的融合效果，尤其对于低照度夜景图像融合效果更加优异。

1 基于多尺度分解细节感知的图像融合

多尺度分解再融合能够准确提取并保留各子带的细节信息，因此在图像融合领域具有很重要的意义^[22]。图1是大致的融合框架图。Image A（I_A）和Image B（I_B）是输入的两幅不同曝光程度的源图像，通过预设的灰度阈值检测出低照度图像后，对其进行曝光度增强，然后在HSV颜色空间上进行多尺度分解。分解出来的三个子带分别采用不同的融合规则做多尺度融合，最后重组子带，获得融合图像Image F（I_F）。

相比于RGB模型，HSV模型是一种比较直观的颜色模型，更能反映人眼对彩色图像的感知方式，非常适用于图像处理任务^[23]。该颜色空间的三个通道分别表示图像的色调（hue）、饱和度（saturation）和亮度（value）。其中，亮度分量近似表征了图像的曝光程度。利用HSV空间各通道相对独立的特性，可以改善颜色失真等问题^[24]。本文在HSV空间上，对亮度分量进行基于小波变换的精细融合，对色调和饱和度分量进行基于纹理匹配的粗融合，是切实可行的。

图1多尺度分解细节感知图像融合框架

Fig.1Framework for detail perception image fusion based on multi-scale decomposition

1.1 低照度图像细节增强

灰度变换是一种常用的低照度图像增强方法^[25]，常用的灰度变换有线性变换、Gamma映射^[26]、直方图均衡化^[27]等。对低照度图像的增强，关键是对其弱曝光区域进行曝光度增强的同时，尽可能保证其曝光度正常的区域不受影响^[28]。类似于灰度变换，本文提出一种HSV空间低照度图像曝光度细节增强的方法，既保证了低照度图像曝光正常的区域不受影响，又补充了低照度图像区域的曝光细节。

将输入的两幅不同曝光程度的源图像分别记为I_A和I_B，对应灰度图记为G_X（X=A，B）。首先计算其平均灰度值

{\bar{g}}_{X} (0 ⩽ {\bar{g}}_{X} ⩽ 255)

，预先设置一个阈值ω，如果平均灰度值

{\bar{g}}_{X}

小于预设的阈值ω，则认为该图像是低照度图像，需要做曝光度细节增强处理。在低照度图像的HSV空间分离出亮度分量V_X，其中0≤V_X（i，j）≤1。预先设置两个检测门限0~v₁和v₁~v₂。对亮度分量进行像素级变换，经过变换后的亮度分量记为V′_X。

1）检测到亮度值处于门限0~v₁时，对其进行倍数强拉伸：

V_{X}^{'} (i, j) = V_{X} (i, j) l g \frac{10 v_{2}}{v_{1}}

(1)

2）检测到亮度处于门限v₁~v₂时，对其进行对数弱拉伸：

V_{X}^{'} (i, j) = V_{X} (i, j) l g \frac{10 v_{2}}{V_{X} (i, j)}

(2)

3）检测到亮度不在门限内，不对其做拉伸变换。

亮度增强映射曲线如图2所示。经过变换后得到的亮度分量V′_X，再反变换到RGB空间，获得亮度增强后的图像。为了简化符号，亮度增强后的图像仍然记为I_X（X=A，B），对应灰度图仍然记为G_X。

1.2 基于纹理匹配的图像色调和饱和度分量融合

基于图像纹理特征对增强后图像的色调和饱和度分量进行融合：首先，基于Frei-Chen边缘检测算子对增强后的灰度图像提取边缘信息；然后，基于边缘强度计算融合权重；最后，对色调和饱和度分量进行融合。

1.2.1 Frei-Chen算子检测图像边缘

常用的边缘检测算子有Sobel算子、Canny算子和Prewitt算子等^[29]。类似地，Frei-Chen算子是一种优秀的边缘检测算子，它对噪声的敏感性低，并且能够检测到具有小梯度的边缘，可以有效地提取图像细节丰富的部分^[30]。Frei-Chen算子如下：

图2亮度增强映射曲线

Fig.2Brightness enhancement mapping curve

\begin{matrix} w_{1} = \frac{1}{2 \sqrt{2}} [\begin{matrix} 1 & \sqrt{2} & 1 \\ 0 & 0 & 0 \\ - 1 & - \sqrt{2} & - 1 \end{matrix}], w_{2} = \frac{1}{2 \sqrt{2}} [\begin{matrix} 1 & 0 & - 1 \\ \sqrt{2} & 0 & - \sqrt{2} \\ 1 & 0 & - 1 \end{matrix}], \\ w_{3} = \frac{1}{2 \sqrt{2}} [\begin{matrix} 0 & - 1 & \sqrt{2} \\ 1 & 0 & - 1 \\ - \sqrt{2} & 1 & 0 \end{matrix}], w_{4} = \frac{1}{2 \sqrt{2}} [\begin{matrix} \sqrt{2} & - 1 & 0 \\ - 1 & 0 & 1 \\ 0 & 1 & - \sqrt{2} \end{matrix}], \\ w_{5} = \frac{1}{2} [\begin{matrix} 0 & 1 & 0 \\ - 1 & 0 & - 1 \\ 0 & 1 & 0 \end{matrix}], w_{6} = \frac{1}{2} [\begin{matrix} - 1 & 0 & 1 \\ 0 & 0 & 0 \\ 1 & 0 & - 1 \end{matrix}], \\ w_{7} = \frac{1}{6} [\begin{matrix} 1 & - 2 & 1 \\ - 2 & 4 & - 2 \\ 1 & - 2 & 1 \end{matrix}], w_{8} = \frac{1}{6} [\begin{matrix} - 2 & 1 & - 2 \\ 1 & 4 & 1 \\ - 2 & 1 & - 2 \end{matrix}], \\ w_{9} = \frac{1}{3} [\begin{matrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{matrix}] 。 \end{matrix}

本文利用Frei-Chen算子里的前8个（w₁~w₈）检测图像边缘细节。分别对两幅源图像的灰度图G_X做卷积运算，选取一个边缘显著性最高的结果g_X用于表征该图像的纹理信息。

g_{X} = m a x \{|G_{X} * w_{i}|\} i = 1,2, 3 \dots, 8

(3)

1.2.2 计算初始融合权值矩阵

基于两幅源图像的纹理信息图，用纹理的相对比重确定粗融合权值矩阵L₀，计算方法为：

L_{0} = \frac{g_{A}}{g_{A} + g_{B}} g_{A} (i, j) + g_{B} (i, j) \neq 0

(4)

若灰度图的某个八邻域灰度值相等或近似相等，纹理信息十分不显著，g_X（i，j）趋近于零，此时利用式（4）计算融合系数的时候，可能会产生类似于“0/0”的不定式，产生“奇异解”甚至无解，最终导致融合权值异常。为了避免这种现象的产生，设置一个大于零的阈值λ（本文取λ=1.5），在对应灰度图像纹理信息不显著的光滑区域

S_{X} = \{g_{X} （ i ， j ） ∣ g_{X} （ i ， j ） < λ\}

，选取一个参考值α，作为拟融合图像的灰度估计值（本文取α=0.5）。

Δx_X表示灰度图像G_X的取值偏离该参考值α的绝对值：

Δ x_{X} = |\frac{G_{X} (i, j)}{255} - α|

(5)

此时L₀的计算方法由式（6）给出：

(6)

1.2.3 平滑初始融合权值矩阵

一方面由于在遍历图像的每个像素点计算权重的过程中，受到多曝光图像I_X噪声的干扰，L₀的取值产生跳变；另一方面由于融合权值过渡不自然，会导致最终的融合结果产生明显的方块效应。因此，需要对初始融合权值矩阵L₀进行平滑处理。

采用高斯低通滤波器对L₀进行平滑处理，滤波器的结构为：

H (p, q) = e x p [- \frac{L_{0} (i, j)^{2}}{2 σ^{2}}]

(7)

选取合适的卷积核尺寸和σ（本文取卷积核尺寸为灰度图的长和宽中较小值的一半，σ的值为灰度图的长和宽中较小值的0.025倍），对初始融合权值矩阵L₀进行卷积运算后，得到最终的粗融合权值矩阵：

L = L_{0} * H

(8)

1.2.4 色调和饱和度融合

当源图像I_A在某个区域的纹理丰富程度比源图像I_B显著时，对应的粗融合权值矩阵L在该区域的取值较大，粗融合图像主要由源图像I_A决定；反之，当源图像I_A在某个区域的纹理丰富程度没有源图像I_B显著时，对应的粗融合权值矩阵L取值较小，粗融合图像主要由源图像I_B决定。

色调和饱和度的融合公式如下：

\{\begin{matrix} H_{F} = L ⊙ H_{A} + (1 - L) ⊙ H_{B} \\ S_{F} = L ⊙ S_{A} + (1 - L) ⊙ S_{B} \end{matrix}

(9)

其中，⊙表达哈达玛乘积，H_X和S_X分别表示图像I_X（X=A，B）的色调和饱和度分量。

1.3 图像亮度分量的多尺度精细融合

对图像细节的融合是图像融合的关键。图像亮度分量近似表征了图像的曝光程度，体现了多曝光图像主要的细节信息。首先，采用小波变换对亮度分量V_X进行多尺度分解；然后，设计专门的低频和高频信息融合策略；最后，基于不同分解尺度下的融合权重，实现亮度分量的精细化融合。

1.3.1 小波分

对亮度分量V_X进行N层二维离散小波分解，记小波分解第j（1≤j≤N）层的低频子带为

W_{X_{j}}

，第j层ε（ε=H，V，D）方向上的高频子带为

W_{X_{j}}^{ε}

。由小波分解的原理可知，子带

W_{X_{j}}

由行低通、列低通得到，包含图像的低频信息；子带

W_{x_{j}}^{H}

由行低通、列高通得到，包含图像的水平边缘细节信息。同理，

W_{x_{j}}^{V}

和

W_{x_{j}}^{D}

分别包含图像的垂直边缘细节信息和对角边缘细节信息^[31]。本文充分利用小波分解各个高频子带方向特征显著这一特性，重建融合图像的亮度分量。

1.3.2 低频子带融合规则

类似于粗融合采用的方法，融合低频子带

W_{X_{j}}

要先由式（3）和式（4）计算得到初始权值矩阵L′₀。略有不同的是，L′₀是对源图像灰度图G_X经过N层小波分解得到的低频子带计算得来。

经过高斯低通滤波后的权值矩阵如式（10）所示。

L^{'} = L_{0}^{'} * H^{'}

(10)

式中，

H^{'} (p, q) = e x p [- \frac{L_{0}^{'} (i, j)^{2}}{2 σ^{' 2}}]

(11)

用于低频子带融合权值矩阵滤波的高斯滤波器与粗融合的不同：本文取σ′=2，卷积核的尺寸取低频子带

W_{X_{j}}

长和宽中较小值的1/4。

1.3.3 高频子带融合规则

高频子带融合方法有很多，其中基于区域特性测量的融合方法被广泛应用。如王江安等^[32]在拉普拉斯金字塔分解的子带上应用该融合方法，很好地保留了两幅源图像的优点，证明了该融合方法的有效性。同样地，在高频子带，基于区域特性测量的小波变换融合方法一定程度上避免了由单一融合准则引起的方块效应^[31]，融合图像过渡更自然，不失为一种很好的融合方法。

基于区域特性测量的融合方法实质上是计算高频子带的区域能量大小，根据能量的匹配程度，取不同的权重进行融合。传统的基于区域特性测量的高频子带的融合方法仅用一个能量算子计算子带的区域能量，没有充分利用小波变换的方向性优势，具有一定的局限性。基于这一点考量，本文提出分方向的区域特性融合规则。对不同方向的高频子带，采用不同的能量算子，其形式为：

\begin{matrix} r^{H} = \frac{1}{18} [\begin{matrix} 1 & 1 & 1 \\ 4 & 4 & 4 \\ 1 & 1 & 1 \end{matrix}], r^{V} = \frac{1}{18} [\begin{matrix} 1 & 4 & 1 \\ 1 & 4 & 1 \\ 1 & 4 & 1 \end{matrix}] \\ r_{1}^{D} = \frac{1}{16} [\begin{matrix} 4 & 1 & 0 \\ 1 & 4 & 1 \\ 0 & 1 & 4 \end{matrix}], r_{2}^{D} = \frac{1}{16} [\begin{matrix} 0 & 1 & 4 \\ 1 & 4 & 1 \\ 4 & 1 & 0 \end{matrix}] \end{matrix}

对高频子带

W_{X_{j}}^{e}

进行N层小波分解，定义

W_{X_{j}}^{e}

以（m，n）为中心、3×3领域内的区域能量为

E_{X_{j}}^{ε}

（1≤j≤N），如式（12）所示。定义高频子带

W_{A_{j}}^{ε}

和

W_{B_{j}}^{ε}

在第j层ε方向上对应的区域能量匹配度为M^ε_j，如式（13）所示。

E_{X_{j}}^{ε} (m, n) = \{\begin{matrix} \sum_{s = - 1}^{1} \sum_{t = - 1}^{1} r^{ε} (s + 2, t + 2) {[W_{X_{j}}^{e} (m + s, n + t)]}^{2} ε = H, V \\ \frac{1}{2} \sum_{k = 1}^{2} (\sum_{s = - 1}^{1} \sum_{t = - 1}^{1} r_{k}^{ε} (s + 2, t + 2) {[W_{X_{j}}^{e} (m + s, n + t)]}^{2}) ε = D \end{matrix}

(12)

M_{j}^{ε} (m, n) = \{\begin{matrix} \frac{2 \sum_{s = - 1}^{1} \sum_{t = - 1}^{1} [r^{ε} (s + 2, t + 2) |W_{A_{j}}^{ε} (m + s, n + t) W_{B_{j}}^{ε} (m + s, n + t)|]}{E_{A_{j}}^{ε} (m + s, n + t) + E_{B_{j}}^{ε} (m + s, n + t)} ε = H, V \\ \sum_{k = 1}^{2} (\frac{\sum_{s = - 1}^{1} \sum_{t = - 1}^{1} [r_{k}^{ε} (s + 2, t + 2) |W_{A_{j}}^{ε} (m + s, n + t) W_{B_{j}}^{ε} (m + s, n + t)|]}{\sum_{X}^{A, B} \{\sum_{s = - 1}^{1} \sum_{t = - 1}^{1} r_{k}^{ε} (s + 2, t + 2) {[W_{X_{j}}^{ε} (m + s, n + t)]}^{2}\}}) ε = D \end{matrix}

(13)

设β为匹配度阈值（本文取β=0.50），当M^ε_j（m，n）＜β时，说明两个高频子带在该区域的能量差异大，匹配度较小，则直接选取能量高的高频子带作为融合后的子带，即融合后的子带为：

W_{F_{j}}^{ε} (m, n) = \{\begin{matrix} W_{A_{j}}^{ε} (m, n) E_{A_{j}}^{ε} (m, n) ⩾ E_{B_{j}}^{ε} (m, n) \\ W_{B_{j}}^{ε} (m, n) E_{A_{j}}^{ε} (m, n) < E_{B_{j}}^{ε} (m, n) \end{matrix}

(14)

当M^ε_j（m，n）≥β时，说明两个高频子带在该区域的能量差异较小，匹配度高，则融合后的子带由两个子带共同决定，即：

W_{F_{j}}^{ε} (m, n) = \{\begin{matrix} w_{2} W_{A_{j}}^{ε} (m, n) + w_{1} W_{B_{j}}^{ε} (m, n), \\ E_{A_{j}}^{ε} (m, n) ⩾ E_{B_{j}}^{ε} (m, n) \\ w_{1} W_{A_{j}}^{ε} (m, n) + w_{2} W_{B_{j}}^{ε} (m, n), \\ E_{A_{j}}^{ε} (m, n) < E_{B_{j}}^{ε} (m, n) \end{matrix}

(15)

其中，

\{\begin{matrix} w_{1} = \frac{1}{2} - \frac{1}{2} [\frac{1 - M_{j}^{ε} (m, n)}{1 - β}] \\ w_{2} = 1 - w_{1} \end{matrix}

(16)

最后，融合后的低频子带

W_{F_{j}}^{}

和高频子带

W_{F_{j}}^{ε}

经过小波逆变换，得到融合图像的亮度分量V_F，与粗融合获得的色调分量H_F、饱和度分量S_F重组，再变换到RGB空间，获得最终的融合图像I_F。

2 实验结果比较与分析

2.1 实验设置

为了验证本文算法的有效性，在公开数据集选取了50组测试数据，包括极端曝光下的夜间场景和曝光较正常的日间场景。采用的对比算法有传统主流算法（文献^[10-14]）和基于深度学习的算法（文献^[15-18]），所有对比算法的代码均由原作者提供，深度学习算法的实验结果是基于原作者提供的网络权重获得的。定量评价指标有：MEF-SSIM^[16]指标、平均结构相似度SSIM^[33]指标。两者均反映融合图像和待融合图像的结构相似度，是无参考的评价指标，其取值越接近于1，表明融合图像和多曝光图像间的相似度越高。

为了使实验对比更具说服力，除消融实验外，所有主观评价和客观指标仅对比核心算法部分，即统一对所有的低照度图像进行曝光度增强后再作对比。

2.2 消融实验

2.2.1 验证图像增强的有效性

如图3所示，为了验证图像增强对最终融合效果的贡献，选取文献^[14]算法作为横向对照组，选取本文算法不经过图像增强的融合图像作为纵向对照组。低照度图像若不经过曝光度增强，得到的融合图像信噪比很低。以图3（b）、（d）为例，融合图像无法看清楚马路边缘的细节。和对照组相比，图3（c）、（e）是先经过曝光度增强再作融合得到的图像，有效改善了低照度图像的暗区细节，并且最大程度地保留了图像正常曝光的细节，有效地提升了最终融合图像的质量。

2.2.2 验证图像亮度精细融合的必要性

为了验证图像亮度精细融合对本文算法最终融合效果的贡献，选取文献^[14]算法作为传统主流算法横向对照组，选取文献^[15]算法作为深度学习算法横向对照组；选取本文算法粗融合图像和不分方向计算能量的精细融合结果作为纵向对照组。以图4为例，从主观视觉效果来看，文献^[14]算法产生明显的光晕，文献^[15]算法边缘过渡不自然；本文算法如果只对图像进行粗融合，同样导致图像的边界效应明显，整体融合效果欠佳；经过细融合以后，图像的视觉效果得以明显改善；而分方向的精细融合进一步提高了图像的MEF-SSIM指标，图像融合质量更好。

图3多曝光图像（车）消融实验

Fig.3Ablation experiment on multi exposure image (car)

图4多曝光图像（岩石）消融实验

Fig.4Ablation experiment on multi exposure image (rock)

2.3 横向对比实验

2.3.1 主观评价

从数据集中选取3个具有代表性的场景，用于主观评价。图5和图6是低照度夜间场景，图7是曝光度较正常的日间场景。

图5（a）是输入的两幅“路灯”不同曝光情况的源图像。图5（b）~（f）分别是文献^[10-14]传统主流算法的融合结果图像，图5（g）~（j）分别是文献^[15-18]深度学习算法的融合结果图像。主观上看，文献^[11-12，17]的融合效果较差，其中文献^[11]和文献^[12]融合图像的边界效应十分明显，灯光周围呈“锯齿”状；文献^[17]色彩失真较为严重。文献^[10，14-15]在灯光处产生较严重的光晕。文献^[16，18]不仅在灯光处产生光晕，还在暗区损失了大量细节。文献^[13]虽然没有产生光晕，也没有出现色彩的失真，但是灯光周围的“树叶”纹理特征不清晰。和对照组相比，本文算法得到的融合图像在色彩、细节上均有明显的优势：灯光几乎不产生光晕，且最大程度地保留了灯光周围区域的“树叶”细节特征，总体融合效果最好。

图6（a）是输入的两幅“教堂”不同曝光情况的源图像。图6（b）~（f）分别是文献^[10-14]传统主流算法的融合结果图像，图6（g）~（j）分别是文献^[15-18]深度学习算法的融合结果图像。主观上看，文献^[17]的融合效果最差，色彩很不真实。在图中白色虚线方框的“栅格”区域，文献^[11-12，15]过渡不自然且伴有色彩的失真，文献^[10]和文献^[14]出现局部过度曝光，文献^[16]和文献^[18]出现局部曝光不足。文献^[13]整体融合效果较好，但是局部较模糊，缺失高频细节。和对照组相比，本文算法具有显著优势：既保留了大量高频细节，又在边缘处色彩过渡不突兀，整体融合效果最好。

图7（a）是输入的两幅“树”不同曝光情况的源图像。图7（b）~（f）分别是文献^[10-14]传统主流算法的融合结果图像，图7（g）~（j）分别是文献^[15-18]深度学习算法的融合结果图像。视觉效果上，除文献^[11，18]融合效果明显较差，大多数主流算法对此类场景融合效果较好。

综合以上主观评价，本文算法对低照度图像融合效果优异，同时对普通曝光场景图像也有不错的融合效果，鲁棒性好。

图5不同方法的多曝光图像（灯）融合结果

Fig.5Multi exposure image fused results of lamp for different methods

图6不同方法的多曝光图像（教堂）横向融合结果

Fig.6Multi exposure image fused results of chapel for different methods

图7不同方法的多曝光图像（树）融合结果

Fig.7Multi exposure image fused results of tree for different methods

2.3.2 客观评价

对数据集里的50个不同场景多曝光图像分别作融合，计算所有融合图像的客观指标MEF-SSIM和SSIM，将各对照算法和本文算法的指标分别绘制成图8和图9。可以直观地看到，大多数主流算法的MEF-SSIM指标集中在0.75~0.97，本文算法不同场景的MEF-SSIM指标均接近于0.99，鲁棒性好。另外，本文算法不同场景的SSIM指标较其他算法均位于较高水平。计算50个不同场景的MEF-SSIM和SSIM指标的平均值，制成表1，表中前3名的结果已加粗显示。可见，本文算法的MEF-SSIM指标仅次于文献^[14]算法，且SSIM指标最优异，综合指标（综合指标取MEF-SSIM和SSIM指标的平均值）优于绝大多数对比算法。

图8MEF-SSIM指标定量对比结果

Fig.8Quantitative comparison results of MEF-SSIM indicator

图9SSIM指标定量对比结果

Fig.9Quantitative comparison results of SSIM indicator

表1不同算法的50个场景融合指标平均值

Tab.1 Average value of 50 fusion indicators for different methods

在视觉对比方面，本文算法在细节保留度方面获得了较好的融合效果；在客观指标上，本文算法和文献^[14]均取得了较高的MEF-SSIM和SSIM值。此外，增加了与文献^[14]算法运行时间的对比，算法源码均是基于MATLAB语言编写，测试硬件平台是：AMD Ryzen 5 3500U CPU（8 G RAM）。单幅图像的运行时间对比如表2所示，可以看出，本文算法运行时间更短。

表2不同尺寸图像下运行时间比较

Tab.2 Comparison of running time of images with different sizes

2.4 小波分解层数对融合结果的影响

在其他变量不变的情况下，小波分解层数N不同，得到的融合图像明显具有不一样的视觉效果。从数据集里选取3个不同的场景，图10从上到下依次为场景1、场景2、场景3，分别对其进行5~8层小波分解，分别计算各融合图像的综合指标，制成表3。可见，对于不同的场景，其小波分解层数的最佳取值并不一致。

图10不同小波分解层数融合图像对比

Fig.10Comparison of fused images with different wavelet decomposition levels

表3不同小波分解层数融合综合指标

Tab.3 Comprehensive index of fusion under different wavelet decomposition levels

3 结论

本文为快速的极端曝光图像融合任务提供了一种新的解决方案，该算法面向亮度分量进行精细化多尺度融合，增强融合图像的细节；面向色调和饱和度分量采用纹理表征的粗融合，提升融合效率。此外，对低照度图像进行细节增强，提升极端曝光下图像融合的效果。

综合主观视觉效果和客观指标评价，本文算法相比于其他主流算法具有显著的优势。对于极端曝光场景，尤其是低照度夜景的图像融合问题，其他主流算法具有一定的局限性；而本文算法不仅适用于处理此类极端曝光图像的融合问题，对其他光照场景的图像融合问题也具备一定的兼容性。

在小波变换精细融合的过程中，如何自适应地设置合适的小波分解层数等相关参数，从而进一步简化算法、提升融合效率、改善图像融合质量，是未来的研究方向。

图1多尺度分解细节感知图像融合框架

Fig.1Framework for detail perception image fusion based on multi-scale decomposition

下载: 全尺寸图片

图2亮度增强映射曲线

Fig.2Brightness enhancement mapping curve

下载: 全尺寸图片

图3多曝光图像（车）消融实验

Fig.3Ablation experiment on multi exposure image (car)

下载: 全尺寸图片

图4多曝光图像（岩石）消融实验

Fig.4Ablation experiment on multi exposure image (rock)

下载: 全尺寸图片

图5不同方法的多曝光图像（灯）融合结果

Fig.5Multi exposure image fused results of lamp for different methods

下载: 全尺寸图片

图6不同方法的多曝光图像（教堂）横向融合结果

Fig.6Multi exposure image fused results of chapel for different methods

下载: 全尺寸图片

图7不同方法的多曝光图像（树）融合结果

Fig.7Multi exposure image fused results of tree for different methods

下载: 全尺寸图片

图8MEF-SSIM指标定量对比结果

Fig.8Quantitative comparison results of MEF-SSIM indicator

下载: 全尺寸图片

图9SSIM指标定量对比结果

Fig.9Quantitative comparison results of SSIM indicator

下载: 全尺寸图片

图10不同小波分解层数融合图像对比

Fig.10Comparison of fused images with different wavelet decomposition levels

下载: 全尺寸图片

表1不同算法的50个场景融合指标平均值

下载: 全尺寸图片

表2不同尺寸图像下运行时间比较

下载: 全尺寸图片

表3不同小波分解层数融合综合指标

下载: 全尺寸图片

图1多尺度分解细节感知图像融合框架

Fig.1Framework for detail perception image fusion based on multi-scale decomposition

图2亮度增强映射曲线

Fig.2Brightness enhancement mapping curve

图3多曝光图像（车）消融实验

Fig.3Ablation experiment on multi exposure image (car)

图4多曝光图像（岩石）消融实验

Fig.4Ablation experiment on multi exposure image (rock)

图5不同方法的多曝光图像（灯）融合结果

Fig.5Multi exposure image fused results of lamp for different methods

图6不同方法的多曝光图像（教堂）横向融合结果

Fig.6Multi exposure image fused results of chapel for different methods

图7不同方法的多曝光图像（树）融合结果

Fig.7Multi exposure image fused results of tree for different methods

图8MEF-SSIM指标定量对比结果

Fig.8Quantitative comparison results of MEF-SSIM indicator

图9SSIM指标定量对比结果

Fig.9Quantitative comparison results of SSIM indicator

图10不同小波分解层数融合图像对比

Fig.10Comparison of fused images with different wavelet decomposition levels

表1不同算法的50个场景融合指标平均值

表2不同尺寸图像下运行时间比较

表3不同小波分解层数融合综合指标

图1多尺度分解细节感知图像融合框架

Fig.1Framework for detail perception image fusion based on multi-scale decomposition

图2亮度增强映射曲线

Fig.2Brightness enhancement mapping curve

图3多曝光图像（车）消融实验

Fig.3Ablation experiment on multi exposure image (car)

图4多曝光图像（岩石）消融实验

Fig.4Ablation experiment on multi exposure image (rock)

图5不同方法的多曝光图像（灯）融合结果

Fig.5Multi exposure image fused results of lamp for different methods

图6不同方法的多曝光图像（教堂）横向融合结果

Fig.6Multi exposure image fused results of chapel for different methods

图7不同方法的多曝光图像（树）融合结果

Fig.7Multi exposure image fused results of tree for different methods

图8MEF-SSIM指标定量对比结果

Fig.8Quantitative comparison results of MEF-SSIM indicator

图9SSIM指标定量对比结果

Fig.9Quantitative comparison results of SSIM indicator

图10不同小波分解层数融合图像对比

Fig.10Comparison of fused images with different wavelet decomposition levels

表1不同算法的50个场景融合指标平均值

表2不同尺寸图像下运行时间比较

表3不同小波分解层数融合综合指标

HUANG L, LI Z P, XU C,et al. Multi-exposure image fusion based on feature evaluation with adaptive factor[J]. IET Image Processing,2021,15(13):3211-3220.

SHEN R, CHENG I, BASU A. QoE-based multi-exposure fusion in hierarchical multivariate Gaussian CRF[J]. IEEE Transactions on Image Processing,2013,22(6):2469-2478.

XU F, LIU J H, SONG Y M,et al. Multi-exposure image fusion techniques:a comprehensive review[J]. Remote Sensing,2022,14(3):771.

李翰林. 基于深度学习的高动态范围图像获取方法研究[D]. 成都: 电子科技大学,2021. LI H L. Research on methods of acquiring HDR images based on deep learning[D]. Chengdu: University of Electronic Science and Technology of China,2021.(in Chinese)

马夏一, 范方晴, 卢陶然, 等. 基于图像块分解的多曝光图像融合去鬼影算法[J]. 光学学报,2019,39(9):132-140. MA X Y, FAN F Q, LU T R,et al. Multi-exposure image fusion de-ghosting algorithm based on image block decomposition[J]. Acta Optica Sinica,2019,39(9):132-140.(in Chinese)

廖宇晗. 数字摄影高动态范围场景处理方法研究[D]. 杭州: 浙江大学,2015. LIAO Y H. Research on the solution of high dynamic range scenes in digital photography[D]. Hangzhou: Zhejiang University,2015.(in Chinese)

燕阳. 基于学习理论的多曝光图像特征提取与融合研究[D]. 重庆: 重庆邮电大学,2021. YAN Y. Research on feature extraction and fusion of multi-exposure images based on learning theory[D]. Chongqing: Chongqing University of Posts and Telecommunications,2021.(in Chinese)

王东. 基于卷积神经网络的高动态成像技术研究[D]. 西安: 西安电子科技大学,2020. WANG D. Research on high dynamic imaging technology based on convolutional neural network[D]. Xi′an: Xidian University,2020.(in Chinese)

余志俊. 高动态范围图像色调映射算法的研究与实现[D]. 北京: 北京交通大学,2010. YU Z J. Research and implementation on tone mapping for high dynamic range images[D]. Beijing: Beijing Jiaotong University,2010.(in Chinese)

SHEN R, CHENG I, SHI J B,et al. Generalized random walks for fusion of multi-exposure images[J]. IEEE Transactions on Image Processing,2011,20(12):3634-3646.

LI S, KANG X, HU J. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing,2013,22(7):2864-2875.

SHEN J B, ZHAO Y, YAN S C,et al. Exposure fusion using boosting Laplacian pyramid[J]. IEEE Transactions on Cybernetics,2014,44(9):1579-1590.

HOU X L, LUO H B, QI F,et al. Guided filter-based fusion method for multiexposure images[J]. Optical Engineering,2016,55(11):113101.

LI H, MA K D, YONG H W,et al. Fast multi-scale structural patch decomposition for multi-exposure image fusion[J]. IEEE Transactions on Image Processing,2020,29:5805-5816.

MA K D, DUANMU Z F, ZHU H W,et al. Deep guided learning for fast multi-exposure image fusion[J]. IEEE Transactions on Image Processing,2020,29:2808-2819.

JUNG H, KIM Y, JANG H,et al. Unsupervised deep image fusion with structure tensor representations[J]. IEEE Transactions on Image Processing,2020,29:3845-3858.

XU H, MA J Y, JIANG J J,et al. U2Fusion:a unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2022,44(1):502-518.

LI H, WU X J. DenseFuse:a fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing,2019,28(5):2614-2623.

刘超, 张晓晖, 胡清平. 超低照度下微光图像增强神经网络损失函数设计分析[J]. 国防科技大学学报,2018,40(4):67-73. LIU C, ZHANG X H, HU Q P. Design and analysis of loss functions of low-light level image enhancement neural networks under extreme low-light illumination[J]. Journal of National University of Defense Technology,2018,40(4):67-73.(in Chinese)

白本督, 李俊鹏. 基于注意力机制的多曝光图像融合算法[J/OL]. 光子学报.(2022-02-22)[2022-03-15].https://kns.cnki.net/kcms/detail/61.1235. O4.20220221.1616.002.html. BAI B D, LI J P. Multi-exposure image fusion based on attention mechanism[J/OL]. Acta Photonica Sinica.(2022-02-22)[2022-03-15].https://kns.cnki.net/kcms/detail/61.1235. O4.20220221.1616.002.html.(in Chinese)

张恩齐, 孔令胜, 郭俊达, 等. 基于Retinex理论的低照度图像对比度增强算法[J]. 机电工程技术,2022,51(3):95-98,144. ZHANG E Q, KONG L S, GUO J D,et al. Low illumination images based on Retinex theory contrast enhancement algorithm[J]. Mechanical & Electrical Engineering Technology,2022,51(3):95-98,144.(in Chinese)

张思琦. 基于多尺度变换的多传感器图像融合问题研究[D]. 长春: 吉林大学,2021. ZHANG S Q. Research on multi-sensor image fusion based on multi-scale transform decomposition[D]. Changchun: Jilin University,2021.(in Chinese)

秦绪佳, 王慧玲, 杜轶诚, 等. HSV色彩空间的Retinex结构光图像增强算法[J]. 计算机辅助设计与图形学学报,2013,25(4):488-493. QIN X J, WANG H L, DU Y C,et al. Structured light image enhancement algorithm based on Retinex in HSV color space[J]. Journal of Computer-Aided Design & Computer Graphics,2013,25(4):488-493.(in Chinese)

张红颖, 赵晋东. HSV空间的RetinexNet低照度图像增强算法[J]. 激光与光电子学进展,2020,57(20):201504. ZHANG H Y, ZHAO J D. RetinexNet low illumination image enhancement algorithm in HSV space[J]. Laser & Optoelectronics Progress,2020,57(20):201504.(in Chinese)

WANG W C, WU X J, YUAN X H,et al. An experiment-based review of low-light image enhancement methods[J]. IEEE Access,2020,8:87884-87917.

储霞, 吴效明, 黄岳山. 照度不均匀图像的自动Gamma灰度校正[J]. 微计算机信息,2009,25(18):292-293,274. CHU X, WU X M, HUANG Y S. Automatic Gamma gray-level correction of uneven illumination image[J]. Microcomputer Information,2009,25(18):292-293,274.(in Chinese)

刘晓春, 于起峰, 雷志辉. 增强景象匹配鲁棒性的灰度变换技术研究[J]. 国防科技大学学报,2010,32(3):48-52. LIU X C, YU Q F, LEI Z H. Researches into gray value transform to improve scene matching robustness[J]. Journal of National University of Defense Technology,2010,32(3):48-52.(in Chinese)

顾耀林, 王家亮. 基于色阶重建的彩色图像增强算法[J]. 计算机工程与设计,2007,28(17):4185-4186,4189. GU Y L, WANG J L. Algorithm of color image enhancement based on tone reproduction[J]. Computer Engineering and Design,2007,28(17):4185-4186,4189.(in Chinese)

郑恩壮, 钟宝江. 各向异性的多尺度边缘检测算法[J]. 激光与光电子学进展,2022,59(4):0412002. ZHENG E Z, ZHONG B J. Anisotropic multi-scale edge detection algorithm[J]. Laser & Optoelectronics Progress,2022,59(4):0412002.(in Chinese)

RasterGrid. Frei-Chen edge detector[EB/OL].(2011-1-30)[2022-03-15].https://www.rastergrid.com/blog/2011/01/frei-chen-edge-detector.

才溪. 多尺度图像融合理论与方法[M]. 北京: 电子工业出版社,2014. CAI X. Theory and method of multi-scale image fusion[M]. Beijing: Publishing House of Electronics Industry,2014.(in Chinese)

王江安, 肖伟岸. 基于区域特性量测的图像融合方法[J]. 光学与光电技术,2003,1(2):57-59,64. WANG J A, XIAO W A. A method for image fusion based on area feature measure[J]. Optics & Optoelectronic Technology,2003,1(2):57-59,64.(in Chinese)

WANG L T, HOOVER N E, PORTER E H,et al. SSIM:a software levelized compiled-code simulator[C]//Proceedings of the 24th ACM/IEEE Design Automation Conference,1987.

Home

About Journal

Guide for Authors

Editorial Board

Publication Statement

Open Access Statement

Contact

Journal Subscription

Rss

AI assistant

Chinese

1 基于多尺度分解细节感知的图像融合

2 实验结果比较与分析

3 结论