EN中文

自然资源遥感 >

2025 , Vol. 37 >Issue 3: 76 - 84

DOI: https://doi.org/10.6046/gyzyyg.2023379

技术方法

基于变换域多尺度加权神经网络的全色锐化

  • 马飞 ,
  • 孙陆鹏 ,
  • 杨飞霞 ,
  • 徐光宪
展开
  • 辽宁工程技术大学电子与信息工程学院,葫芦岛 125105
孙陆鹏(2000-),男,硕士研究生,主要从事遥感图像融合方面的研究。Email: 。

马飞(1978-),男,副教授,主要从事高光谱图像处理、雷达信号处理和凸优化方面的研究。Email: 。

Office editor: 陈昊旻

收稿日期: 2023-12-07

  修回日期: 2024-03-30

  网络出版日期: 2026-06-03

基金资助

2023年辽宁省自然科学基金计划面上项目“基于图神经网络的高光谱图像分辨率增强方法研究”(2023-MS-314)

辽宁省教育厅科学研究经费项目面上项目“高光谱遥感图像超分辨率与地物识别应用研究”(LJKZ0357)

收起

Pansharpening based on the multiscale weighted neural network in the transform domain

  • MA Fei ,
  • SUN Lupeng ,
  • YANG Feixia ,
  • XU Guangxian
Expand
  • School of Electronic and Information Engineering, Liaoning Technical University, Huludao 125105, China

Received date: 2023-12-07

  Revised date: 2024-03-30

  Online published: 2026-06-03

Fold

摘要

为了解决全色锐化过程中存在的空间与光谱信息融合问题,该文提出了一种在非下采样剪切波变换(non-subsampled shearlet transform, NSST)域下,基于多尺度加权的脉冲耦合神经网络(pulse-coupled neural network, PCNN)和低秩稀疏分解的全色图像和多光谱图像的锐化模型。该模型分为低频和高频处理模块,对于高频子带,提出了一种适用于不同尺度不同方向高频子带的加权方式,并针对其不同方向上的特性,采用一种自适应PCNN模型;对于低频子带,首先将其分解为低秩与稀疏2部分,并根据低秩部分与稀疏部分特点设计相应的融合规则,再采取逆NSST变换得到融合图像。实验在GeoEye,QuickBird与Pléiades数据集上进行,并针对高频信息多尺度加权模块设计了消融实验,相比于次优模型,峰值信噪比(peak signal-to-noise ratio,PSNR)值分别提高了约1 dB,1.6 dB和2.2 dB。实验结果表明,该模型在指标评估中优于其他算法,并有效解决高频信息提取困难问题。

关键词： 全色锐化; 非下采样剪切波变换; 多尺度加权; 脉冲耦合神经网络; 低秩稀疏分解

本文引用格式

马飞 , 孙陆鹏 , 杨飞霞 , 徐光宪 . 基于变换域多尺度加权神经网络的全色锐化[J]. 自然资源遥感, 2025 , 37(3) : 76 -84 . DOI: 10.6046/gyzyyg.2023379

Abstract

To address the issue of spatial and spectral information fusion during pansharpening, this study proposed a sharpening model for panchromatic and multispectral images based on the multiscale weighted pulse-coupled neural network (PCNN) and low-rank and sparse decomposition in the non-subsampled shearlet transform (NSST) domain. The sharpening model consists of low- and high-frequency processing modules. For high-frequency subbands, a method for weighting high-frequency subbands in various scales and directions was proposed, accompanied by an adaptive PCNN model tailored to their characteristics in different directions. In contrast, low-frequency subbands were decomposed into low-rank and sparse parts, with corresponding fusion rules created according to their characteristics. The fused image was then obtained through inverse NSST. The experiments on the sharpening model were conducted using GeoEye,QuickBird, and Pléiades datasets. Moreover, an ablation experiment was designed for the multiscale weighting module for high-frequency information. Compared to suboptimal models, the sharpening model in this study increased the peak signal-to-noise ratio (PSNR) value by approximately 1 dB, 1.6 dB, and 2.2 dB, respectively. The experimental results demonstrate that the sharpening model outperformed other algorithms in index assessment, effectively resolving the challenge of extracting high-frequency information.

Key words： pansharpening; non-subsampled shearlet transform; multiscale weighting; pulse-coupled neural network; low-rank and sparse decomposition

0 引言

遥感是通过探测仪器获取地球表面反射的电磁辐射能量的频谱、空间和时间变化数据等信息的技术,获取到的信息可以作用于异常场景检测和自然灾害预测等[1]。由于物理性质的限制,卫星获取的多光谱图像光谱分辨率高但空间分辨率较低,全色图像的空间分辨率高但光谱分辨率较低[2]。为了解决原始遥感图像自身存在的问题,使遥感图像在环境监测、光谱分解和植被覆盖等多个方面的应用更加全面,越来越多全色锐化方法被提出[3]。目前,传统的全色锐化方法主要包括:成分替换、深度学习和多分辨率分析。
传统成分替换法是将多光谱图像映射到另一个光谱空间,然后利用全色图像替换掉多光谱图像在投影空间中的某一信息分量,最后通过光谱空间映射的逆过程得到融合图像[4]。常见的分量替换法包括强度-色调-饱和度(intensity-hue-saturation,IHS)方法、主成分分析(principal component analysis,PCA)方法和Gram-Schmidt方法[5]。但采取全色图像直接替换多光谱图像的部分信息的方法,通常情况下会导致融合图像光谱失真明显,光谱分辨率降低。
近年来,深度学习在图像融合领域有着十分广泛的应用。基于深度学习的方法基本分为3个子类:源图像连接、特征连接和特征融合[6]。源图像连接类研究中Masi等[7]提出了第一个基于卷积神经网络的全色锐化方法概率神经网络(probabilistic neural network,PNN),拉开了深度学习应用于全色锐化领域的序幕;Scarpa等[8]探索了不同的架构和训练变化,并扩展了PNN作为一种目标自适应方法,以确保期望的性能。特征连接类中Jin等[9]建立了一个拉普拉斯金字塔来模拟不同频率下的空间信息。特征融合子类主要提取空间特征和光谱特征,然后通过图形注意模块进行集成,以强调信息特征图[10-11]。深度学习方法难点在于缺少训练集,同时训练后的网络易出现过拟合现象,进行不同场景下的全色锐化过程存在部分缺陷[12]。
多分辨率分析法需要将多光谱图像和全色图像通过不同滤波器变换到频域,该方法相较于其他方法可以较好地保留多光谱图像中的光谱信息[13]。常见的多分辨率分析法包括拉普拉斯变换法、金字塔变换法、小波变换法、离散小波变换法\非下采样轮廓波变换法和非下采样剪切波变换法(non-subsampled shearlettransform,NSST)等[14]。但上述方法在分解尺度较高的高频分量时,其所包含的细节信息不能很好地应用,导致该分解方法在尺度增加时融合性能提升较小。同时,不同频下的离散信息进行融合,无法针对源图像的区域特性进行捕捉融合。
针对现存问题,本文提出一种多尺度多方向加权方式下利用NSST结合脉冲耦合神经网络(pulse-coupled neural network,PCNN)的多光谱和全色图像融合的算法。该算法采取多尺度多方向加权的方式更全面地提取了高频分量所包含的细节信息,并设计了一种内部活动水平测量方法应用于PCNN中,使其更好捕捉遥感图像区域特性,实现全色图像与多光谱图像全色锐化融合。实验证明文章提出的方法在视觉质量和客观评估方面得到了令人满意的结果。

1 相关理论

1.1 NSST方法

NSST是一种多尺度、多方向的信号分析和处理方法[15]。将信号分解成不同尺度、不同方向和不同细节的小波系数,同时引入剪切波处理边缘信息,更加精细地保留信号的细节信息和局部特征,使融合算法具有更强的分析和处理能力。图1显示了二级 NSST分解的示意图。首先对图像经过非下采样金字塔(non-subsampled pyramid,NSP)滤波器多尺度分解生成低通和带通子带图像,再用移不变剪切波滤波(shearletfiltering,SF)器组对每一低通子带图像进行迭代以获取图像的分解层。NSST变换在图像的分解和重构过程中没有经过下采样操作,因此NSST变换具有平移不变性,在图像进行重构时可以克服伪吉布斯效应,提高图像融合算法的鲁棒性。然后利用剪切波滤波器将带通子带图像分解为多个方向的带通子带图像,实现图像的多方向分解。
图1 二级NSST分解示意图

Fig.1 Decomposition diagram of secondary NSST

1.2 自适应PCNN模型

PCNN[16]具有相似特征提取和临近耦合等特点,因此无需学习和训练即可从复杂背景中提取有效信息,并成功应用于图像融合领域[17]。应用于图像处理任务的PCNN模型一般是单层网络,该模型应用于图像处理领域时,每个信号像素都被视为一个神经元,每个神经元由3部分组成:接收域、调制域和脉冲发生器。PCNN模型计算公式为:
F i j ( n ) = S i j
L i j ( n ) = V L ∑ k , l W i j k l Y k l ( n - 1 )
W i j k l = 0.5 1 0.5 1 0 1 0.5 1 0.5
U i j ( n ) = e - α f U i j ( n - 1 ) + F i j ( n ) ( 1 + β L i j ( n ) )
E i j ( n ) = e - α h E i j ( n - 1 ) + V E Y i j ( n - 1 )
Y i j ( n ) = 1 , U i j ( n ) > E i j ( n ) 0 , U i j ( n ) ≤ E i j ( n )
式中:n为迭代次数;Sij为刺激信号;(k,l)为连接范围大小; F i j ( n )和 L i j ( n )分别为神经元的外界刺激输入与链接强度输入;Ykl为脉冲输出;Wijkl为增益强度; U i j ( n )为神经元内部活动项; E i j ( n )为点火阈值; Y i j ( n )为神经网络的脉冲发生器。在PCNN模型中存在5个自由设定参数分别为指数衰减系数 α f、链接强度 β、输入振幅 V L、阈值振幅 V E和阈值衰减系数 α h,这5个自由参数的计算公式参考文献[18]。

2 本文算法

本文算法在NSST域下,结合自适应PCNN和低秩稀疏分解实现全色图像和多光谱图像泛锐化。详细的融合方案如图2所示,其中包括4个步骤:遥感图像NSST分解、高频段融合、低频段融合和融合图像NSST重建。
图2 本文算法流程图

Fig.2 Algorithm flow chart of this article

2.1 遥感图像NSST分解

对多光谱图像与全色图像分别进行 ρ级NSST分解,分别得到它们的低频分量和 ρ级l方向上的高频分量 { L M , H M ρ , l }和 { L P , H P ρ , l },其中 L M为多光谱图像的低频分量; H M ρ , l为多光谱图像的高频分量; ρ 和 l为第 ρ级第l方向。同理 L P , H P ρ , l分别为全色图像的低频分量和第 ρ级第l方向的高频分量。

2.2 高频分量融合

经过NSST变换后,得到了不同尺度不同方向上的高频细节,但受到源图像自身输入能量的限制,高频细节中所包含的能量随着尺度数与方向数的增加而减少,从而导致高频信息中的细节不能很好地融入图像。为了解决这个问题,文章提出了一种针对不同尺度不同方向的加权方式,其计算方法为:
T ρ , l , k = ( 1 + e - ρ ) - e - ρ σ ρ , l H k ρ , l
式中: H k ρ , l为输入多光谱图像高频分量;Tρ,l,k为加权参数; σ ρ , l为NSST变换中不同尺度与方向下的纹理细节。此后,用原始高频信息减去滤波后的图像即可得到不同尺度不同方向上的细节纹理特点,因此加权后的高频分量$\widetilde{\boldsymbol{H}}_{k}^{\rho, l}$公式为:
$\widetilde{\boldsymbol{H}}_{k}^{\rho, l}=\boldsymbol{T}_{\rho, l, k} \cdot \boldsymbol{H}_{k}^{\rho, l}$。
利用高频分量融合方法将加权后的高频分量取绝对值后作为输入,多光谱图像与全色图像加权后的高频信息分别为$\left|\widetilde{\boldsymbol{H}}_{\mathrm{M}}^{\rho, l}\right|$和$\left|\widetilde{\boldsymbol{H}}_{\mathrm{P}}^{\rho, l}\right|$。接下来将$\left\{\left|\widetilde{\boldsymbol{H}}_{\mathrm{M}}^{\rho, l}\right|,\left|\widetilde{\boldsymbol{H}}_{\mathrm{P}}^{\rho, l}\right|\right\} \in \boldsymbol{H}_{i j}^{\rho, l}(n)$作为外部刺激矩阵输入到网络模型中。
根据高频信息自适应参数,将全色和多光谱图像不同尺度高频信息输入到PCNN模型中,并定义点火次数 t i j, t i j越大,表示越重要。通过比较各神经元tij大小,选取更重要参数保留到融合图像中,其公式为:
H i j H = H M i j , t i j M > t i j P H i j P , t i j M > t i j P
式中: H H i j为通过比较后选出的更重要的信息; t i j M和 t i j P分别为全色和多光谱图像点火次数。

2.3 低频分量融合

2.3.1 鲁棒主成分分解

在低频分量的融合过程中,需要保留原始多光谱图像背景信息的光谱特性,还要保证全色图像的纹理信息被尽可能地保留,同时减小在处理区域小纹理信息的过程中受到的较大噪声或严重离群点的影响。
对于多光谱图像与全色图像的低频信息,文章提出的模型采用鲁棒主分成分析(robust principal component analysis,RPCA)法[19]对低频信息 X M 和 X P进行分解,得到相应的低秩分量矩阵 A M和 A P以及稀疏分量矩阵 E M和 E P,其公式为:
X M = A M + E M
X P = A P + E P。
对低秩和稀疏分量分别采用不同的融合方法,以防止合成数据过程中减弱多光谱图像自身包含的各种纹理细节,使融合后得到的图像与真图像之间的相关性尽可能大。

2.3.2 低秩分量融合

本文结合低秩分量自身特点,利用低秩分量的冗余性,结合低秩分量的局部突变水平与局部能量信息,提出了一种根据图像自身活动水平加权的融合方式,从而更好地完成对融合图像的构建。
图像的局部突变水平可以反映图像对比度信息,从而克服由低秩信息自身对比度信息不敏感而导致的细节提取困难。局部突变水平SCM公式为:
$\boldsymbol{S C M}(i, j)=\sum_{\left(i_{0}, j_{0}\right) \in \Omega_{0}}\left[\boldsymbol{I}(i, j)-\boldsymbol{I}\left(i_{0}, j_{0}\right)\right]^{2}$
式中: Ω 0为局部作用范围尺寸大小; I ( i , j )为在 ( i , j ) 处 的 像 素 值。为了计算图像像素点 ( i , j )在相邻区域 ( 2 M + 1 ) × ( 2 N + 1 )的对比度,提出一种局部突变水平测度,其表达式为:
L S C M ( i , j ) = ∑ M a = - M 　 ∑ N b = - N S C M ( i + a , j + b )
式中:(a,b)为(i,j)处的扩展距离。
局部能量信息LE可以反映图像亮度变化的强度,其表达式为:
$\boldsymbol{L} \boldsymbol{E}(i, j)=\sum_{a=-M}^{M} \sum_{b=-N}^{N}(\boldsymbol{I}(i+a, j+b))^{2}$。
为了更好地提取通过低秩稀疏分解得到的低秩分量中所包含的细节信息,定义一个名为LDW的加权活动级别度量,其表达式为:
L D W ( i , j ) = ∑ r m = - r 　 ∑ r n = - r W ' I ( m + r + 1 , n + r + 1 ) × 　 　 　 　 　 　 E M L ( i + m , j + n )
式中 W ' I为一个半径为r的 ( 2 r + 1 ) × ( 2 r + 1 )的系数矩阵,其中系数的取值为设置为 2 2 r - d,d为到中心的四邻域距离。EML算法不仅考虑相邻元素的影响,同时还考虑到对角元素的影响,并根据欧式距离设定强度,其计算公式为:
E M L ( i , j ) = 2 S C M ( i , j ) - S C M ( i - 1 , j ) - S C M ( i + 1 , j ) + 2 S C M ( i , j ) - S C M ( i , j - 1 ) - S C M ( i , j + 1 ) + 1 2 2 S C M ( i , j ) - S C M ( i - 1 , j - 1 ) - S C M ( i + 1 , j + 1 ) + 1 2 2 S C M ( i , j ) - S C M ( i - 1 , j + 1 ) - S C M ( i + 1 , j - 1 )
式中 S C M ( i , j )为输入的全色图像与多光谱图像低频信息。通过结合上面2种局部特征最终活动水平度量以及局部特征权重值,本文定义了一种新的能够充分反映图像特征显著性的活动水平度量ALM,其表达式为:
A L M = ( L S C M ) 2 · ( L E ) 2 · L D W。
最终低秩分量LF的融合规则为:
L F = A L M A , A L M A > A L M B A L M B , A L M A < A L M B
式中ALMA和ALMB分别为多光谱图像与全色图像的低秩分量的活动水平度量。

2.3.3 稀疏分量融合

针对稀疏分量,PCNN可以更好地捕捉稀疏部分的区域特性,使得融合后的结果的真实性更高。因此在稀疏分量融合部分采用与高频融合分量相同参数自适应PCNN。得到多光谱图像与全色图像的低频分量融合结果 F L。

2.4 融合图像NSST重建

融合图像F最终通过对低频分量 F L与高频分量 F H ρ , l执行逆NSST变换来重建。

3 实验结果与性能分析

3.1 参数设置

为了验证所提出方法的有效性,本文分别在GeoEye,QuickBird和Pléiade数据集上进行测试,在实验中使用了4个波段(红色波段、绿色波段、蓝色波段和近红外波段)。测试的这些图像中描述的场景包含农田、城市和山区。经过预处理后,实验真实图像大小为64像素×64像素,多光谱图像大小为64像素×64像素,原始全色图像大小为256像素×256像素。本文列举了4种流行的全色锐化方法与1种深度学习方法,并与所提出的方法进行了比较,分别是:基于像素光谱调制法[20](hyperspectral pansharpening based on modulation of pixel spectra,HPF)、双尺度细节提取法[21](pansharpening using a guided image filter based on dual-scale detail extraction,DGIF)、引导滤波法[22](pansharpening multispectral remote-sensing images with guided filter, GF)、多尺度熵值匹配法[23](pan-sharpening framework based on multiscale entropy level matching and its application,STEM)和基于目标自适应卷积神经网络的全色锐化法[8](target-adaptive CNN-based pansharpening,PNNet)。

3.2 质量评价

本文采用7个指标评估所提出方法的客观性,分别为:峰值信噪比(peak signal-to-hoiseratio,PSNR),该参数用于衡量重构图像的质量,值越大表示重构图像质量越高;相关系数(correlation coefficient,CC),该参数用于计算参考图像与融合图像之间的相关性,值越大表示二者越接近,理想值为1;通用图像质量指数(universal image quality index,UIQI),反映了全色锐化结果的相关性损失、亮度失真和对比度失真,值越大表示融合效果越好,理想值为 1;相对无量纲全局综合误差(relative dimensionless global error synthesis,ERGAS),该参数反映融合图像的全局质量,理想值是0;光谱角度映射器(spectral angle mapper,SAM),用于计算向量之间光谱角度的绝对值,较小的值意味着较小的光谱角度失真,理想值为0;相对平均光谱误差(relative average spectral error,RASE),用于测量融合图像中每个波段的性能,理想值是0;均方根误差(root mean square error,RMSE),用计算像素值之间的差异,理想值是0。

3.3 性能比较

3.3.1 GeoEye数据集

实验首先在GeoEye卫星拍摄的农田图像上进行。全色锐化的结果如图3所示,其中图3(a)和(h)为理想的多光谱图像与其残差图。图3(b)—(g)和(i)—(n)为不同方法得到的结果图与其对应的残差图像。采用GF法得到的合成图像田野颜色明显偏紫,采用DGIF法得到的合成图像颜色偏绿,说明这2种方法在分解图像和融合图像的过程中产生了明显的光谱信息遗失。从图3(b)和(e)中可发现HPF法与STEM法生成的合成图像空间锐化程度过高,与理想参考图像产生明显残差。基于深度学习的全色锐化方法PNNet与本文所提出的方法在视觉效果以及残差图像上性能接近。表1给出了全色锐化的量化指标,最优值为加粗表示,次优值用下划线表示,后文同。通过量化指标的计算,本文提出的全色锐化算法在SAM和RMSE指标中相较于次优算法性能减少了约10%。此外,其他指标产生的结果也得到了显著的改善。结合视觉效果、残差图像和性能指标,证明本文提出的方法具有良好的性能,既能增强空间信息又能保持光谱信息。
图3 GeoEye数据集全色锐化结果

Fig.3 Pan-sharpening results on GeoEye dataset

表1 GeoEye数据集上的融合结果质量评价指标

Tab.1 Quality evaluation index of fusion results on GeoEye dataset

算法 性能指标
PSNR↑①/dB CC ↑ UIQI ↑ ERGAS ↓ SAM ↓ RASE ↓ RMSE ↓
HPF 38.634 7 0.954 1 0.953 4 1.214 9 0.018 8 4.890 9 3.434 8
DGIF 40.735 7 0.960 3 0.959 3 1.049 2 0.030 6 4.980 0 3.497 3
GF 42.096 4 0.976 7 0.976 3 0.785 6 0.018 3 3.543 6 2.488 6
STEM 40.906 9 0.968 4 0.965 7 1.047 0 0.025 9 4.883 8 3.429 7
PNNet 42.907 1 0.981 8 0.981 3 0.757 7 0.018 0 3.120 5 2.191 4
本文算法 43.848 2 0.984 9 0.984 3 0.684 2 0.017 0 2.868 1 2.014 2

①↑表示值越高越好,↓表示值越低越好。下同。

3.3.2 QuickBird数据集

由QuickBird卫星拍摄的城镇图像全色锐化结果,以及不同全色锐化算法的残差图像如图4所示。通过对比,不难发现基于HPF法,STEM法,DGIF法和GF法与PNNet法得到的合成图像有着不同程度的光谱失真。根据图4发现基于GF法,HPF法和DGIF法生成的合成图像与参考图像残差明显大于PNNet法与本文所提出方法。如表2所示,本文所提出的融合算法在SAM和RASE指标中相较于次优算法性能均提升10%以上。该例子说明本文所提出的算法可以产生令人满意的结果。
图4 QuickBird数据集全色锐化结果

Fig.4 Pan-sharpening results on QuickBird dataset

表2 QuickBird数据集上的融合结果质量评价指标

Tab.2 Quality evaluation index of fusion result on QuickBird dataset

算法 性能指标
PSNR↑/dB CC ↑ UIQI ↑ ERGAS ↓ SAM ↓ RASE ↓ RMSE ↓
HPF 25.586 4 0.795 9 0.793 9 6.994 3 0.111 7 26.044 9 14.517 1
DGIF 26.588 3 0.832 0 0.825 4 6.145 2 0.111 3 23.081 5 12.865 3
GF 26.603 2 0.826 9 0.823 6 6.441 5 0.109 9 23.941 7 13.344 8
STEM 26.208 5 0.839 1 0.837 2 6.355 9 0.117 5 24.812 8 13.830 3
PNNet 26.181 1 0.860 0 0.850 2 5.728 1 0.113 3 25.632 7 14.287 3
本文算法 28.130 9 0.878 6 0.862 3 5.0800 0.097 2 20.538 3 11.447 8

3.3.3 Pléiades数据集

实验还在Pléiades数据集上进行了对比,由图5不难发现GF法产生了很明显的光谱畸变。根据图5中所示,HPF法,STEM法和DGIF法得到的合成图像与理想图像残差对比明显,表3比较了不同融合方法得到的合成图像的客观融合指标。结果表明,本文方法在ERGAS和RASE等误差指标方面表现十分优异,相较于次优算法性能提升将近40%。综上所述,该次试验表明,本文中所提出的方法在全色锐化过程中有着更优秀的性能。
图5 Pléiades数据集全色锐化结果

Fig.5 Pan-sharpening results on Pléiades dataset

表3 Pléiades数据集上的融合结果质量评价指标

Tab.3 Quality evaluation index of fusion resul on Pléiades dataset

算法 性能指标
PSNR↑/dB CC ↑ UIQI ↑ ERGAS ↓ SAM ↓ RASE ↓ RMSE ↓
HPF 24.065 9 0.964 0 0.963 3 2.419 9 0.033 9 11.231 8 22.214 3
DGIF 24.727 8 0.964 8 0.964 1 2.240 0 0.054 4 10.991 5 21.739 1
GF 25.186 6 0.962 8 0.961 3 1.845 7 0.023 2 7.795 7 15.418 4
STEM 23.551 1 0.959 1 0.958 1 2.436 5 0.037 3 11.244 2 22.238 8
PNNet 27.351 8 0.980 2 0.978 9 2.015 4 0.045 8 9.964 9 19.708 7
本文算法 29.570 4 0.986 0 0.985 9 1.136 5 0.023 5 4.940 7 9.771 8

3.3.4 时间复杂度

在时间复杂度上,如表4所示,HPF法耗时最短,DGIF法与GF法耗时较短,PNNet法耗时略长,STEM法与本文所提出的锐化方法耗时接近。相较于其余几种对比算法,本文算法在3种不同数据集下耗时较长,这表明本文提出的算法在计算复杂度方向需要进一步改进。
表4 不同数据集下不同算法耗时结果

Tab.4 Time consumption results of different algorithms on different datasets

算法 耗时/s
GeoEye QuickBird Pléiades
HPF 0.624 1 0.748 4 0.587 3
DGIF 2.364 2 4.596 3 2.113 6
GF 2.012 3 4.218 2 2.423 7
STEM 16.425 2 18.743 9 15.256 2
PNNet 6.236 4 7.240 6 5.254 5
本文算法 15.215 1 20.484 6 13.728 1

3.4 消融实验

为了探究提出的高频信息多尺度多方向加权模块的有效性,进行了消融实验,如表5所示。采用以上3组数据集进行消融实验,实验结果均表明多尺度多方向加权模块有利于性能的提高。消融实验结果表明,在去掉多尺度多方向加权模块的情况下,所有参考指标性能均出现了很明显下降,证明本文提出的多尺度多方向加权模块的有效性,解决了当频率较高时,高频信息提取困难的问题。
表5 在3组数据集上的消融实验结果

Tab.5 The results of ablation experiments on three datasets

数据集 权重模块 PSNR↑/dB CC↑ RASE↓
GeoEye √ 43.848 2 0.984 9 2.868 1
× 43.732 8 0.984 5 2.902 9
Quick
Bird		 √ 28.130 9 0.868 6 20.538 3
× 28.091 1 0.877 9 20.630 5
Pléiades √ 29.570 4 0.986 0 4.940 7
× 29.467 4 0.985 9 5.012 3

4 结论

本文提出了一种基于NSST以及多尺度多方向加权的多光谱遥感图像泛锐化方法。该方法针对NSST多尺度多方向分解的特点,提出一种适配的加权方式,提高了融合的细节信息。同时考虑到PCNN脉冲特性,采取一种根据内部活动项的融合方式。该算法解决了高频信息提取困难问题,同时更好地捕捉融合图像的区域特征。通过与现有主流全色锐化方法对比,本文提出的算法在主观和客观指标上都具有良好性能。但是存在运行时间较长、时间复杂度高的问题,所以未来研究中应着重于构建一种更加轻量化融合网络。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
刘万军, 高健康, 曲海成, 等. 多尺度特征增强的遥感图像舰船目标检测[J]. 自然资源遥感, 2021, 33(3):97-106.doi:10.6046/zrzyyg.2020372.

Liu W J, Gao J K, Qu H C, et al. Ship detection based on multiscale feature enhancement of remote sensing images[J]. Remote Sensing for Natural Resources, 2021, 33(3):97-106.doi:10.6046/zrzyyg2020372.

[2]
Zhong S, Zhang Y, Chen Y, et al. Combining component substitution and multiresolution analysis:A novel generalized BDSD pansharpening algorithm[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(6):2867-2875.

[3]
Ghassemian H. A review of remote sensing image fusion methods[J]. Information Fusion, 2016,32:75-89.

[4]
Meng X, Shen H, Li H, et al. Review of the pansharpening methods for remote sensing images based on the idea of meta-analysis:Practical discussion and challenges[J]. Information Fusion, 2019,46:102-113.

[5]
Zhang K, Zhang F, Wan W, et al. Panchromatic and multispectral image fusion for remote sensing and earth observation:Concepts,taxonomy,literaturereview,evaluation methodologies and challenges ahead[J]. Information Fusion, 2023,93:227-242.

[6]
Yuan Q, Wei Y, Meng X, et al. A multiscale and multidepth convolutional neural network for remote sensing imagery pan-sharpening[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(3):978-989.

[7]
Masi G, Cozzolino D, Verdoliva L, et al. Pansharpening by convolutional neural networks[J]. Remote Sensing, 2016, 8(7):594.

[8]
Scarpa G, Vitale S, Cozzolino D. Target-adaptive CNN-based pansharpening[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9):5443-5457.

[9]
Jin C, Deng L J, Huang T Z, et al. Laplacian pyramid networks:A new approach for multispectral pansharpening[J]. Information Fusion, 2022,78:158-170.

[10]
Lei D, Chen P, Zhang L, et al. MCANet:A multidimensional channel attention residual neural network for pansharpening[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022,60:1-16.

[11]
Su X, Li J, Hua Z. Attention-based and staged iterative networks for pansharpening of remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022,60:1-21.

[12]
张杰, 王恒友, 霍连志, 等. 基于特征增强和Three-stream Transformer的高光谱遥感图像全色锐化[J/OL]. 自然资源遥感, 2024, (2024-12-11). https://link.cnki.net/urlid/10.1759.P.20241211.0942.012.

Zhang J, Wang H Y, Huo L Z, et al. Pansharpening of hyperspectral remote sensing images based on feature enhancement and three-stream transformer[J/OL]. Remote Sensing for Natural Resources, 2024, (2024-12-11). https://link.cnki.net/urlid/10.1759.P.20241211.0942.012.

[13]
Yin M, Liu W, Zhao X, et al. A novel image fusion algorithm based on nonsubsampledshearlet transform[J]. Optik, 2014, 125(10):2274-2282.

[14]
徐欣钰, 李小军, 赵鹤婷, 等. NSCT和PCNN 相结合的遥感图像全色锐化算法[J]. 自然资源遥感, 2023, 35(3):64-70.doi:10.6046/zrzyyg.2022159.

Xu X Y, Li X J, Zhao H T, et al. Pansharpening algorithm of remote sensing images based on NSCT and PCNN[J]. Remote Sen-sing for Natural Resources, 2023, 35 (3):64-70.doi:10.6046/zrzyyg.2022159.

[15]
Johnson J L. Pulse-coupled neural nets:Translation,rotation,scale,distortion,and intensity signal invariance for images[J]. Applied Optics, 1994, 33(26):6239-6253.

DOI PMID

[16]
Wang X, Bai S, Li Z, et al. The PAN and MS image pansharpening algorithm based on adaptive neural network and sparse representation in the NSST domain[J]. IEEE Access, 2019,7:52508-52521.

[17]
成丽波, 陈鹏宇, 李喆, 等. 基于剪切波变换和拟合优度检验的遥感图像去噪[J]. 吉林大学学报(理学版), 2023, 61(5):1187-1194.

Cheng L B, Chen P Y, Li Z, et al. Remote sensing image denoising based on shearlet transform and goodness of fit test[J]. Journal of Jilin University (Science Edition), 2023, 61(5):1187-1194.

[18]
Chen Y, Park S K, Ma Y, et al. A new automatic parameter setting method of a simplified PCNN for image segmentation[J]. IEEE Transactions on Neural Networks, 2011, 22(6):880-892.

DOI PMID

[19]
Gao Q, Zhang P, Xia W, et al. Enhanced tensor RPCA and its application[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(6):2133-2140.

[20]
Garzelli A, Capobianco L, Alparone L, et al. Hyperspectralpansharpening based on modulation of pixel spectra[C]// 2010 2nd Workshop on Hyperspectral Image and Signal Processing:Evolution in Remote Sensing.IEEE 2nd Workshop on Hyperspectral Image and Signal Processing:Evolution in Remote Sensing. 2010:1-4.

[21]
Jian L, Yang X, Wu W, et al. Pansharpening using a guided image filter based on dual-scale detail extraction[J]. Journal of Ambient Intelligence and Humanized Computing, 2018,1-15.

[22]
Li Q, Yang X, Wu W, et al. Pansharpening multispectral remote-sensing images with guided filter for monitoring impact of human behavior on environment[J]. Concurrency and Computation:Practice and Experience, 2021, 33(4):e5074.

[23]
Tao J, Song C, Song D, et al. Pan-sharpening framework based on multiscale entropy level matching and its application[J]. IEEE Transactions on Geoscience and Remote Sensing. 2022,60:1-21.

Options
文章导航

/

〈 〉