EN中文

Remote Sensing for Natural Resources >

2025 , Vol. 37 >Issue 3: 113 - 122

DOI: https://doi.org/10.6046/zrzyyg.2024060

A classification network of hyperspectral images with multi-scale feature fusion

  • WEI Lin , 1, 2 ,
  • RAN Haoxiang , 1 ,
  • YIN Yuping 3
Expand
  • 1. School of Software, Liaoning Technical University, Huludao 125105, China
  • 2. Department of Basic Education, Liaoning Technical University, Huludao 125105, China
  • 3. School of Electrical and Control Engineering, Liaoning Technical University, Huludao 125105, China

Received date: 2024-02-02

  Revised date: 2024-05-07

  Online published: 2026-06-03

Fold

Abstract

The classification of hyperspectral images faces challenges like ineffective extraction of multi-scale features and easy loss of pose information. Considering these challenges, this study proposed a classification network of hyperspectral images with multi-scale feature fusion-the hierarchical multi-scale concatenation net (HMC-Net). Initially, multi-scale convolution kernels were applied for parallel computing to extract multi-level features. Meanwhile, the 1×1 convolutional kernels were employed to reduce input-output dimensions, balancing computational complexity. These operations enabled efficient feature extraction without significantly increasing the overall computational burden. Subsequently, independent capsule networks were used for parallel processing of features at various scales. The max pooling was improved via dynamic routing to enhance the translation invariance of features, thereby reducing the loss of pose information. Finally, the concatenate operation integrated feature maps of different scales, thereby achieving a precise analysis of multi-level information in the classification of hyperspectral images. Comparative experimental results demonstrate that the HMC-Net achieved an overall accuracy of 94%, 98%, and 99% on the Kennedy Space Center, University of Pavia, and Salinas datasets, respectively. Compared to the latest classification model of hyperspectral images, the HMC-Net exhibited significant performance advantages, validating its effectiveness.

Key words： hyperspectral image; multi-scale feature; pose information; capsule network; dynamic routing

Cite this article

WEI Lin , RAN Haoxiang , YIN Yuping . A classification network of hyperspectral images with multi-scale feature fusion[J]. Remote Sensing for Natural Resources, 2025 , 37(3) : 113 -122 . DOI: 10.6046/zrzyyg.2024060

0 引言

高光谱图像(hyperspectral image,HSI),作为一种蕴含深厚物理和化学特性的遥感数据源,在地球科学、资源勘探以及环境监测等领域显示出巨大的应用潜力[1-3]。在这些应用中,HSI分类是重要的步骤之一。HSI分类任务本质是对像素的光谱特征实现精确的地表识别,以助力科研和决策。
HSI分类任务,特别是对其的特征提取,在机器学习和图像分析领域中占据着至关重要的地位,长期以来一直是研究者们热切关注的课题。这一任务虽然对机器构成了显著挑战,但可以通过人工标注图像来创建精确的标签,为监督学习提供高质量的训练数据,从而有效地支持学习过程。在特征提取的领域中,解决问题的主要方法分为2种:一是基于像素的方法;二是基于区域的方法。在基于像素的分类方法中,每个像素被单独分类,主要依据其独立的光谱信息,而不考虑与周围像素的空间关联[4],这种方法虽然直接,但存在明显的局限性,因为它忽略了像素之间可能存在的重要空间关系。相对地,基于区域的方法是一种更为高效的方法,是将数据立方体作为一个整体进行分析,从而同时利用空间和光谱信息[5]。这种方法更全面地考虑了像素间的空间联系,为更准确的图像分析提供了可能。故本研究着重探讨基于区域的分析方法。
神经网络,特别是自20世纪70年代发展起来的卷积神经网络(convolutional neural network,CNN)[6],在处理此类问题上已经有显著的效果。网络架构如AlexNet[7],ResNet[8]和GoogLeNet[9],虽然最初是为处理可见光中的红色、绿色和蓝色波段而设计的,但它们对多通道数据分析同样适用且有效。随着CNN在图像处理领域的广泛应用,其在HSI分类任务中展现出的卓越性能已通过众多研究得到证实[10-12]。例如: 3D-CNN被用于提取HSI的特征[13];注意力机制的引入[14]优化了特征图的提取;HybridSN[15]和SpectralFormer[16]等网络结构也在HSI分类精度上取得了突破。值得注意的是,近年来的研究[17-18]进一步提出了多种方法以提高分类准确性。上述研究虽然在HSI分类任务中取得了显著成就,但其在模型深度增加、池化操作减少空间信息等方面仍存在局限性。尤其是CNN卷积滤波器无法表示特征的变换活动,因而无法有效识别对象姿态信息。
为了克服传统CNN方法的局限性,Hinton等[19]率先提出了胶囊网络的概念。胶囊是一组描述实体姿态和存在概率的神经元,比CNN中的标量神经元包含更多关于实体属性的信息。Sabour等[20]提出的胶囊网络(capsule network,CapsNet)通过活动向量的长度和方向分别编码对象存在的可能性和姿态,进一步提升了胶囊网络在图像分析领域的性能。进一步地,Zhang等[21]将胶囊网络应用于HSI分类,取得了重要成果。此外,Hinton等[22]提出了带有期望最大化(expectation maximization,EM)路由的矩阵胶囊,解决了CapsNet中动态路由算法的某些不足[20],如使用高斯簇的负对数方差来测量姿态向量之间的一致性,以及以矩阵而非向量长度来表示姿态[22]。现有的胶囊网络尽管在HSI分类任务中改进了CNN的一些问题,但在解析随尺度变化的复杂光谱-空间特征时遇到明显挑战。特别是在多尺度特征的捕捉和解析方面,胶囊网络往往无法充分提取光谱特征,从而影响了对HSI中丰富地物细节和多层次信息的有效解析,从而降低分类过程的精度。
综上,在HSI分类任务中本研究将要解决的问题是:卷积网络[23]中的池化操作常导致空间信息减少,从而降低了对对象姿态信息的有效识别能力;胶囊网络[24]在提取多尺度光谱特征方面的能力尚不足够。为了克服现有方法的局限性,本文提出了一种多尺度特征衔接的高光谱分类网络(hierarchical multi-scale concatenation net,HMC-Net)。首先,通过多尺度卷积核提取多层次的特征,并运用1×1卷积核以减少输入输出的维度,有效降低网络计算的复杂度;随后,HMC-Net分别对每个尺度的特征图施加独立的胶囊网络处理,通过采用动态路由机制改进传统的最大池化,这样不仅减小了特征图的尺寸,还通过胶囊网络内的姿态矩阵增强了特征的平移不变性;最后,通过concatenate操作衔接整合不同尺度的特征图,从而实现对HSI中多层次信息的精确解析。

1 研究方法

1.1 HMC-Net整体结构设计

本文设计的用于HSI分类任务的HMC-Net模型整体结构如图1所示。该模型结构分为5个部分,分别负责不同的处理和分析任务。首部分负责数据预处理,通过主成分分析(principal component analysis,PCA)降维,并对图像进行边缘填充及图像分割;第二部分为初始化层,使用5×5的卷积核,初步提取特征,为深度学习提供基础;第三部分采用类Inception模块的多尺度结构,通过3×3到11×11不同大小的卷积核提取丰富特征,增强模型对细节的识别能力;第四部分为胶囊层,包含1个主胶囊层(Primary Caps)和2个数字胶囊层(Conv Caps1和Conv Caps2);最后部分是分类胶囊层,模型将提取的多尺度特征进行整合,并根据特征图中的激活值进行最终的图像分类。
图1 HMC-Net网络结构图

Fig.1 HMC-Net network structure

1.2 数据预处理模块

数据预处理阶段如图2所示,旨在提高计算效率,降低数据冗余,并调整以满足模型的输入要求。原始高光谱数据集具有m×n的空间分辨率和k个光谱波段。首先执行PCA降维处理,将数据集从k个光谱波段压缩至d个信息最丰富的波段,目的在于提高计算效率并减少冗余数据。随后,为了适应模型的输入需求并保持边缘像素的信息,对数据集进行零填充操作。具体而言,考虑到选定的窗口大小为w×w,数据集的所有四周填充宽度为p个像素的零边界,使得处理后的数据维度变为(m+2p)×(n+2p)×d。接下来,采用w×w的像素块(patch)对填充后的图像进行逐像素滑动窗口操作,步长设为1,确保每个原始像素点都能成为中心点。这一过程生成了m×n个样本,体现了本模型是基于区域的方法。然而,由于数据集中含有大量背景信息,对模型训练无益,因此排除了所有标记为背景(标签值为0)的样本。在每次训练中,按顺序从数据集中选取64个样本形成一个批次。经过上述预处理步骤,模型的输入数据格式最终确定为64×w×w×d。
图2 数据预处理

Fig.2 Data preprocessing

1.3 初始卷积与激活模块

模型的初始化阶段(图3)能增强模型对原始数据中复杂特征的学习和提取能力。具体为首个卷积层采用64个5×5×d的卷积核,以提取多维度特征。通过这种方式,从原始数据的通道中提取出64个不同的特征图,其中2个示例特征图如图4所示。紧接着是归一化层和线性整流函数(rectified linear unit,ReLU)激活层。这些层共同作用于经过卷积处理的数据。归一化层负责标准化特征图,以提高模型的泛化能力并加速训练过程;ReLU层则负责引入非线性,增强模型对复杂数据结构的学习能力。通过这2层处理后,数据的结构尺寸保持不变。
图3 初始化卷积模块

Fig.3 Initialization convolution module

图4 初始卷积层特征图

Fig.4 Feature maps of initial convolutional

1.4 多尺度胶囊卷积模块

多尺度胶囊卷积模块如图1中的多尺度卷积层和胶囊层所示,旨在提取HSI的多尺度特征以及姿态信息,从而提高模型在复杂数据上的表现能力和分类准确性。多尺度胶囊卷积模块采用了一个类似于Inception的结构,用于处理经过ReLU激活的数据。起始阶段包括1个配备1×1×64卷积核的调整层,旨在为后续多尺度卷积层调整特征图的数量。具体来说,在处理3×3和5×5尺寸卷积核的路径时,该调整层的输出特征图数量为96。随后的3×3和5×5卷积层进一步处理这些特征图,最终输出128个特征图。这种设计旨在捕捉更精细的空间特征,同时通过增加卷积核数量来增强特征提取能力。而针对更大尺寸卷积核路径(即7×7,9×9和11×11),调整层输出的特征图数量为16。经过7×7,9×9和11×11卷积层的处理后,每个卷积层最终都输出64个特征图。这种设计既降低了参数量,又能有效捕捉粗糙的空间特征,即通过在不同大小卷积核的使用上做出调整,在HSI处理中实现模型简化与特征精准提取的平衡。
紧接这些卷积层的是主胶囊层,它结合了姿态信息和激活值。此后,模型引入了2个数字胶囊层。最终,5个不同卷积核路径输出的特征图通过concatenate操作按特征图维度进行拼接。在模型的最末端,通过分类胶囊层进行分类处理。不同于传统的全连接层,这一分类层基于特征图中的激活值进行投票,以实现有效的分类。

1.5 胶囊层模块和EM算法

多尺度胶囊卷积模块中的胶囊层结构如图5所示。主胶囊层通过结合姿态信息和激活值,增强特征表征的丰富性和精确度。在该层中,姿态信息的计算公式为:
图5 胶囊层模块

Fig.5 Capsule layer module

C = B × P 2
式中:C为姿态信息特征图数量;B为胶囊的类型数量;P为姿态矩阵的尺寸。通过应用1×1×128的卷积核,姿态层生成了C个包含姿态信息的特征图。同样,激活层也采用了1×1×128的卷积核,生成32个包含激活值的特征图,最终共同产生了一个维度为C+32的特征图。在此之后,模型集成了2个数字胶囊层,它们都采用EM路由算法以优化处理效果。具体来说,第一个数字胶囊层使用了272个3×3×544的卷积核,以捕捉更复杂的特征信息;第二个数字胶囊层采用了136个3×3×272的卷积核,进一步精细化特征提取和处理。
EM路由算法在本模型中起到了选择最佳胶囊路径以优化信息流的关键作用。该算法包含最大化步骤(maximization,M)与期望步骤(expectation,E),其中M步测算胶囊输出的均值和方差,E步识别输入向量对应的输出胶囊。E步公式为:
Q ( θ | θ t ) = E [ l o g L ( θ | Z ) | X , θ t ]
式中: θ是参数;Z是潜在变量;X是观测变量;L是似然函数;t是迭代次数;Q(θ| θt)是Z的对数似然期望,这里Q函数的计算为后续的M步准备。M步公式为:
θ t + 1 = a r g m a x θ Q ( θ | θ t )
即通过最大化E步中的Q函数来得到新的参数估计 θ t + 1。EM算法的收敛性质是在每次迭代后, l o g L θ t | X不会减小,并且最终收敛到一个局部最大值或鞍点。

1.6 损失函数

在胶囊网络中,变换矩阵W将来自较低层的胶囊(一组神经元)的输出转换成更高层胶囊的输入,使得低级胶囊能够预测高级胶囊的激活状态。HMC-Net采用扩散损失函数来训练这一变换矩阵W。该损失函数是为优化胶囊网络而专门设计的,旨在减弱模型权重初始化的影响,并简化超参数调整过程。Li的扩散损失计算公式为:
$L_{i}=\left(\max \left(0, g-\left(a_{j}-a_{i}\right)\right)\right)^{2}$
式中:Li用于计算单个非目标类别i在损失函数中的贡献;g为间隔;aj和ai分别为目标类j和非目标类i的激活。当真实类别与其他类别的预测差异小于间隔g时,模型将受到预测与间隔之间平方差的惩罚。为避免训练初期出现无效胶囊,初始间隔g设定为较低的0.2。

2 实验结果与分析

2.1 数据集及评价指标

为了全面评估新提出的HMC-Net模型的性能,本研究选取了3个公开的高光谱遥感成像数据集进行综合实验。具体包括:肯尼迪航天中心数据集(https://ehu.eus/ccwintco/index.php?title=Hyperspectral_Remote_Sensing_Scenes#Kennedy_Space_Center_(KSC))、帕维亚大学数据集(https://ehu.eus/ccwintco/index.php?title=Hyperspectral_Remote_Sensing_Scenes#Pavia_Centre_and_University)和萨利纳斯数据集(https://ehu.eus/ccwintco/index.php?title=Hyperspectral_Remote_Sensing_Scenes#Salinas)。以下是这些数据集的详细信息:
1)肯尼迪航天中心数据集是一种遥感数据集,源自美国肯尼迪航天中心附近地区。这个数据集一共有13个类别,包含224个光谱波段,去除水汽噪声后还剩176个波段。原始图像的分辨率为512像素×614像素,每个像素对应现实中18 m×18 m的区域。为了优化HMC-Net模型的计算效率,通过PCA技术将波段数降维至20个,图像扩展至532像素×634像素的尺寸后细分为若干21像素×21像素的小块。在构建实验数据集的过程中,排除所有背景像素块(即像素标签为0的区域)。经过以上数据预处理,最终从总体样本中随机选取260个构成训练集,1 980个用于验证集,2 971个作为测试集,其中训练集占总体样本的5%。
2)帕维亚大学数据集是一个在HSI分类和聚类算法研究中广泛应用的标准数据集,由意大利帕维亚大学收集。该数据集的大小为610像素×340像素,空间分辨率为1.3 m,原始包含103个波段。它覆盖了城市、农村和野外3种不同的场景,展现了多样的地面物体,包括各种建筑、土地覆盖和植物类型。经过数据预处理将原始波段数压缩至20个,且划分成19像素×19像素的小图像块。整个数据集被分为训练集(共4 277个样本)、验证集(共11 549个样本)和测试集(共26 950个样本),其中训练集占总体样本的10%。
3)萨利纳斯数据集是专为HSI分类而设计的数据集,由高级可见/红外成像光谱仪(airborne visible infrared imaging spectrometer,AVIRIS)获取。它包含了从美国加利福尼亚州萨利纳斯山谷地区收集的HSI。其影像尺寸为512像素×217像素,空间分辨率为3.7 m;原始影像共有224个波段,去除受噪声影响的波段后,剩余204个波段可用于分类。研究区域有16种地物类型,包括蔬菜、裸土、葡萄园等。原始图像经过数据预处理得到波段数为30个、尺寸为23像素×23像素的小块。在总体样本中,训练集有2 706个样本,验证集25 711个样本,测试集25 712个样本,其中训练集占总体样本的5%。
本文采用6种通用的性能评估指标,以全面评估所提出的网络模型。这些指标分别是: ①整体精度(overall accuracy,OA),反映模型正确分类样本的比例,提供一个直观的性能评价; ②平均精度(average accuracy,AA),评估模型在各个类别上的性能,验证模型在所有类别上是否有均衡的表现; ③分类精度,衡量模型预测的正类样本中有多少是准确的; ④召回率,衡量所有正类样本中有多少被模型正确预测; ⑤卡帕系数(Kappa),用于评估模型性能超出随机水平的程度; ⑥F1分数,作为分类精度和召回率的调和平均数,提供一个关于模型在分类精度和召回率方面的综合性能评估。这些指标的公式分别为:
O A = 1 N ∑ i = 1 r x i i
A A = 1 N ∑ i = 1 r A i
P = T P T P + F P
R = T P T P + F N
K a p p a = N ∑ i = 1 r x i i - ∑ i = 1 r ( N i + N + i ) N 2 - ∑ i = 1 r ( N i + N + i )
F = 2 P R R + P
式中:P为分类精度;R为召回率;F为F1分数;r为类别总数量;N为样本总数量;xii为第i类被识别成第i类的样本数;Ai为第i类的精度;Ni+和N+i分别为第i行和第i列的边际总和;TP为正确识别为正样本的实例数量;FP为错误地将负样本识别为正样本的情况;FN为错过的正样本,即将本应识别为正的样本错误地判断为负样本。

2.2 实验设置

本研究的训练和测试环境建立在PyTorch 1.10.2框架上,配合CUDA 11.3进行加速。采用Adam优化器,结合指数衰减学习率优化策略训练模型,初始学习率设定为0.003,并随着迭代次数的增加,按照0.96的衰减率逐步降低。批处理大小(batch size)统一设置为64。针对不同的数据集,即肯尼迪航天中心数据集、帕维亚大学数据集和萨利纳斯数据集,分别设定400,300和200轮的训练周期(epoch),旨在实现每个数据集的最优模型性能。
硬件环境:操作系统Windows 11、处理器为Intel Core i7-12700H,显卡为NVIDIA RTX 3070 Ti,显存为8 GB,内存为16 GB。

2.3 消融实验及分析

为了验证所提出的HMC-Net模型的有效性,在萨利纳斯数据集上开展了消融实验。消融实验主要在不同模型上通过OA,AA和Kappa这3个指标进行对比,各模型的相关参数设置和训练策略均保持一致。本文选择2个模型与本文模型进行对比(表1),消融实验对比结果见表2。
表1 HMC-Net模型组合结构

Tab.1 Combination structure of HMC-Net

模型名称 模型介绍
HMC-0 只使用单尺度卷积核的胶囊网络模型
HMC-1 使用最大池化层的多尺度卷积网络模型
HMC-Net(本文) 多尺度网络模型+改进最大池化层的网络模型
表2 消融实验结果

Tab.2 Results of ablation experiment(%)

模型名称 OA AA Kappa
HMC-0 97.42 97.01 98.02
HMC-1 92.43 91.96 92.36
HMC-Net(本文) 99.31 98.86 99.23
由表2数据可知,通过多尺度卷积核提取多层次特征并用胶囊网络中的动态路由机制改进最大池化层后,HMC-Net的整体性能得到了显著提升。与HMC-0相比,HMC-Net在OA,AA和Kappa这3个关键性能指标上分别提升了1.94%,1.91%和1.23%;与HMC-1相比,这些指标提升分别为7.44%,7.50%和7.44%。从HMC-0与HMC-Net的对比中可以看出使用多尺度卷积核可以捕获丰富的多层次特征,从而有效地增强胶囊网络对HSI中地物细节和多层次信息的处理能力。从HMC-1与HMC-Net的对比中可见,采用胶囊网络中动态路由机制改进传统的最大池化,可以避免池化层丢失物体的准确位置和姿态信息,实现增强模型特征的平移不变性,从而进一步提升特征提取能力。
消融实验分类结果表明(图6),相比于HMC-0和HMC-1,HMC-Net模型可以更精准地展现分类结果。这得益于HMC-Net使用多尺度卷积核能提取丰富层次特征以及使用胶囊网络可有效保留物体姿态信息,使其能更全面地提取HSI的特征细节。
图6 消融实验分类结果图

Fig.6 Classification results of the ablation experiment

2.4 对比实验及分析

为了验证本文提出的HMC-Net的有效性,将其与现有模型在肯尼迪航天中心数据集、帕维亚大学数据集和萨利纳斯数据集上进行比较。对比模型有SPP[25],DCNN[26],3-D CNN[27],SPL-SR[28],CNN_HSI[29]和SpectralNET[30]。定量分析采用OA,AA,F1分数和召回率作为实验评价指标。

2.4.1 在肯尼迪航天中心数据集上的对比实验

多种分类模型在肯尼迪航天中心数据集上的性能对比如图7所示,各模型相对于人工标注的真实情况表现出不同程度的分类精度,其中本文提出的HMC-Net模型优势明显,准确反映了地物分类的细节。
图7 肯尼迪航天中心数据集定性对比实验结果

Fig.7 Qualitative comparative experimental results on the Kennedy space center dataset

上述不同模型在肯尼迪航天中心数据集上分类结果的定量分析见表3。由表3可知,HMC-Net模型在肯尼迪航天中心数据集上AA为92%,OA为94%,F1分数为93%,召回率为94%。实验表明:相较于其他对比模型,HMC-Net模型在OA上分别提升了3百分点、1百分点、1百分点、2百分点、1百分点和7百分点。在其他关键性能指标上,HMC-Net同样表现出显著的改善。
表3 肯尼迪航天中心数据集定量对比实验结果

Tab.3 Quantitative comparative experimental results on the Kennedy space center dataset(%)

量化
指标		 SPP DCNN 3-D
CNN		 SPL-
SR		 CNN_
HSI		 Spectral-
NET		 HMC-Net
(本文)
AA 92 92 86 91 89 85 92
OA 91 93 93 92 93 87 94
F1分数 95 94 86 92 89 85 93
召回率 93 93 93 93 93 86 94

2.4.2 在帕维亚大学数据集上的对比实验

各类对比模型在帕维亚大学数据集上的分类结果如图8所示。从图中可以看出,HMC-Net在分类结果图中均取得了最优的分类效果。
图8 帕维亚大学数据集定性对比实验结果

Fig.8 Qualitative comparative experimental results on the Pavia university dataset

不同模型在帕维亚大学数据集上分类结果见表4。由表4可知,HMC-Net模型在帕维亚大学数据集上AA为97%,OA为98%,F1分数为98%,召回率为97%。相较于其他6种对比模型,HMC-Net在AA,OA,F1分数和召回率4个指标上均有提升。综上所述,与对比模型相比,HMC-Net模型在帕维亚大学数据集上具有较好的分类效果,并且相比其他对比模型有显著的优势,验证了HMC-Net模型的鲁棒性和泛化性。
表4 帕维亚大学数据集定量对比实验结果

Tab.4 Quantitative comparative experimental results on the Pavia university dataset(%)

量化
指标		 SPP DCNN 3-D
CNN		 SPL-
SR		 CNN_
HSI		 Spectral-
NET		 HMC-Net
(本文)
AA 95 88 94 88 93 89 97
OA 93 92 94 84 94 91 98
F1分数 94 89 92 86 92 92 98
召回率 96 90 94 89 96 90 97

2.4.3 在萨利纳斯数据集上的对比实验

HMC-Net在萨利纳斯数据集上具有更好的分类结果(图9),从小类别到大类别的提取结果都更为精细,分类效果更接近人工标注的真实标签图。
图9-1 萨利纳斯数据集定性对比实验结果

Fig.9-1 Qualitative comparative experimental results on the Salinas dataset

图9-2 萨利纳斯数据集定性对比实验结果

Fig.9-2 Qualitative comparative experimental results on the Salinas dataset

从表5可以看出,对于萨利纳斯数据集,本文所提方法仍然保持了最先进的性能,其AA,OA,F1分数和召回率均为99%。
表5 萨利纳斯数据集定量对比实验结果

Tab.5 Quantitative comparative experimental results on the Salinas dateset(%)

量化
指标		 SPP DCNN 3-D
CNN		 SPL-
SR		 CNN_
HSI		 Spectral-
NET		 HMC-
Net(本文)
AA 81 93 98 96 97 94 99
OA 76 89 96 93 95 89 99
F1分数 83 92 97 95 98 94 99
召回率 78 87 99 94 96 92 99

2.4.4 模型参数量对比实验

对于HSI的分类,有的模型结构复杂[31-33],有的捕获的特征不够丰富[34-36],因此需要建立高效的分类模型,能够在保证高精度的同时,快速处理大量的遥感图像数据。引入多尺度卷积的策略涉及多个尺度的卷积层的并行计算,因而会提高计算复杂度。因此,本文模型通过加入1×1的调整层来实现根据不同卷积核大小调整输出通道数,这样可以在不降低模型OA的同时不增加过多并行计算时的参数量。从图10可见,与没有使用多尺度卷积的胶囊网络模型(CapsNet)以及其他模型相比,本文模型HMC-Net在提高精度优势的同时,仅少量增加了模型的参数量,使其适用于实际的图像分类任务。
图10 模型参数量和OA对比图

Fig.10 Comparison chart of model parameter quantity and OA

2.5 实验探究

从消融实验和对比实验可以看出:
1)在萨利纳斯数据集上,相较于HMC-0和HMC-1,HMC-Net在OA,AA和Kappa这3项指标上均显著提升。这得益于HMC-Net使用多尺度卷积核有效捕获丰富的层次特征,超越了没有多尺度特征提取能力的HMC-0; HMC-Net中胶囊网络的动态路由机制改善了最大池化层在池化过程中姿态信息损失的局限,增强了对HSI地物细节与层次信息的识别,优于使用最大池化的HMC-1。
2)各种对比模型各有其优点和缺点。SPP允许变化的输入大小,有效地解决了CNN面临的固定输入尺寸问题,但未能充分利用光谱信息进行分类。DCNN基于迁移和多任务学习能实现高准确率,但这种模型要在大数据集上才能达到最佳性能。3-D CNN使用三维卷积核高效地结合了空间和光谱信息,对噪声同样具有鲁棒性,但未能有效利用姿态信息。SpectralNET有效利用光谱信息的同时保持了较高的分类精度,但其参数量较高。
3)HMC-Net模型在利用多尺度卷积核提取特征和保留物体姿态信息方面具有显著优势,相比本文其他模型能够更准确地反映分类结果。通过引入1×1调整层有效控制模型的计算复杂度,HMC-Net在提升精度的同时,相比其他模型仅少量增加了参数量。

3 结论

本文提出的多尺度特征衔接分类网络在HSI分类上取得较好的效果,具体结论如下:
1)使用多尺度卷积核可以提取多尺度特征,从而有效解析HSI中复杂的地物细节和多层次信息。同时,利用1×1卷积核不改变特征图尺寸的特点减少输入输出的维度,保证并行计算提取多尺度特征时不会显著增加计算复杂度。
2)使用胶囊网络改进传统的最大池化层,减少特征图尺寸的同时还能有效保持特征的平移不变性,避免地物姿态信息的丢失。
3)通过消融实验可以看出,本文提出的HMC-Net使用多尺度卷积核和胶囊网络可以有效提升HSI分类效果。在HSI数据集上的对比实验表明,本文模型性能优于其他对比模型。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
Li S T, Song W W, Fang L Y, et al. Deep learning for hyperspectral image classification:An overview[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9):6690-6709.

[2]
Zhang Y, Wang J, Zhang J. A survey on hyperspectral image processing techniques for environmental monitoring[J]. Remote Sen-sing of Environment, 2023, 258(1): 1-19.

[3]
Liu X, Liang Y, Wang Z. Hyperspectral remote sensing for land cover change detection:A review and meta-analysis[J]. Remote Sensing of Environment, 2023, 258(1): 20-38.

[4]
Landgrebe D. Hyperspectral image data analysis[J]. IEEE Signal Processing Magazine, 2002, 19(1):17-28.

[5]
Qu S M, Li X, Gan Z H. A new hyperspectral image classification method based on spatial-spectral features[J]. Scientific Reports, 2022,12:1541.

[6]
Fukushima K. Neocognitron:A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J]. Biological Cybernetics, 1980, 36(4):193-202.

DOI PMID

[7]
Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6):84-90.

[8]
He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2016:770-778.

[9]
Jia Y Q, Szegedy C, Liu W, et al. Going deeper with convolutions[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2015:1-9.

[10]
Giri R N, Janghel R R, Pandey S K, et al. Enhanced hyperspectral image classification through pretrained CNN model for robust spatial feature extraction[J]. Journal of Optics, 2023, 53(3):2287-2300.

[11]
Wang A L, Song Y L, Wu H B, et al. A hybrid neural architecture search for hyperspectral image classification[J]. Frontiers in Phy-sics, 2023,11:1159266.

[12]
Chen Y, Zhang J, Liang X, et al. A novel meta-learning-based hyperspectral image classification method based on deep convolutional neural networks and multi-task learning[J]. Frontiers in Physics, 2023, 11(1):1-16.

[13]
Zhang Y, Li J, Zhang L, et al. Hyperspectral image classification method based on 2D-3D CNN and multibranch neural network[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(12):2106-2110.

[14]
Li Z, Huang W, Wang L, et al. A novel convolutional neural network for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 11(1):1-16.

[15]
Roy S K, Krishna G, Dubey S R, et al. HybridSN:Exploring 3-D-2-D CNN feature hierarchy for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(2):277-281.

[16]
Hong D F, Han Z, Yao J, et al. SpectralFormer:Rethinking hyperspectral image classification with transformers[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021,60:5518615.

[17]
Wei L, Ma H Y, Yin Y P, et al. Kmeans-CM algorithm with spectral angle mapper for hyperspectral image classification[J]. IEEE Access, 2023,11:26566-26576.

[18]
Yin Y P, Wei L. Hyperspectral image classification using ensemble extreme learning machine based on fuzzy entropy weights and auto-adapted spatial-spectral features[J]. Multimedia Tools and Applications, 2023, 82(1):217-238.

[19]
Hinton G E, KrizhevskyA, Wang S D. Transforming auto-encoders[C]// Artificial Neural Networks and Machine Learning-ICANN 2011. Springer, 2011:44-51.

[20]
SabourS, FrosstN,Hinton G E. Dynamic routing between capsules[C]// Proceedings of the 31st International Conference on Neural Information Processing Systems.Curran Associates,Inc., 2017:3859-3869.

[21]
Zhang H, Meng L, Wei X, et al. 1D-convolutional capsule network for hyperspectral image classification[C]// Artificial Neural Networks and Machine Learning-ICANN 2019. Springer, 2019:4451-4458.

[22]
Hinton G E, Sabour S, Frosst N. Matrix capsules with EM routing[C]// International Conference on Learning Representations. OpenReview, 2018: 1-15.

[23]
Moraga J, Duzgun H S. JigsawHSI:A network for hyperspectral image classification[J/OL]. arXiv, 2022(2022-06-06). https://arxiv.org/abs/2206.02327.

[24]
Picco M L, Ruiz M S. Hyperspectral image classification using deep matrix capsules[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 10(1): 1-7.

[25]
Li W, Du Q, Zhang H, et al. A novel deep learning framework for hyperspectral image classification using spatial pyramid pooling[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61(3):1199-12111.

[26]
Zhang Y, Du B. Deep model based transfer and multi-task learning for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61(8):4759-4770.

[27]
Ahmad M, Khan A M, Mazzara M, et al. A fast and compact 3-D CNN for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2020,19:5502205.

[28]
He L, Li H, Plaza A, et al. PlazaA,etal.A novel self-paced learning framework for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 62(4):1738-1752.

[29]
Yu S Q, Jia S, Xu C Y. Convolutional neural networks for hyperspectral image classification[J]. Neurocomputing, 2017,219:88-98.

[30]
Chakraborty T, Trehan U. SpectralNET:Exploring spatial-spectral WaveletCNN for hyperspectral image classification[J/OL]. arXiv, 2021(2021-04-01). https://arxiv.org/abs/2104.00341.

[31]
Chen S T, Jin M, Ding J. Hyperspectral remote sensing image classification based on dense residual three-dimensional convolutional neural network[J]. Multimedia Tools and Applications, 2021, 80(2):1859-1882.

[32]
Zhang Y, Zhang L, Du B. Hyperspectral image classification based on deep feature fusion and residual learning[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(2):1576-1590.

[33]
Tun N L, Gavrilov A, Tun N M, et al. Hyperspectral remote sensing images classification using fully convolutional neural network[C]// 2021 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering. IEEE, 2021:2166-2170.

[34]
Fauvel M, Chanussot J, Benediktsson J A. A spatial-spectral kernel-based approach for the classification of remote-sensing images[J]. Pattern Recognition, 2012, 45(1):381-392.

[35]
Camps-Valls G, Gomez-Chova L, Munoz-Mari J, et al. Composite kernels for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2006, 3(1):93-97.

[36]
Bruzzone L, Carlin L. A multilevel context-based system for classification of very high spatial resolution images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44(9):2587-2600.

Options
Outlines

/

〈 〉