EN中文

自然资源遥感 >

2025 , Vol. 37 >Issue 3: 85 - 94

DOI: https://doi.org/10.6046/zrzyyg.2023388

技术方法

一种结合孪生倒残差与自注意力增强的遥感影像变化检测方法

  • 张荞 , 1 ,
  • 曹志成 1 ,
  • 沈洋 2 ,
  • 汪宙峰 1 ,
  • 王成武 1 ,
  • 许嘉欣 1
展开
  • 1.西南石油大学地球科学与技术学院,成都 610500
  • 2.自然资源部第三大地测量队,成都 610100

张荞(1985-),男,博士,副教授,主要从事遥感图像处理与分析、自然资源调查与监测研究。Email: 。

Office editor: 张仙

收稿日期: 2023-12-15

  修回日期: 2024-03-22

  网络出版日期: 2026-06-03

基金资助

四川省科技计划项目“基于时空大数据的地下生命线安全智能感知与性态演化关键技术研究”(2023YFS0406)

自然资源部第三大地测量队科技项目“多源遥感影像人工智能解译技术及资源管理研究”(2022KJ01)

四川省测绘地理信息局科技项目“基础地理实体构建与可视化表达关键技术研究”(2023KJ001)

收起

A method combining the siamese inverted residual structure with self-attention enhancement for change detection based on remote sensing images

  • ZHANG Qiao , 1 ,
  • CAO Zhicheng 1 ,
  • SHEN Yang 2 ,
  • WANG Zhoufeng 1 ,
  • WANG Chengwu 1 ,
  • XU Jiaxin 1
Expand
  • 1. School of Geoscience and Technology, Southwest Petroleum University, Chengdu 610500, China
  • 2. The Third Geodetic Surveying Brigade of MNR, Chengdu 610100, China

Received date: 2023-12-15

  Revised date: 2024-03-22

  Online published: 2026-06-03

Fold

摘要

遥感影像变化检测在国土调查更新、城市发展监测与规划等方面中具有重大的应用需求。针对遥感影像变化检测在实际应用中面临的挑战,文章提出了一种结合孪生倒残差结构与自注意力增强的轻量级变化检测方法。该方法通过引入孪生的改进型倒残差结构替代传统卷积神经网络结构作为骨干网络,充分提取特征信息且大幅降低网络复杂度,使用自注意力增强模块提升网络的全局信息关注能力,在损失函数中加入边缘权重精准优化提取结果的细节,利用多层次的跳接残差连接充分融合全局与局部特征。在公开和自制的遥感影像变化检测数据集上对该方法分别进行性能测试,结果表明,所提方法相较于其他变化检测方法,在不降低检测精度的前提下大幅减少了网络参数量和计算量,实现了遥感影像变化检测模型轻量化。

关键词： 遥感影像; 变化检测; 改进型倒残差; 自注意力增强模块; 轻量化模型

本文引用格式

张荞 , 曹志成 , 沈洋 , 汪宙峰 , 王成武 , 许嘉欣 . 一种结合孪生倒残差与自注意力增强的遥感影像变化检测方法[J]. 自然资源遥感, 2025 , 37(3) : 85 -94 . DOI: 10.6046/zrzyyg.2023388

Abstract

Change detection based on remote sensing images holds significant application potential in land source survey updating, and urban development monitoring and planning. Concerning the challenges of change detection based on remote sensing images in practical applications, this study proposed a lightweight change detection method combining the siameseinverted residual structure with self-attention enhancement. Instead of the traditional convolutional neural network structure, the siamese improved inverted residual structure was used as the backbone network to fully extract the feature information and significantly reduce the network complexity. The self-attention enhancement module was employed to improve the network's ability to pay attention to global information. Edge weights were added to the loss function to precisely optimize the details of the extraction results. The multilevel hopping residual connections were applied to fully integrate the global and local features. Finally, the performance of the proposed method was tested on the public and prepared datasets of remote sensing images for change detection, respectively. The results indicate that compared to other change detection methods, the proposed method significantly reduced network parameters and computational complexity while maintaining the detection accuracy, contributing to lightweight models of change detection based on remote sensing images.

Key words： remote sensing image; change detection; modified inverted residual structure; self-attention enhancement module; lightweight model

0 引言

随着卫星系统和传感器技术的发展,遥感影像分辨率不断提高,遥感对地观测技术已成为人类获取地表变化信息的重要手段。国土变更调查、地理国情监测、城市发展监测与规划等领域迫切需要在已有调查数据的基础上利用遥感影像开展变化发现,加快对土地利用和土地覆被变化数据的更新[1-2]。基于多期遥感影像快速准确发现地物位置和类型动态变化的变化检测技术一直是遥感领域的研究热点[3-5]。
传统的遥感影像自动变化检测方法主要有基于像素或对象的分类法[6]、模型法[7]、变换法[8]、代数运算法[9]等。这些算法的理论可解释性强,但在执行变化检测任务时通常存在准确率较低、人工干预过多、泛化能力差等问题[10],难以适应真实复杂场景的遥感影像变化检测任务。
近年来,深度学习因其强大的特征提取能力,在语义分割[11]、目标检测[12]、地物分类[13]等计算机视觉任务中成功应用并成为主流技术,越来越多的学者开始将其使用在遥感影像的变化检测方向。Daudt等[14]提出了FC-EF,FC-Siam-conc和FC-Siam-diff模型,将全卷积编码器-解码器范式修改为双分支U-Net结构,实现了多期遥感影像变化准确检测;袁洲等[15]在UNet++网络中融入注意力机制,加强了多源高分辨率遥感影像的地表覆盖细节变化检测能力;吴纹辉等[16]通过融合浅层与深层特征实现精细化边缘识别; Chen等[17]提出基于双分支注意力机制结构的时空注意力神经网络STANet,利用新的时空自注意力模块捕捉不同尺度下的时-空相关性,缓解了配准误差带来的误检问题。
上述模型使用卷积神经网络(convolutional neural network,CNN)的局部感受野进行图像表征学习,难以捕获全局信息,对大尺度地物识别困难。Transformer[18]结构是一种基于自注意力机制的算法,最早应用在自然语言处理领域,可捕获长范围上下文依赖关系。近年来,Transformer结构也被广泛应用于计算机视觉(computer vision,CV)领域,如Dosovitskiy等[19]提出的基于Transformer架构的图像分类模型Vision Transformer(ViT),大幅推动了Transformer在CV领域的应用; Chen等[20]将双分支的Transformer作为编码解码器融入变化检测任务,提高了网络的全局自相关能力;Bandara等[21]提出以分层的孪生Transformer作为编码器,用多层感知器(multilayer perceptron,MLP)结构作为解码器的变化检测模型,提高了变化检测精度。
深度学习理论给遥感影像变化检测技术带来了前所未有的改变,特别是引入Transformer结构后,检测精度有明显提升。然而,深度学习网络模型的庞大参数量和较大计算复杂度为网络训练和部署带来困难[22],且在地表变化快、遥感数据类型多的复杂变化场景中,检测精度仍达不到应用要求,存在较多漏检和误检情况[23]。针对模型轻量化问题,近年来学者们已开展了诸多探索,如ShuffleNetV1[24],ShuffleNetV2[25],MobileNetV1,MobileNetV2[26]和EfficientNet[27],其中MobileNet系列应用更广泛。在MobileNetV1结构中,使用深度可分离卷积代替传统标准卷积层,不但模型参数量大幅降低而且准确率没有明显下降。在MobileNetV2(MV2)结构中,将深度可分离卷积置入倒残差模块中,进一步提升计算效率。此外,Mehta等[28]提出的MobileViT方法,创新性地结合了MobileNet与Transformer的优势,构建了高效的特征提取框架,并通过轻量化Transfor-mer结构简化了学习任务。虽然上述模型在语义分割方向能够做到特征提取模型轻量化,但在变化检测方向上,由于需要做到前后2期遥感影像对比,计算量倍增,更加轻量准确的变化特征提取方法尤为重要。
为提高变化检测精度,降低模型参数量与计算成本,本文在前人工作基础上提出一种结合孪生改进型倒残差与自注意力增强的轻量级深度学习变化检测方法(Siamese mobile vision Transformer,Siam-MViT)。首先,本文将传统的倒残差结构改进,串联进孪生的骨干网络中,在进一步提升网络特征提取能力的同时降低网络参数量和计算量;其次,加入Transformer自注意力结构加强全局空间自相关能力,扩大感受野,使用折叠处理方法,降低Transfor-mer带来的空间复杂度;然后,将全局与局部注意力和浅层与深层特征各自对应跳接融合以提高网络鲁棒性;最后,在损失函数中加入建筑物边缘权重对边缘细节精准优化。另外在数据集方面,本文使用公开的建筑物变化检测数据集LEVIR-CD和自行标注的城市建筑物变化检测数据集SAMPLE-CD作为实验对象,以建筑物的拆除和新建作为变化类别,从而探究模型在2种不同数据集上的变化检测性能。

1 研究方法

1.1 Siam-MViT模型总体框架

本文针对2期遥感影像采用先提取特征后融合的变化检测策略[29]。图1为Siam-MViT模型的总体框架:以时空配准的前后2期影像作为模型输入,以二分类建筑变化检测图为模型输出,其主要由骨干网络、自注意力增强模块和上采样模块3个部分组成。
图1 Siam-MViT模型总体框架

Fig.1 Framework of the Siam-MViT model

骨干网络部分使用孪生串联的改进型倒残差模块来提取浅层变化语义特征。为强化特征信息,加强局部与全局特征融合,Siam-MViT在自注意力增强模块部分将浅层变化特征拼接后利用轻量化的自注意力机制提取深度特征信息,并通过跳接将局部与全局特征融合,实现变化特征信息强化。上采样模块部分构建三级解码,对强化的特征图逐层上采样,为增加细粒度语义信息,将上采样中输出的深层变化特征与双分支骨干网络相减后的浅层变化特征分级对应跳接。融合后通过分类模块恢复原始图像大小并逐像元预测变化概率,实现图像变化区域判别。下面详细介绍用于变化检测的改进型倒残差模块、自注意力增强模块和上采样模块3个核心部分。

1.2 骨干网络

在传统的变化检测方法中,通常采用如ResNet的CNN结构作为骨干网络,该结构随网络深度增加,计算复杂度呈指数增长,但在网络层数减少的情况下,特征提取能力和检测精度又会显著下降。以MV2模块[26]为代表的倒残差结构可以利用深度可分离卷积层在提取浅层特征时显著减少计算量,但是它仍存在着特征的提取能力不足和无法集中关注影像重点信息的问题,这会导致检测精度无法进一步提高。为了解决这个问题,本文将MV2倒残差结构改进,增强其特征提取能力,并将其串联成2组完全相同的、权值共享的孪生网络作为Siam-MViT的骨干网络提取影像的浅层特征。改进型倒残差模块结构如图2所示。
图2 改进型倒残差模块

Fig.2 Improved inverse residual module

首先将输入的图像分别通过1×1卷积与转置型深度可分离卷积并融合增加多尺度特征信息获取能力,再通过3×3深度可分离卷积对特征提取,1×1卷积调整通道数后进入卷积块注意力模块(convolutional block attention module,CABM)关注重点特征信息。CBAM模块是一种轻量的注意力模块,它整合了空间和通道上注意力机制,可以高效获得特征图的注意力权重。当输入通道数与输出通道数相同且深度可分离卷积层步幅为1时,输入与输出进行相加连接,如图2(a)所示。否则直接输出卷积结果,如图2(b)所示。
具体而言,输入图像 X i n ∈ R C × H × W,首先将图像进行多尺度信息融合:通过1×1卷积与转置型深度可分离卷积输出为 X 1 ∈ R C 1 × H × W和 X 2 ∈ R C 1 × H × W并将它们在通道层拼接为 X 3 ∈ R 2 C 1 × H × W,当前特征 X 3不仅包含原始多尺度特征信息,还提取了潜在的原始图像区域特征。之后,通过3×3深度可分离卷积把 X 3在通道上融合,并在最后一个卷积层调整通道。当卷积层步幅为1时,特征为 X 4 ∈ R C o u t × H × W;当卷积层步幅为2时,此时特征为 X 4 ∈ R C o u t × H 2 × W 2。最后通过CBAM模块输出特征信息 X o u t ∈ R C o u t × H × W或者 X o u t ∈ R C o u t × H 2 × W 2,进入下一层改进型倒残差模块或者输出至下一阶段模块。

1.3 自注意力增强模块

为了强化骨干网络提取的浅层特征,增强网络长范围上下文信息,获取全局语义信息,本文在模型轻量化的前提下设计一种自注意力增强模块进行全局自注意力特征建模。如图3所示,首先将孪生网络提取的特征通道拼接后进入改进型倒残差模块使网络特征层加深,然后在深度可分离卷积调整通道数后通过轻量化Transformer自注意力结构捕捉输入数据的全局上下文信息,并使用残差跳跃连接防止网络退化,最后通过通道分离后将2幅特征图相减得到强化的变化特征图。
图3 自注意力增强模块

Fig.3 Self-attention enhancement module

Transformer结构如图4所示,其中包括标准化层、MLP、多头自注意力模块(multi-head self-attention,MSA)以及残差结构。由于依赖全局自注意力机制,Transformer可以有效捕捉输入数据多层次的长范围上下文依赖信息。
图4 轻量化Transformer原理

Fig.4 Principle of lightweight Transformer

为了降低Transformer结构带来的空间复杂性和计算压力,本文在全局特征建模过程中,借鉴MobileViT block架构,采用注意力遮蔽思路,设计为如图4所示的轻量化Transformer原理。此模块先将特征图划分成小区域并按像素位置转换为特征序列输入到Transformer中,待特征序列经过Transformer捕捉特征后,再折叠为原特征图大小。按小区域展开为特征序列一方面可以将特征图转换为MSA模块所需的数据格式,另一方面可以使像素点在MSA模块只与自身相对位置像素点进行注意力计算,如图4中的相对位置自注意力所示,相比于原始Transformer的全图自注意力计算,该方法显著降低了计算成本。经此过程,Siam-MViT可以实现在较少参数参与计算的情况下完成特征强化。

1.4 上采样模块

特征强化输出的特征数据全局信息丰富,但局部细节有所缺失。Siam-MViT借鉴UNet中的短路连接,构建三级解码器,每一级由双线性插值上采样算子和分类模块组成。其中,分类器由2个3×3卷积层,一个归一化层和一个SiLU激活函数组成。将前期提取的浅层特征相减后与强化后的深层特征进行对应逐级连接,最后分类得到变化预测结果。

1.5 损失函数

在变化检测实际任务中,变化样本与未变样本的像元数量通常差别较大,使得正样本与负样本之间存在不均衡现象,进而导致模型难以训练。本文采用二分类交叉熵损失与dice损失之和作为复合损失函数,以缓解不同类别样本之间数量不均衡的问题。
同时,为了缓解建筑物边缘识别不准确的问题,加入建筑物边缘权重。建筑物边缘图像由二值化标签通过背景距离运算提取出正样本边缘,其运算过程为: ①将输入的标签图像边缘以0填充,避免物体边界信息在后续距离变换过程中被丢失; ②分别对相对前景和背景计算欧几里得距离变换并相加; ③将距离为阈值之外的像素设置为0,删除图像边缘填充部分。提取出轮廓示例如图5所示。
图5 提取正样本边缘

Fig.5 Positive sample edge extraction

复合损失函数loss公式为:
l o s s = 1 E W L b c e + ( 1 - 1 E W ) L d i c e
E W = 1 + 3 X E
L b c e = - ∑ p i l n q i
L d i c e = 1 - 2 X ⋂ Y X + Y
式中:EW为建筑物边缘权重,正样本与负样本权重之比为4∶ 1; L b c e为二分类交叉熵损失; L d i c e为dice损失; X E为在真实标签中建筑物边缘权值提取,取值为0或1; p i为变化的真实概率; q i为变化的预测概率;i为正负样本指针,取值为0或1; | X |和 | Y |分别为真实和预测中变化像素的个数。

2 高分辨率遥感影像变化检测数据集

2.1 数据集制作

本文分别在公开建筑物变化检测航空影像数据集LEVIR-CD[17]和自制变化检测卫星影像数据集SAMPLE-CD上进行训练和测试,以检验Siam-MViT模型性能。
1)公开数据集。LEVIR-CD数据集包含637组0.5 m高分辨率航空遥感影像,其中训练集445组,验证集64组,测试集128组,单图大小为1 024像素×1 024像素。将LEVIR-CD数据集中2期影像和标签以256像素×256像素大小进行裁剪,最终得到训练集3 167组,验证集436组,测试集935组。
2)自制数据集。基于西部某城市2018年和2021年2期高分辨率卫星遥感影像人工标注了一套城市建筑物变化检测样本数据集SAMPLE-CD,该样本数据集包括训练集6 236组,验证集500组,测试集1 000组,每组大小为256像素×256像素,遥感影像为3波段RGB图像,空间分辨率为0.5 m。

2.2 样本数据增强

为了增强模型对变化检测样本的鲁棒性,针对样本容量较少,前后2期影像在亮度、风格、色彩方面存在差异,正负样本数量不平衡等问题,本文对输入样本进行了数据增强处理: ①针对2期影像色彩差异问题,对样本进行傅里叶背景变换达到色彩统一,如图6(a)所示; ②针对样本容量较少的问题,对影像对同时进行随机的水平、垂直翻转,90°,180°,270°旋转,亮度增强与减弱,如图6(b)所示; ③针对正负样本不均衡的问题,在样本中随机进行复制粘贴增强[30],其原理是在影像对的未变化区域粘贴其他影像对的变化区域,扩充正样本比例,如图6(c)所示。
图6 数据增强

Fig.6 Data enhancement

3 实验结果及分析

实验基于Win10操作系统下的PyTorch开源框架,使用NVIDA RTX3090 (24GB)显卡作为运算GPU。训练时使用MobileViT在ImageNet-1K数据集[31]上的预训练权重进行模型初始化,输入数据集尺寸大小为256像素×256像素,批次处理个数为24,最大训练轮次为100轮,采用AdamW为优化器,初始学习率为0.000 1,每个批次训练完成后在验证集上进行精度计算,保留全局最优模型,大尺度预测时使用忽略边缘预测策略[32]防止图像拼接时出现裁切痕迹。

3.1 对比实验

为了验证Siam-MViT的优越性,本文另外选取了基于注意力机制的FC-EF[14],FC-Siam-diff[14],FC-Siam-conc[14],融入Transformer结构的BIT[20]和Changeformer这5个公开网络模型作为对比对象。采用总体精度(overall accuracy,OA)、准确率(Precision)、召回率(Recall)、F1值以及交并比(intersection over union,IoU)5项作为变化检测精度评价指标[33]。表1展示了本文模型与其他5种基于深度学习的变化检测方法在LEVIR-CD数据集和SAMPLE-CD数据集上的检测精度,表中加粗字体表示当前评价指标下的最优性能。由表1可知: ①在LEVIR-CD数据集上,本文方法虽然OA和Precision比指标最高的Changeformer分别低0.08和0.94百分点,但是Recall,F1值和IoU分别高出Changeformer模型3.36,0.64和1.87百分点,表明本文方法能在公开数据集上取得较好的检测效果; ②在SAMPLE-CD数据集上,Siam-MViT模型的精度指标均优于其他模型,其中,Siam-MViT的F1值和IoU分别为83.37%和73.13%,说明本文方法在真实复杂场景中的检测效果较好。
表1 不同模型在LEVIR-CD和SAMPLE-CD数据集上的精度对比

Tab.1 Comparison of accuracy evaluation of different model on LEVIR-CD and SAMPLE-CD(%)

模型 LEVIR-CD SAMPLE-CD
OA Precision Recall F1 IoU OA Precision Recall F1 IoU
FC-EF 98.39 86.91 80.17 83.40 71.35 88.54 72.53 64.85 59.34 48.63
FC-Siam-diff 98.67 89.53 83.31 86.31 75.92 86.72 64.89 66.92 63.81 52.26
FC-Siam-conc 98.49 91.99 76.77 83.69 71.96 87.19 68.38 68.31 61.48 54.11
BIT 98.92 89.24 89.37 89.31 80.68 90.65 83.15 81.51 82.29 71.74
Changeformer 99.04 92.05 88.80 90.40 82.48 89.25 80.86 77.51 79.02 67.78
Siam-MViT 98.96 91.11 92.16 91.04 84.35 91.15 83.98 82.80 83.37 73.13
为了更直观地展示出每一种变化检测模型的检测效果,本文将检测结果与原标签叠加,添加如表2和表3所示的色彩对比。其中白色像素表示检测出的变化结果与标签一致;黑色像素表示检测出的非变化结果与标签一致;红色像素表示检测出变化但标签为非变化,即误检;绿色像素表示检测出非变化,即漏检。由表2所示结果可知,在LEVIR-CD数据集上,Siam-MViT相较于其他模型均表现出更强的抗干扰能力和更优的检测效果。在检测大型建筑物时(如表2图像1—3),Siam-MViT可以准确识别出变化区域,保持轮廓完整性;在检测小型建筑物时(如表2图像4—6),Siam-MViT识别更加精细,相较于其他模型漏检更少。由表3所示结果可知,在SAMPLE-CD数据集中,城市空间卫星遥感影像变化复杂,前后期影像色彩差异大、建筑类型多且密集,在进行变化检测时,复杂的影像变化对检测精度存在较大影响。但在基于6种模型进行检测时,本文模型在损失函数中加入了建筑物边缘权重,故对建筑物边缘识别更加精细,目视效果较好,相较于其他5种模型,控制住了漏检和误检,预测结果更符合现实建筑物变化情况。
表2 LEVIR-CD数据集的变化检测可视化结果

Tab.2 Visualization results of change detection on LEVIR-CD dataset

序号 前时相 后时相 标签 FC-EF FC-Siam-diff FC-Siam-conc BIT Changefomer Siam-MViT
1
2
3
4
5
6
图例
表3 SAMPLE-CD数据集的变化检测可视化结果

Tab.3 Visualization results of change detection on SAMPLE-CD dataset

序号 前时相 后时相 标签 FC-EF FC-Siam-diff FC-Siam-conc BIT Changefomer Siam-MViT
1
2
3
4
5
6
图例
针对范围更广的真实复杂场景,将Siam-MViT与精度次之的Changeformer预测结果进行对比。结果如图7所示,Siam-MViT优势明显,细小图斑和空洞较少,且可以准确预测变化区域边缘,存在的误检和漏检错误也相对更少,达到变化检测应用需求。
图7 Siam-MViT与Changeformer在SAMPLE-CD数据集上大尺度预测结果对比

Fig.7 Comparison of large scale prediction results between Siam-MViT and Changeformer on the SAMPLE-CD dataset

表4展示了各个网络模型的计算效率。其中Param是模型的参数量,表示模型的空间复杂度; GFLOPS是每秒10亿次的浮点运算数,表示模型的计算复杂度;预测用时表示在网络预测每组数据时所用的平均时间。此外,本文6种模型预测设置一致:输入图片大小为256像素×256像素,批处理个数为1,预测总数量为935组。在表4中Siam-MViT表现出卓越的计算效率。参数量方面,Changeformer是本文所提出模型的50.04倍,BIT参数量也高于Siam-MViT;计算复杂度方面,Siam-MViT仍保持轻量水准,在所有模型中计算量最低。FC-EF,FC-Siam-diff,FC-Siam-conc这3个模型虽然参数量和计算量较少,但其检测精度明显低于本文模型;预测用时方面,Siam-MViT用时为5.92 ms/组,速度最快。综合考虑变化检测精度和效率,Siam-MViT具有检测精度高、泛化性好、模型体量小和实时性强的特点。
表4 模型计算效率统计

Tab.4 Model calculation efficiency statistics

模型 Param/106个 GFLOPS 预测用时/
(ms/组)
FC-EF 1.35 3.58 6.37
FC-Siam-diff 1.35 4.73 8.01
FC-Siam-conc 1.55 5.33 7.84
BIT 12.41 10.65 16.32
Changeformer 41.03 202.79 28.97
Siam-MViT 0.82 3.36 5.92

3.2 网络结构有效性分析

为进一步验证改进型MV2结构、轻量化Transformer模块和边缘损失函数对Siam-MViT性能的影响,本文以Siam-MViT为主体网络在2个数据集上进行了消融实验。结果如表5所示,表中A为将网络的边缘损失函数改为二分类交叉熵损失,B为将改进型倒残差模块替换为MV2基础模块,C为移除模型的特征强化模块。从表5可以看出Siam-MViT在替换边缘损失函数、改进型倒残差模块和移除特征强化模块后,在2个数据集上F1值均下降明显,说明本文所加入的3个网络结构均能有效提升建筑物变化检测精度。
表5 消融实验结果

Tab.5 Ablation experimental results

模型 特征强化模块 改进型倒残差模块 边缘损失
函数		 LEVIR-CD
F1/%		 SAMPLE-CD
F1/%		 Param/106个 GFLOPS
Siam-MViT √ √ √ 91.04 83.37 0.82 3.36
A √ √ × 90.40 81.34 0.82 3.36
B √ × × 89.26 78.63 0.58 1.70
C × × × 88.63 78.36 0.15 1.03

4 结论

为了在遥感影像变化检测任务中实现高精度轻量化的目标,本文提出了一种轻量级变化检测方法Siam-MViT。该方法将改进型倒残差模块融入孪生网络作为骨干网络进行特征提取,并加入自注意力机制强化特征;利用深度可分离卷积和折叠处理减少参数,降低运算量;融合局部与全局注意力,将浅层与深层特征跳接,同时顾及上下文和局部细节信息;通过维度拼接与拆分相减,生成整体接近真实地物变化的预测图。在公开数据集LEVIR-CD和自制数据集SAMPLE-CD上对模型进行了性能测试。结果表明:
Siam-MViT以0.82×106的参数量在LEVIR-CD数据集上的F1值达到最高的91.04%,相较于其他5种变化检测方法,在精度衡量、可视化效果和计算效率3方面都表现较好;在针对自制数据集SAMPLE-CD的复杂场景时,Siam-MViT的F1值达到83.37%,以低模型体量表现出更强的鲁棒性和更高的准确率,能够以轻量化高精度的水准完成变化检测任务。
后续研究中,可针对高层建筑倾斜误差、云干扰、阴影干扰等难点进一步改良网络结构,如考虑多任务驱动、深监督机制等方向,提升Siam-MViT在实际应用中的准确性和鲁棒性,增强模型对于复杂场景的变化检测精度。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
李德仁. 利用遥感影像进行变化检测[J]. 武汉大学学报(信息科学版), 2003, 28(s1):7-12.

Li D R. Change detection using remote sensing images[J]. Geomatics and Information Science of Wuhan University, 2003, 28(s1):7-12.

[2]
Huang F H, Yu Y, Feng T H. Automatic building change image quality assessment in high resolution remote sensing based on deep learning[J]. Journal of Visual Communication and Image Representation, 2019,63:102585.

[3]
Bruzzone L, Bovolo F. A novel framework for the design of change-detection systems for very-high-resolution remote sensing images[J]. Proceedings of the IEEE, 2013, 101(3):609-630.

[4]
眭海刚, 冯文卿, 李文卓, 等. 多时相遥感影像变化检测方法综述[J]. 武汉大学学报(信息科学版), 2018, 43(12):1885-1898.

Sui H G, Feng W Q, Li W Z, et al. Review of change detection methods for multi-temporal remote sensing imagery[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12):1885-1898.

[5]
任秋如, 杨文忠, 汪传建, 等. 遥感影像变化检测综述[J]. 计算机应用, 2021, 41(8):2294-2305.

DOI

Ren Q R, Yang W Z, Wang C J, et al. Review of remote sensing image change detection[J]. Journal of Computer Applications, 2021, 41(8):2294-2305.

DOI

[6]
Yool S R, Rogan J. Mapping fire-induced vegetation depletion in the PeloncilloMountains,Arizona and New Mexico[J]. International Journal of Remote Sensing, 2001, 22(16):3101-3121.

[7]
Chen J, Chen X, Cui X, et al. Change vector analysis in posterior probability space:A new method for land cover change detection[J]. IEEE Geoscience and Remote Sensing Letters, 2011, 8(2):317-321.

[8]
Ridd M K, Liu J. A comparison of four algorithms for change detection in an urban environment[J]. Remote Sensing of Environment, 1998, 63(2):95-100.

[9]
Nielsen A A. The regularized iteratively reweighted MAD method for change detection in multi- and hyperspectral data[J]. IEEE Transactions on Image Processing:A Publication of the IEEE Signal Processing Society, 2007, 16(2):463-478.

[10]
Hussain M, Chen D, Cheng A, et al. Change detection from remotely sensed images:From pixel-based to object-based approaches[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2013,80:91-106.

[11]
刘春亭, 冯权泷, 刘建涛, 等. DeepLabv3+语义分割模型的济南市防尘绿网提取及时空变化分析[J]. 遥感学报, 2022, 26(12):2518-2530.

Liu C T, Feng Q L, Liu J T, et al. Urban green plastic cover extraction and spatial pattern changes in Jinan City based on DeepLabv3+semantic segmentation model[J]. National Remote Sensing Bulletin, 2022, 26(12):2518-2530.

[12]
沙苗苗, 李宇, 李安. 改进Faster R-CNN的遥感图像多尺度飞机目标检测[J]. 遥感学报, 2022, 26(8):1624-1635.

Sha M M, Li Y, Li A. Multiscale aircraft detection in optical remote sensing imagery based on advanced Faster R-CNN[J]. National Remote Sensing Bulletin, 2022, 26(8):1624-1635.

[13]
郑宗生, 刘海霞, 王振华, 等. 改进3D-CNN的高光谱图像地物分类方法[J]. 自然资源遥感, 2023, 35(2):105-111.doi: 10.6046/zrzyyg.2022100.

Zheng Z S, Liu H X, Wang Z H, et al. Improved 3D-CNN-based method for surface feature classification using hyperspectral images[J]. Remote Sensing for Natural Resources, 2023, 35(2):105-111.doi: 10.6046/zrzyyg.2022100.

[14]
Daudt C R, LeSaux B, Boulch A. Fully convolutional Siamese networks for change detection. 2018 25th IEEE International Conference on Image Processing (ICIP).Athens,Greece.IEEE, 2018:4063-4067.

[15]
袁洲, 郭海涛, 卢俊, 等. 融合UNet++网络和注意力机制的高分辨率遥感影像变化检测算法[J]. 测绘科学技术学报, 2021, 38(2):155-159.

Yuan Z, Guo H T, Lu J, et al. High-resolution remote sensing image change detection technology based on UNet++ and attention mechanism[J]. Journal of Geomatics Science and Technology, 2021, 38(2):155-159.

[16]
吴纹辉, 慎利, 董新丰, 等. 面向高分辨率遥感影像建筑物变化检测的边缘感知网络[J]. 地理与地理信息科学, 2021, 37(3):21-28.

Wu W H, Shen L, Dong X F, et al. Edge sensing network for building change detection in high resolution remote sensing images[J]. Geography and Geo-Information Science, 2021, 37(3):21-28.

[17]
Chen H, Shi Z. A spatial-temporal attention-based method and a new dataset for remote sensing image change detection[J]. Remote Sensing, 2020, 12(10):1662.

[18]
Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]// Proceedings of the 31st International Conference on Neural Information Processing Systems.Long Beach,California,USA.ACM, 2017:6000-6010.

[19]
Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16x16 words:Transformers for image recognition at scale[EB/OL]. arXiv, 2010. http://arxiv.org/abs/2010.11929.

[20]
Chen H, Qi Z, Shi Z. Remote sensing image change detection with transformers[J]. IEEE Transactions on Geoscience and Remote Sensing, 1802,60:5607514.

[21]
Bandara W G C, Patel V M. A Transformer-based Siamese network for change detection[C]// IGARSS 2022-2022 IEEE International Geoscience and Remote Sensing Symposium.Kuala Lumpur,Malaysia. IEEE, 2022:207-210.

[22]
田永林, 王雨桐, 王建功, 等. 视觉Transformer研究的关键问题:现状及展望[J]. 自动化学报, 2022, 48(4):957-979.

Tian Y L, Wang Y T, Wang J G, et al. Key problems and progress of vision transformers:The state of the art and prospects[J]. ActaAutomatica Sinica, 2022, 48(4):957-979.

[23]
薛白, 王懿哲, 刘书含, 等. 基于孪生注意力网络的高分辨率遥感影像变化检测[J]. 自然资源遥感, 2022, 34(1):61-66.doi: 10.6046/zrzyyg.2021122.

Xue B, Wang Y Z, Liu S H, et al. Change detection of high-resolution remote sensing images based on Siamese network[J]. Remote Sensing for Natural Resources, 2022, 34(1):61-66.doi: 10.6046/zrzyyg.2021122.

[24]
Zhang X, Zhou X, Lin M, et al. ShuffleNet:An extremely efficient convolutional neural network for mobile devices[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City,UT,USA.IEEE, 2018:6848-6856.

[25]
Ma N N, Zhang X Y, Zheng H T, et al. ShuffleNet V2:Practical guidelines for efficient CNN architecture design[C]// Computer Vision-ECCV 2018:15th European Conference,Munich,Germany,2018,Proceedings,Part XIV.ACM, 2018:122-138.

[26]
Sandler M, Howard A, Zhu M, et al. MobileNetV2:Inverted residuals and linear bottlenecks[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City,UT,USA.IEEE, 2018:4510-4520.

[27]
Tan M, Le Q V. EfficientNet:Rethinking model scaling for convolutional neural networks[J/OL]. arXiv, 2020. http://arxiv.org/abs/1905.11946v5.

[28]
Mehta S, Rastegari M. MobileViT:Light-weight,general-purpose,and mobile-friendly vision transformer[J/OL]. arXiv, 2021. http://arxiv,2022.org/abs/2110.02178.

[29]
Chen J, Yuan Z, Peng J, et al. DASNet:Dual attentive fully convolutional Siamese networks for change detection in high-resolution satellite images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021,14:1194-1206.

[30]
Ghiasi G, Cui Y, Srinivas A, et al. Simple copy-paste is a strong data augmentation method for instance segmentation[C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Nashville,TN,USA.IEEE, 2021:2917-2927.

[31]
Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6):84-90.

[32]
王振庆, 周艺, 王世新, 等. IEU-Net高分辨率遥感影像房屋建筑物提取[J]. 遥感学报, 2021, 25(11):2245-2254.

Wang Z Q, Zhou Y, Wang S X, et al. House building extraction from high-resolution remote sensing images based on IEU-Net[J]. National Remote Sensing Bulletin, 2021, 25(11):2245-2254.

[33]
王子浩, 李轶鲲, 李小军, 等. 基于空间模糊C均值聚类和贝叶斯网络的抗噪声遥感图像变化检测[J]. 自然资源遥感, 2023, 35(4):96-104.doi: 10.6046/zrzyyg.2022260.

Wang Z H, Li Y K, Li X J, et al. Noise-resistant change detection for remote sensing images based on spatial fuzzy C-means clustering and a Bayesian network[J]. Remote Sensing for Natural Resources, 2023, 35(4): 96-104. doi: 10.6046/zrzyyg.2022260.

Options
文章导航

/

〈 〉