EN中文

自然资源遥感 >

2025 , Vol. 37 >Issue 6: 118 - 127

DOI: https://doi.org/10.6046/zrzyyg.2024327

技术方法

基于深度森林的遥感图像变化检测模型

  • 葛利华 , 1, 2 ,
  • 王鹏 , 3, 4 ,
  • 张燕琴 1 ,
  • 赵双林 5
展开
  • 1.南京航空航天大学电子信息工程学院,南京 211106
  • 2.河北省资源环境灾变机理及风险监控重点实验室,廊坊 065201
  • 3.自然资源部航空地球物理与遥感地质重点实验室,北京 100083
  • 4.南京航空航天大学深圳研究院,深圳 518110
  • 5.湖南省地质灾害调查监测所,长沙 416099
王鹏(1989-),男,博士,副教授,主要从事遥感信息处理方面的研究。Email: 。

葛利华(2001-),男,硕士研究生,主要从事信息获取与处理方面的研究。Email: 。

Copy editor: 张仙

收稿日期: 2024-10-07

  修回日期: 2025-03-17

  网络出版日期: 2026-06-03

基金资助

国家自然科学基金项目“并行路径支持下的遥感图像超分辨率制图研究”(61801211)

河北省资源环境灾变机理及风险监控重点实验室项目“基于多源遥感信息融合的资源环境灾变风险评价与管理”(FZ248201)

自然资源部航空地球物理与遥感地质重点实验室项目“超大城市自然资源时空大数据多源融合及其亚像元级制图研究”(2023YFL35)

广东省基础与应用基础研究基金项目“面向具有较大变化差异先验图像的时空超分辨率制图研究”(2025A1515010258)

深圳市科技计划项目“基于深度学习的机载SAR可视化和文本显示研究”(JCYJ20240813180005007)

江苏省自然科学基金项目“高光谱影像智能识别网络特征提取可解释性研究”(BK20221478)

湖南省地质灾害监测预警与应急救援工程技术研究中心开放基金项目“基于多源遥感数据的地质灾害识别与监测研究”(hndzgczx202407)

收起

Deep forest-based model for detecting changes in remote sensing images

  • GE Lihua , 1, 2 ,
  • WANG Peng , 3, 4 ,
  • ZHANG Yanqin 1 ,
  • ZHAO Shuanglin 5
Expand
  • 1. College of Electronics and Information Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China
  • 2. Hebei Key Laboratory of Resource and Environmental Disaster Mechanism and Risk Monitoring, Langfang 065201, China
  • 3. Key Laboratory of Airborne Geophysics and Remote Sensing Geology, Ministry of Natural Resources, Beijing 100083, China
  • 4. Shenzhen Research Institute, Nanjing University of Aeronautics and Astronautics, Shenzhen 518110, China
  • 5. Hunan Institute of Geological Disaster Investigation and Monitoring, Changsha 416099, China

Received date: 2024-10-07

  Revised date: 2025-03-17

  Online published: 2026-06-03

Fold

摘要

针对目前基于深度学习的遥感图像变化检测方法中网络的多粒度性和分类性不高,且对参数敏感需要进行大量调参的问题,该文提出一种基于深度森林的遥感图像变化检测模型。首先采用基础变化检测方法获得初步结果,然后利用深度森林子网络多粒度扫描的特点和强大的数据分类能力对初步结果进行优化获得最终的变化检测结果。选取了多种常见的变化检测模型分别在LEVIR-CD数据集和SYSU-CD数据集上进行验证,并进行了损失函数对比、小样本实验和消融实验,结果表明所提方法在精度、F1得分和召回率等指标上相较于现有经典模型均有显著提高; 所提方法在小数据集上表现出良好的适应性,一定程度上缓解参数调优复杂度和其他深度学习子网络不适用于中小数据集的问题。

关键词： 遥感; 变化检测; 深度森林; 多粒度扫描; 级联森林

本文引用格式

葛利华 , 王鹏 , 张燕琴 , 赵双林 . 基于深度森林的遥感图像变化检测模型[J]. 自然资源遥感, 2025 , 37(6) : 118 -127 . DOI: 10.6046/zrzyyg.2024327

Abstract

The deep learning-based models currently available for detecting changes in remote sensing images face several challenges, including limited multi-granularity, poor classification performance of networks, high sensitivity to parameters, and great efforts in parameter adjustment. To address these challenges, this study proposed a deep forest-based model for detecting changes in remote sensing images. Initially, preliminary results were determined using a basic change detection method. Then, the results were optimized using the multi-granularity scanning characteristics and strong data classification of deep forest sub-networks. In this manner, the final change detection results were obtained. Verification experiments conducted on the LEVIR-CD and SYSU-CD datasets using various common change detection models indicated that the proposed deep forest-based model significantly outperformed other models in terms of precision, F1 score, and recall. Additionally, the proposed model exhibited strong adaptability on small datasets, as verified by loss function comparison, small-sample experiments, and ablation studies. This adaptability can reduce the complexity of parameter adjustment and address the issues that other deep learning sub-networks fail to be applicable to medium and small datasets.

Key words： remote sensing; change detection; deep forest; multi-granularity scanning; cascade forest

0 引言

遥感图像变化检测(change detection, CD)是指针对不同时期相同位置拍摄的多源遥感图像及相关数据,利用图像处理方法和数学模型来判断和分析场景中物体的变化[1-3]。随着遥感技术的不断发展,遥感图像CD的研究也取得了重大进展[4-5],已广泛应用于森林砍伐评估[6]、城镇化监测[7]、灾害评估[8]、环境监测[9]和农业监测[10]等领域。
目前,遥感图像CD领域常见方法可分为基于机器学习的变化检测和基于深度学习的变化检测[11-13]。分类后比较法是基于机器学习的检测的经典方法之一,该方法的核心是基于分类基础的变化信息发现[14-15]。针对高分辨率遥感影像中地物细节繁多、光谱混淆现象严重的问题,Adão等[16]和李淑坤等[17]利用地统计学提取纹理特征,并将纹理特征和光谱特征一起用于CD。近年来,研究学者相继提出的视觉词袋模型[18]、变化向量分析和方向矢量[19-20]也属于基于机器学习的检测方法。随着深度神经网络的广泛运用,基于深度学习的像素级检测也迎来了迅猛发展,并已发展出了多种经典算法。例如,Fang等[21-22]提出了一种多尺度特征串联模型SNUnet(a densely connected siamese network for change detection)来提取用于变化检测的高级特征; Daudt等[23]提出了一种图像级融合方法FC-EF(fully convolutional early fusion),通过调整U-Net模型,将双时态遥感图像作为单个输入连接到全卷积网络,同时考虑了可用的训练数据量。此外,Daudt[24]提出了全卷积孪生拼接网络(fully convolutional siamese-concatenation, FC-Siam-conc)和全卷积孪生差异网络(fully convolutional siamese-difference, FC-Siam-diff),FC-Siam-conc方法使用暹罗全卷积网络(fully convolutional network, FCN)提取多级特征,并利用特征差异来融合双时态信息; Liu等[25]提出了一种双任务约束深度连体卷积网络(dual task constrained deep siamese convolutional network, DTCDSCN),可以同时完成CD和语义分割; Chen等[26]提出的基于新型时空注意力的卷积神经网络(spatial-temporal attention-based method, STANet)设计了一种CD自注意力机制来模拟时空关系。
在超高分辨率(very high resolution, VHR)图像变化检测领域,决策树作为一种经典的分类方法,已被广泛应用于构建高效的无监督二进制变化检测方法。例如,一种新型的无监督二进制CD方法结合了轻量级卷积神经网络(convolutional netrual netwok, CNN)和决策树,展现出良好的性能[27]。此外,杜俊翰等[28]提出的基于孪生CNN的CD方法,通过多尺度特征提取和注意力机制的结合,显著降低了噪声对检测效果的影响; Wang等[29]进一步探索了Siamese Transformers在CD任务中的潜力,并提出了一个依赖于Swin Transformers的通用模型。
然而,现有深度学习模型尽管可以通过加深网络结构、扩张卷积以及引入各种注意力机制来提升性能,但是在处理VHR图像变化检测任务时仍面临诸多挑战。首先,地物特征对外界环境因素的依赖性较高,导致网络的多粒度性和分类能力不足。这使得基于深度学习的多次CD结果容易受到外界因素的干扰; 其次,深度学习模型对超参数极为敏感,通常需要大量的参数调整才能达到较好的效果; 此外,大型复杂的深度学习模型在处理小型数据集时往往表现不佳,难以充分发挥其性能。
针对现有深度学习模型的不足,深度森林(deep forest)作为一种新兴的深度学习框架应需而生。深度森林继承了决策树的结构和思想,通过级联结构(cascade structure)和多粒度扫描(multi-grained scanning)机制[30],实现了逐层特征提取和表示学习,从而弥补了传统深度学习模型在多粒度性和分类能力上的不足。与深度神经网络相比,深度森林具有更少的超参数,且对超参数设置更为鲁棒,尤其适用于小型数据集任务。此外,深度森林不依赖于反向传播和梯度调整,避免了深度学习模型常见的梯度消失或梯度爆炸问题。因此,深度森林为VHR图像变化检测提供了一种高效且鲁棒的替代方案,特别是在现有深度学习模型难以应对的复杂场景中,展现出巨大的应用潜力。杨惠[31]将深度森林引入合成孔径雷达(synthetic aperture Radar,SAR)成像CD领域,分别对农田、湖泊与海岸线等场景的变化进行检测,均取得了相较于原始方法更为优良的效果; 在对森林CD时,李恒[32]将深度森林方法融入原始CNN,检测结果成功击败了众多传统检测方法及深度学习算法。
基于深度森林在CD领域取得的优异成果,本文提出了基于深度森林子网络的遥感图像变化检测模型(remote sensing image change detection model based on deep forest subnetwork, CDMDF),将深度森林CD模块融入进基础CD模型,在依托底层CD模型优势的前提下,结合深度森林训练方便、效率高以及超参数少等优点,充分利用深度森林多粒度扫描的特点和强大的数据分类能力,实现在小数据集上性能的普遍改进,提高遥感图像CD的准确性。

1 研究方法

提出的CDMDF总体流程图如图1所示。识别遥感图像变化的过程可以看作是一个两阶段操作,包括初步检测和后处理。利用普通的深度学习遥感影像CD模型对变化区域进行初步检测——深度CNN已被证明在遥感图像分析中是有效的,所以本研究的重点是后处理。考虑到额外的深度学习后处理将增加许多额外的问题,例如复杂的参数调整和对小型数据集不友好的大型模型,因此,提出CDMDF作为一种有效的后处理,不仅实现了提高后处理精度的功能,而且避免了参数复杂的问题。在获取数据集困难时,它也适用于小型数据集。
图1 CDMDF的总体流程图

Fig.1 Overall flow chart of CDMDF

CDMDF基本原理是利用深度森林的优势将深度森林与遥感图像CD基础模型相结合。其中深度森林分为多粒度扫描和级联森林2部分,是从随机森林演变而来的[30]。首先利用基础的深度学习CD模型,得到输入的双时态遥感图像的初步变化预测图。然后将生成的变化图输入到提出的CDMDF中,进行训练以产生最终结果。

1.1 多粒度扫描

CDMDF中,首先使用3个滑动窗口对预测映射进行多粒度扫描,这些滑动窗口的大小分别设置为默认参数3×3,7×7和11×11。本文采用三层采样,以提取多维样本数据特征,同时在参数选择方面,在多粒度扫描的默认参数的基础上,考虑特征样本的尺度大小,选取这3种尺度的滑动窗口,尽可能充分地利用原始特征。多粒度扫描的示意图如图2所示。具体的扫描过程类似于CNN中卷积核的运动,只是不做卷积运算。与图像数据和序列数据的处理一样,图像数据的扫描方式是从左到右、从上到下,而序列数据只是从上到下。此操作主要放大数据的维度,使得模型更加关注原始数据中各个特征之间的关联。多粒度扫描可以分为2个部分: 特征向量提取和分类。以一层扫描层为例,多粒度扫描使用一个窗口来扫描原始特征,从而得到多个特征向量。假设输入系统的初始图像尺寸为n×n,滑动窗口大小为m×m,滑动间隔为s,扫描可得大小为m×m的sum个特征向量,其中sum可以表示为:
sum=(int($\frac{n-m}{s}$)+1)2,
式中int()为取整操作。然后将这些特征向量放入分类器中,其中包括2个森林: 完全随机森林和随机森林。前者,每棵决策树随机选择一个特征进行分裂,决策树不断生长,直到节点具有相同的分类结果; 在后者中,决策树根据基尼值选择最优特征进行分割。当深度森林中存在2种类型的随机森林,即随机森林和完全随机森林时,其性能会更好[33]。在涉及向量二元分类的CD中,每个森林生成一个代表类别的二维向量,2个森林输出一对二维类向量,而特征向量为sum个,因此经过2个森林就可以得到2组sum个二维类向量。再将这些类向量拼接在一起,得到一个4 sum长度的一维向量,即变化特征向量。最后把3层森林的结果拼接在一起得到多粒度扫描的输出。
图2 多粒度扫描示意图

Fig.2 A schematic representation of the multi-grained scanning

多粒度扫描作为初步CD的输出与级联森林之间的连接子网络,从上到下、从左到右对深度学习的输出进行处理,进一步关注特征之间的相关性,从而增强后续级联森林的分类效果。实验中每种类型的随机森林设置了100个决策树,决策树在生长到叶节点后停止生长。值得注意的是,多粒度扫描只是特征向量提取和分类的一个阶段,目的是获得更丰富的特征关系向量,为后续的级联森林提供强大的特征预处理基础。

1.2 级联森林

多粒度扫描的结果进入N层级联森林进行分类处理。级联森林的示意图如图3所示。每个级联层包含2个随机森林,每个随机森林包括100个决策树,每个决策树得到一个二元分类结果,这100个结果被投票决定分类的结果,因此,每个级联层输出2个二维类向量; 然后,连接输入特征向量的类向量用于训练次级联森林; 最后,重复该过程,直到最终结果可以收敛。需要注意的是,在扩展一个新的级后,整个级联的性能将在验证集上进行估计,如果没有显著的性能增益,训练过程将终止。因此,级联中级的数量是自动确定的。与模型的复杂性固定的大多数深度神经网络相反,深度森林能够适当地通过终止训练来决定其模型的复杂度。这使得深度森林能够适用于不同规模的训练数据,而不局限于大规模训练数据。经过最后一层的级联处理后,对每个森林输出中的同一类进行平均,然后取最大值对应的类作为最后一个分类器的输出。
图3 级联森林示意图

Fig.3 A schematic representation of the cascade forest

CDMDF中使用的评估方法是k倍交叉验证。交叉验证方法可以更好地展示其在小规模数据集上的优势,这也是深度森林在小尺度数据集上具有更明显优势的原因之一。在级联随机森林的训练过程中,将在验证集上估计整个级联的性能。如果没有显著的性能提升,训练过程将终止。更具体地说,级联森林不是端到端的训练。每个层的级联接收上一层处理的特征信息,并将处理结果(类向量)输出到下一层。从每个森林中学习后,将获得预测的类分布,然后,计算平均值并将其与先前的原始特征连接起来,作为下一层的输入。展开一层后,可以在验证集上测试整个级联结构的性能。如果没有明显的改进,训练过程将终止,因此可以自动确定层数。需要解释的是,深度森林的作用不止在于分类和回归。随机森林是树的集合,而单决策树对数据变化很敏感,很容易过度拟合某些噪声,因此,只有一棵树的随机森林也可能会遇到过拟合。决策树也是如此,当将决策树逐个添加到随机森林中时,过拟合的趋势会减少,但是,误差通常不会变为0; 添加更多树后,误差方差将接近0,但偏差不会。这代表随机森林中的树越多越好。因此,在此基础上进化的深度森林不易出现过拟合问题,这也是CDMDF的优势之一,也就是该模型具有高度自适应性,对参数不敏感。级联森林是通过在多个级联层中集成随机森林获得的,是多粒度扫描的后续阶段,它们可以对多粒度扫描中的特征向量进行分类,但不能用作二进制图像分类的单独后处理模块。本文还利用深度森林的分类效应,对最初检测到的二元图像进行了进一步处理,而不是直接对双时态遥感图像进行处理。

2 结果与分析

2.1 实验设置

本文实验评估基于2个专为CD设计的数据集: LEVIR-CD数据集和中山大学CD数据集(SYSU-CD)。LEVIR-CD数据集包含637对遥感图像,每对图像尺寸为1 024像素×1 024像素,有多种建筑物类型。为了适应GPU内存的限制,将图像调整为256像素×256像素。因此,数据集被重组为包括7 120个训练补丁、1 024个验证补丁和2 048个测试补丁,示例如图4所示。SYSU-CD数据集包含20 000对0.5 m分辨率的航空照片。这些图像的尺寸统一为256像素×256像素。该数据集中记录的主要变化类型包括城市建设、城市发展、地面开发和植被变化,示例如图5所示。
图4 LEVIR-CD数据集示例

Fig.4 Example of LEVIR-CD dataset

图5 SYSU-CD数据集示例

Fig.5 Example of SYSU-CD dataset

为了确认所提出的CDMDF的效果,将CDMDF添加到6种现有方法中进行比较,分别为: FC-EF,FC-Siam-conc,FC-Siam-diff,SNUnet,DTDSCN和STANet。这些方法在融合CDMDF之后分别重命名为FC-EF_DF,FC-Siam-conc_DF,FC-Siam-diff_DF,SNUnet_DF,DTCDSCN_DF和STANet_DF。本文引入了3个客观的评价指标来衡量每个检测结果与真实值的相似度,包括准确率、召回率和F1分数。准确率表示正确预测的正样本与实际预测的正样本的比例,召回率表示正确预测的正样本与正样本的比例,F1分数是准确率和召回率的调和平均值,可以更准确地表示分类的有效性。准确率越高表示误报率越低,召回率越高表示漏报率越低,F1分数值为准确率与召回率的谐波平均值。此外,在模型中使用了交叉熵损失,这个损失函数的选择也将在讨论中进行演示。计算公式为:
P= $\frac{TP}{TP+FP}$,
R= $\frac{TP}{TP+FN}$,
F1=2× $\frac{R\times P}{R+P}$,
式中: P为准确率; R为召回率; TP为真实值,表示正确预测的变化像素数; FP为误报,表示预测为已变化实际未变化的像素数; FN为假阴性,表示预测为未变化实际已变化像素数。环境配置默认为Python3.6.0,torch版本为1.10.2,torchvision版本为0.11.3。

2.2 实验结果

图6和图7分别提供了LEVIR-CD测试集和SYSU-CD测试集标签的真实值及6种传统变化检测预测结果的可视化表示,包括原始模型的结果和集成CDMDF的增强版本。对视觉结果分析,可以清楚地看到,将CDMDF集成到这些标准方法中可以显著改善预测结果,提高其与真实标签的一致性,结果更加精确,更接近地反映了实际变化,表明模型更好地理解和处理了数据集。表1提供了LEVIR-CD和SYSU-CD测试数据集的性能指标的详细的比较。该数据证明使用CDMDF增强的方法的精度、召回率和F1分数相比原始方法均有所增加,证实了视觉观察结果。
图6 LEVIR-CD测试集上不同方法的结果

Fig.6 Results of the different methods on the LEVIR-CD test sets

图7 SYSU-CD测试集上不同方法的结果

Fig.7 Results of the different methods on the SYSU-CD test sets

表1 2个数据集上各方法的对比

Tab.1 Comparison of the two test sets

方法 LEVIR-CD SYSU-CD
准确率 召回率 F1 准确率 召回率 F1
FC-EF 0.922 0.773 0.841 0.721 0.902 0.801
FC-EF_DF 0.942 0.966 0.954 0.804 0.827 0.815
FC-Siam-conc 0.910 0.850 0.879 0.695 0.831 0.757
FC-Siam-conc_DF 0.927 0.935 0.930 0.783 0.853 0.817
FC-Siam-diff 0.914 0.861 0.887 0.991 0.632 0.772
FC-Siam-diff_DF 0.931 0.952 0.941 0.988 0.805 0.887
SNUnet 0.864 0.947 0.904 0.689 0.718 0.703
SNUnet_DF 0.939 0.933 0.936 0.855 0.926 0.889
DTCDSCN 0.883 0.904 0.893 0.810 0.857 0.833
DTCDSCN_DF 0.918 0.887 0.902 0.807 0.869 0.837
STANet 0.918 0.833 0.873 0.792 0.838 0.814
STANet_DF 0.924 0.867 0.894 0.903 0.806 0.852
由于CDMDF由基本CD模型和深度森林后处理子网络2部分组成,因此模型的整体性能由这2部分决定。虽然是一个后处理子网络,但不像形态学处理那样对单个图像数据进行处理,而是对整个数据的平均值进行处理,这更好地反映了所提模型的有效性。在规模相对较小的LEVIR-CD数据集中,性能的提升尤其明显,表明了该子网络在数据稀缺情况下的有效性。其中,对于FC-EF此类完全使用卷积网络没有后处理结构的模型来说,额外的后处理子网络CDMDF的效果更加明显,且FC-EF模型相对于其他模型来说本身在图像处理上就更加直接,而CDMDF的加入让FC-EF对LEVIR类小型数据集来说,在原本不占优势的数据集需求方面有了很大的缓解。CDMDF使用多粒度扫描和级联森林机制,能够捕获数据中复杂的模式和关系,这对于准确的变化检测至关重要。

3 讨论

3.1 损失函数的影响

本文设置了4组不同的损失函数进行比较研究,并在数据集上测试了FC-EF_DF的性能。4种损失函数包括: 交叉熵损失、均方误差损失、平方损失和焦点损失。将这4个损失函数应用于FC-EF_DF模型并在LEVIR-CD数据集上进行一组全面的测试,目的是确定哪种损失函数将在CD领域产生最稳健和最准确的结果。
表2提供的实验数据表明,交叉熵损失在优化F1分数方面特别有效。交叉熵损失的功效源于其量化2个概率分布之间方差的能力,这一属性最大限度地减少了与模型无关的预设的干扰,使其成为广泛的机器学习框架的合适选择。与均方误差损失函数和平方损失函数相比,交叉熵衡量的是2个分布之间的差异,对模型“不可知”假设的影响很小,因而能够更好地适应各种机器学习模型,对于机器学习任务非常有用。焦点损失是二元分类的交叉熵损失函数,比交叉熵损失稍差,当样本不平衡时,焦点损失可能比交叉熵损失更好。因此,选择交叉熵作为损失函数。
表2 不同损失函数的影响

Tab.2 The effect of different loss functions

损失函数 准确率 召回率 F1
交叉熵损失 0.942 0.966 0.954
均方误差损失 0.902 0.979 0.939
平方损失 0.948 0.920 0.934
焦点损失 0.946 0.951 0.948

3.2 样本大小的影响

本文设计了一个使用小样本数据的实验来测试CDMDF在小样本下的性能。通过分割LEVIR-CD数据集获得数据集,随机选择200个数据集的子集,其中120个分配用于训练阶段,其余80个用于评估和验证。使用FC-EF及FC-EF_DF作为该实验的说明性示例,图8展示了实验获得的相应结果。同时,利用6个基本模型和相应的CDMDF增强模型对大小数据集进行对比实验,数据指标结果见表3。可以看出,尽管用于训练的样本数据大小有限,但引入的CDMDF在CD任务中表现出了良好的性能,准确率等指标可提升10%左右。这是因为深度森林架构擅长通过动态调整模型的深度来处理不同的数据量。因此,即使训练数据集相对较小,CDMDF也能够通过关注数据中最相关的特征和关系来实现高精度的预测。CDMDF的这一特性在数据采集成本高昂且耗时的遥感图像分析领域尤其有价值。通过有效地管理模型复杂性和数据量之间的权衡,CDMDF为小数据集的变化检测任务提供了解决方案。
图8 小样本数据集的结果

Fig.8 Results of small sample datasets on the LEVIR-CD

表3 数据集的大小对实验结果的影响

Tab.3 The effect of the datasets size

方法 原始数据集 小数据集
准确率 召回率 F1 准确率 召回率 F1
FC-EF 0.922 0.773 0.841 0.817 0.742 0.778
FC-EF_DF 0.942 0.966 0.954 0.920 0.931 0.925
FC-Siam-conc 0.910 0.850 0.879 0.883 0.752 0.812
FC-Siam-conc_DF 0.927 0.935 0.930 0.920 0.844 0.880
FC-Siam-diff 0.914 0.861 0.887 0.835 0.786 0.810
FC-Siam-diff_DF 0.931 0.952 0.941 0.897 0.904 0.900
SNUnet 0.864 0.947 0.904 0.833 0.898 0.864
SNUnet_DF 0.939 0.933 0.936 0.879 0.903 0.891
DTCDSCN 0.883 0.904 0.893 0.796 0.847 0.821
DTCDSCN_DF 0.918 0.887 0.902 0.880 0.862 0.871
STANet 0.918 0.833 0.873 0.801 0.799 0.799
STANet_DF 0.924 0.867 0.894 0.877 0.830 0.853

3.3 消融实验

CDMDF的功能在于后处理,它进一步实现了通过深度森林的特征提取和分类。为了验证这种后处理方法的有效性,将其与聚类算法,如K-means算法进行比较,并将该算法记作FC-EF_clustering。FC-EF_clustering的原理是: 首先设置k个类别,从种群中随机选择k个样本作为聚类中心,然后遍历所有样本点,将所有样本点分类为k个类别(根据最短距离),更新k个样本的样本中心,然后重新划分所有样本点。停止条件可以设置为样本变化幅度不显著的情况,或者2个损失函数没有显着变化的情况。由于处理的是二进制图像,因而使用二进制聚类算法。将FC-EF模型和FC-EF_DF与FC-EF_clustering进行了比较,结果如图9所示。将图9(d)的细节之处与图9(a)—(c)细节之处对比可以看出,二进制聚类作为一种机器学习算法,其有效性并不稳定,因为聚类结果在很大程度上受初始聚类中心选择的影响。因此,参数的选择会导致有偏差的聚类结果,而这些结果并不普遍。另一方面,聚类算法在迭代过程中采用贪婪策略,试图在每个步骤中找到当前的最佳解决方案。但是,这种策略可能会导致算法陷入局部最优,无法实现全局最优。需要注意的是,本文目标不仅要提取更改区域,还要准确划分已更改和未更改的区域,即更清楚地定义更改区域的边缘。从图中可以看出,聚类算法大多对变化区域进行模糊处理,甚至直接将相邻的变化区域划分为同一个区块,这与本文的检测目标并不一致。
图9 2种后处理方法的比较

Fig.9 Comparison of 2 post-processing methods

此外,笔者用形态学处理替换了后处理中的深度森林模块,并尝试包含打开和关闭操作,以及对二进制结果图像的形态学梯度处理。结果表明,额外的形态学处理可以消除一些细节,如孤立点、精细连接和毛刺,但形态学处理需要人工调整方法和参数,内核的大小决定了优化结果,因此形态学处理不能作为一个单独的后处理模块嵌入到基本CD模型中。

3.4 运行成本

由于增加了额外的子网络,不可避免地对系统复杂度和运行时间产生影响,为了测试方法的复杂度,记录LEVIR-CD数据集在不同方法上的运行时间的变化,结果如表4所示。
表4 深度森林对运行时间的影响

Tab.4 The effect of the deep forest module on running time (ms/张)

方法 平均运行时间 增加的时间
FC-EF 10.08 2.12
FC-EF_DF 12.20
FC-Siam-conc 10.53 2.28
FC-Siam-conc_DF 12.81
FC-Siam-diff 9.41 2.06
FC-Siam-diff_DF 11.47
SNUnet 10.49 2.35
SNUnet_DF 12.84
DTCDSCN 16.19 2.26
DTCDSCN_DF 18.45
显然,建立在现有CD方法基础上的新子网络的集成有助于提高检测过程的精度,但这种准确性的提高并不是没有代价的。子网络的引入需要额外的计算资源和流程,反过来又导致整体处理时间的延长。综合考虑检测结果的质量和精度,这种方法符合实现更准确、更有效的CD系统的更广泛目标,即使这意味着需要增加计算成本。计算效率和检测精度之间的平衡是此类技术的开发和部署的关键考虑因素,在这种情况下,提高精度的好处超过了与增加处理时间相关的成本。因此,计算成本的增加是一个不可避免的问题,研究者也希望更深入地挖掘轻量级的后处理网络,以减轻模型的复杂性。

4 结论

本文介绍了一个遥感图像CD通用深度森林子网络CDMDF。CDMDF框架主要由2部分组成: 基本变化检测模型和深度森林后处理子网络。后处理子网络对变化检测基础模型的初始结果进行检测,不仅利用了深度森林的分类作用,而且缓解了基本模型对参数敏感、对数据集要求高的问题。
将6种传统CD算法和相应集成了深度森林模块的改进算法分别在LEVIR-CD测试集和SYSU-CD测试集进行测试,结果显示: 集成了深度森林模块的改进算法可以有效改进标签的预测效果,并在精度、召回率和F1分数上均有所增加,显著提升了可视化效果。此外,在小数据集上进一步验证的实验结果表明,CDMDF对准确率等指标可提升10%左右,为小数据集CD任务提供了一种新的思路。
CDMDF的局限性在于会增加运行成本且不适合于大型数据集。因此,接下来将致力于轻量化CDMDF的研究,以更好地平衡计算效率和检测精度,并尝试将CDMDF推广至大型数据集。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
Singh A. Review article digital change detection techniques using remotely-sensed data[J]. International Journal of Remote Sensing, 1989, 10(6):989-1003.

DOI

[2]
Huang B, Song H, Cui H, et al. Spatial and spectral image fusion using sparse matrix factorization[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(3):1693-1704.

DOI

[3]
Wang P, Wang L, Leung H, et al. Super-resolution mapping based on spatial-spectral correlation for spectral imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(3):2256-2268.

DOI

[4]
Wang Q, Ding X, Tong X, et al. Spatio-temporal spectral unmixing of time-series images[J]. Remote Sensing of Environment, 2021,259:112407.

[5]
Wang P, Yao H, Li C, et al. Multiresolution analysis based on dual-scale regression for pansharpening[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021,60:5406319.

[6]
Marin C, Bovolo F, Bruzzone L. Building change detection in multitemporal very high resolution SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(5):2664-2682.

DOI

[7]
Huang X, Zhang L, Zhu T. Building change detection from multitemporal high-resolution remotely sensed images based on a morphological building index[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(1):105-115.

DOI

[8]
Mahdavi S, Salehi B, Huang W, et al. A PolSAR change detection index based on neighborhood information for flood mapping[J]. Remote Sensing, 2019, 11(16):1854.

DOI

[9]
Huang B, Song H. Spatiotemporal reflectance fusion via sparse representation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(10):3707-3716.

DOI

[10]
He D, Zhong Y, Wang X, et al. Deep convolutional neural network framework for subpixel mapping[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(11):9518-9539.

DOI

[11]
Gong M, Zhao J, Liu J, et al. Change detection in synthetic aperture Radar images based on deep neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2016, 27(1):125-138.

DOI PMID

[12]
史文中, 张鹏林, 吕志勇, 等. 地理国情综合指数及其计算模型研究[J]. 测绘地理信息, 2016, 41(1):1-6.

Shi W Z, Zhang P L, Lyu Z Y, et al. Composite index and calculation model for national geographical state[J]. Journal of Geoma-tics, 2016, 41(1):1-6.

[13]
李德仁, 眭海刚, 单杰. 论地理国情监测的技术支撑[J]. 武汉大学学报(信息科学版), 2012, 37(5):505-512,502.

Li D R, Sui H G, Shan J. Discussion on key technologies of geographic national conditions monitoring[J]. Geomatics and Information Science of Wuhan University, 2012, 37(5):505-512,502.

[14]
Chen C F, Son N T, Chang N B, et al. Multi-decadal mangrove forest change detection and prediction in Honduras,Central America,with Landsat imagery and a Markov chain model[J]. Remote Sensing, 2013, 5(12):6408-6426.

DOI

[15]
Mei S, Li X, Liu X, et al. Hyperspectral image classification using attention-based bidirectional long short-term memory network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021,60:5509612.

[16]
Adão T, Hruška J, Pádua L, et al. Hyperspectral imaging:A review on UAV-based sensors,data processing and applications for agriculture and forestry[J]. Remote Sensing, 2017, 9(11):1110.

DOI

[17]
李淑坤, 李培军, 程涛. 加入多时相纹理的遥感变化检测[J]. 国土资源遥感, 2009, 21(3):35-40.doi:10.6046/gtzyyg.2009.03.07.

Li S K, Li P J, Cheng T. Remote sensing change detection by inclusion of multitemporal texture[J]. Remote Sensing for Land and Resources, 2009, 21(3):35-40.doi:10.6046/gtzyyg.2009.03.07.

[18]
Sivic, Zisserman. Video Google:A text retrieval approach to object matching in videos[C]// Proceedings Ninth IEEE International Conference on Computer Vision. October 13-16,2003, Nice,France.IEEE, 2003:1470-1477.

[19]
Malila W. Change vector analysis:An approach for detecting forest changes with Landsat[C]// LARS symposia.1980:385.

[20]
邸凤萍, 朱重光, 丁玲. 方向矢量法在城市土地利用变化检测中的应用[J]. 计算机工程, 2008, 34(2):253-254.

DOI

Di F P, Zhu C G, Ding L. Application of direction-vector analysis in change detection of urban land-use[J]. Computer Engineering, 2008, 34(2):253-254.

DOI

[21]
Fang S, Li K, Shao J, et al. SNUNet-CD:A densely connected Siamese network for change detection of VHR images[J]. IEEE Geoscience and Remote Sensing Letters, 2021,19:8007805.

[22]
Li K, Li Z, Fang S. Siamese NestedUNet networks for change detection of high resolution satellite image[C]// 2020 International Conference on Control,Robotics and Intelligent System.Xiamen China. ACM, 2020:42-48.

[23]
Daudt R C, Le Saux B, Boulch A. Fully convolutional Siamese networks for change detection[C]// 2018 25th IEEE International Conference on Image Processing (ICIP).October 7-10,2018,Athens,Greece.IEEE, 2018:4063-4067.

[24]
Daudt R C. Convolutional neural networks for change analysis in earth observation images with noisy labels and domain shifts[D]. Paris: Institut Polytechnique de Paris, 2020.

[25]
Liu Y, Pang C, Zhan Z, et al. Building change detection for remote sensing images using a dual-task constrained deep Siamese convolutional network model[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(5):811-815.

DOI

[26]
Chen H, Shi Z. A spatial-temporal attention-based method and a new dataset for remote sensing image change detection[J]. Remote Sensing, 2020, 12(10):1662.

DOI

[27]
Fang H, Du P, Wang X. A novel unsupervised binary change detection method for VHR optical remote sensing imagery over urban areas[J]. International Journal of Applied Earth Observation and Geoinformation, 2022,108:102749.

[28]
杜俊翰, 赖健, 王雪, 等. 基于多尺度注意力特征与孪生判别的遥感影像变化检测及其抗噪性研究[J]. 数据采集与处理, 2022, 37(1):35-48.

Du J H, Lai J, Wang X, et al. Change detection of remote sensing image based on Siamese multi-scale attention network and its anti-noise ability research[J]. Journal of Data Acquisition and Processing, 2022, 37(1):35-48.

[29]
Wang D, Chen X, Guo N, et al. STCD:Efficient Siamese transformers-based change detection method for remote sensing images[J]. Geo-Spatial Information Science, 2024, 27(4):1192-1211.

DOI

[30]
Zhou Z H, Feng J. Deep forest[J]. National science review, 2019, 6(1):74-86.

DOI

[31]
杨惠. 基于深度森林的SAR图像变化检测技术研究[D]. 西安: 西安电子科技大学, 2019.

Yang H. Research on SAR image change detection technology based on deep forest[D]. Xi’an: Xidian University, 2019.

[32]
李恒. 基于遥感影像的森林变化检测方法研究[D]. 长沙: 中南林业科技大学, 2022.

Li H. Research on forest change detection method based on remote sensing image[D]. Changsha: Central South University of Forestry and Technology, 2022.

[33]
Breiman L. Random forests[J]. Machine Learning, 2001,45:5-32.

Options
文章导航

/

〈 〉