EN中文

Remote Sensing for Natural Resources >

2025 , Vol. 37 >Issue 5: 73 - 90

DOI: https://doi.org/10.6046/zrzyyg.2024206

Self-learning segmentation of high-resolution remote sensing images based on visual dual-drive cognition

  • WU Zhijun , 1 ,
  • CONG Ming , 1 ,
  • XU Miaozhong 2 ,
  • HAN Ling 1 ,
  • CUI Jianjun 1 ,
  • ZHAO Chaoying 1 ,
  • XI Jiangbo 1 ,
  • YANG Chengsheng 1 ,
  • DING Mingtao 1 ,
  • REN Chaofeng 1 ,
  • GU Junkai 1 ,
  • PENG Xiaodong 1 ,
  • TAO Yiting 2
Expand
  • 1. College of Geological Engineering and Geomatics，Chang’an University，Xi’an 710064，China
  • 2. State Key Laboratory of Information Engineering in Surveying，Mapping and Remote Sensing，Wuhan University，Wuhan 430072，China

Received date: 2024-06-12

  Revised date: 2025-03-22

  Online published: 2026-06-03

Fold

Abstract

The current high-resolution remote sensing images involve complex scenes that are difficult to analyze. Meanwhile，owing to the diverse scenes，there is a lack of accurate reference obtained from the sample database. Therefore，this paper proposed a self-learning segmentation method for high-resolution remote sensing images，with reference to the visual dual-drive cognition mechanism. Based on the principle of visual perception，this method interpreted the typical ground objects in the scene through unsupervised adaptive analysis. In addition，it achieved self-learning identification of typical ground objects by integrating a neural network. Finally，the segmentation results were self-checked and corrected by combining unsupervised analysis and neural network learning. Using real high-resolution remote sensing image data containing complex ground scenes，the comparative experiments were conducted between the proposed method and two popular deep neural network segmentation methods：mask region-based convolutional neural network （Mask R-CNN） and scalable vision transformer （ScalableViT）. The results showed that the proposed method can maintain robust and reliable segmentation accuracy，and outperformed others in terms of ground object cognition，generalization performance，and anti-interference ability. As such，it proved to be a cost-effective and practical approach.

Key words： bionic visual; high-resolution remote sensing; image segmentation; unsupervised analysis; deep learning neural network; self-learning method

Cite this article

WU Zhijun , CONG Ming , XU Miaozhong , HAN Ling , CUI Jianjun , ZHAO Chaoying , XI Jiangbo , YANG Chengsheng , DING Mingtao , REN Chaofeng , GU Junkai , PENG Xiaodong , TAO Yiting . Self-learning segmentation of high-resolution remote sensing images based on visual dual-drive cognition[J]. Remote Sensing for Natural Resources, 2025 , 37(5) : 73 -90 . DOI: 10.6046/zrzyyg.2024206

0 引言

高分辨率遥感影像作为当前空天地全方位观测体系中的重要环节，能够针对各类场景进行精确、细致的观测，从而为众多科学研究和工程应用提供基础数据支持和可靠的实景参考[1-4]。
高分辨率遥感影像分割是根据一定的规则，将高分辨率遥感影像划分为不同的区域或对象的过程，旨在将影像中的不同地物和特征清晰地区分开来。这不仅能降低遥感影像的解译难度，还能压缩庞大的数据量，简化遥感影像的处理过程，是高分辨率遥感影像数据处理的关键技术[5-8]。
这种高效快速的影像信息提取技术，对于土地利用与土地覆盖调查来说，能够迅速估算出土地利用的面积、比例和分布情况。在生态环境保护领域，它可以对一些典型的污染情况进行监测、探查与定位。此外，在城市规划方面，高分辨率遥感影像分割提供了城市中的建筑物、道路、绿化场地等空间信息。同时，它还具有快速提取灾害区域、分析灾害程度的能力。总体上，高分辨率遥感影像分割在遥感领域中具有举足轻重的地位和作用，是目前遥感技术发展的主要方向之一[9-12]。
目前常用的高分辨率遥感影像分割方法主要分为非监督分析方法与监督学习方法。其中，非监督分析方法大多需要从影像中提取典型特征，并依赖地物的特征差异实现分割任务，主要方法包括：阈值分割法[13]、区域分割法[14]、边缘检测分割法[15]、基于小波变换的分割方法[16]以及基于聚类的分割方法[17]等。这种分析思路在地物特征明显、不同地物特征差异较大的地面场景中，能够以无需样本、自动化的优势获取较好的分割效果。然而，受制于特征设计、特征提取和特征统计分析的性能，再加上噪声等干扰因素的存在，这类方法在面对高分辨率的复杂地面场景时，可能在地物认知性能、泛化推理程度与抗干扰能力等方法还有所欠缺，在实现高精度的高分辨率遥感影像分割方面仍需面临诸多挑战。
而监督学习方法主要尝试从样本中学习到可泛化的分割规律，对影像进行划分。当下随着卷积神经网络（convolutional neural network，CNN）不断地发展，深度学习神经网络分割成为目前最为流行的监督学习分割方法[18-19]。这种深度学习方法，通过层次化的卷积与后向传播修正，自动化地映射影像数据与地物类别的关系，能够从影像中抽象出非线性的隐含特征，实施高精度的地物划分，主要包括：基于编码器-解码器的分割方法[20-23]、基于金字塔融合的分割方法[22]、基于多分支融合的分割方法[23]、基于注意力机制的分割方法[24-27]及基于 Transformer 的分割方法[28-29]等。这些方法在样本数量与样本质量有充分保证的前提下，能够准确、泛化地建立多维数据与地物类别间的映射关系，从而对复杂精细的地面场景进行高精度的地物识别。但相对于计算机视觉研究中大量应用的常见图像，遥感影像随光照、时间、季节等因素的变化较为巨大，难以使用常规样本库，致使这类方法难以落地实用，难以完全胜任各种各样条件下的高分辨率遥感影像分割任务[30]。
经过多年研究，高分辨率遥感影像分割方法在充足样本条件下已经能够对典型、完整的地物区块进行高精度划分，为各种应用提供准确的地物分布参考。然而，高分辨率遥感影像地物繁复无规律，且地面场景易受多种因素影响而变化较大，不但非监督分析难以解析复杂地物，监督学习也难以建立可靠、通用的样本库。因此，在面对缺乏样本和存在大量干扰信息的复杂地面场景时，单纯依赖非监督分析和监督学习可能难以从影像中抽取出可信、准确的地物语义信息。尽管现有研究通过半监督学习（如伪标签技术）[31]、自监督学习（如对比学习框架）及混合方法（如协同训练）等类自学习分割方法，尝试缓解样本依赖问题，但这些方法仍面临伪标签噪声累积、模型复杂度高或跨场景适应性不足等挑战。为此，迫切需要探索一种具备自学习能力的分割方法，以克服非监督分析在认知性能上的局限性和监督学习对样本的过度依赖。
针对当前高分辨率遥感影像分割对自学习能力的需要，本文参考人眼视觉感知的自学习能力，设计了一种基于视觉双驱动认知的自学习分割方法。该方法参考视觉双驱动注意机制，首先利用自底向上数据驱动的非监督光谱聚类对影像进行初步解析，得到超像素边缘并生成影像的同源可靠样本；随后，通过自顶向下任务驱动的轻量级自注意神经网络学习影像同源可靠样本，实现对影像复杂地面场景的准确辨识；最后，参照眼球的微颤动感知机制，根据非监督分析得到的超像素边缘，对神经网络认知结果进行自检校的噪声去除与边缘恢复，得到尽可能准确、可靠的分割结果。

1 视觉感知特性基础

1.1 视觉的双驱动注意机制

人眼的双驱动注意模式能够筛选观测场景的内容，减少待处理信息的复杂度，从而对不同目标实施不同权重的观察，快速、灵活地对场景观察与反馈。这种双驱动注意机制通常以自底向上（bottom-up）的数据驱动方式来快速、模糊地解读低空间频率的场景，并通过自顶向下（top-down）的任务驱动来精细、准确地观察高空间频率或运动的目标[32]。这种机制能有效地利用数据和任务之间的互补性，达成更高效、准确的场景理解。
其中，自底向上的数据驱动由外界场景刺激视觉系统，通过光谱、明暗、纹理等特征[33] 对整个场景进行快速感知与理解，这种初步解读过程为后续任务驱动提供基础。在此之上，自顶向下的任务驱动会结合先验知识，从方向、形状、熵等复杂特征[34]出发，调动眼球等视神经功能对感兴趣区域进行深入聚焦。
双驱动注意机制细致的观察能力已在图像分析领域得到广泛应用，尤其在场景的精细解读工作中展现出显著优势[35-36]。通过动态分配观察权重，该机制既能保证对图像关键信息的优先获取，又能维持整体场景的快速反馈，体现了生物视觉系统在信息处理中的智能优化策略。

1.2 视觉的颜色拮抗

关于视觉的颜色拮抗感知能力的认知目前已形成共识，该认知特性描述了视网膜中结构不同的光电转换神经元细胞具有不同的光信号感知性能，即视网膜中视杆细胞与视锥细胞有不同的光敏感性[37]。其中，视杆细胞对光线强弱较为敏感，能够解析光的强度，但对光谱的分辨能力较弱；而视锥细胞对光的波段较为敏感。经Marks等[38]研究发现，人类视锥细胞最为敏感3种光的波长分别为564 nm，533 nm和437 nm，分别接近黄、绿和紫。同时，配合外膝体及视觉皮层的光谱处理神经元细胞，形成了对光谱与颜色的生理认知能力，模拟此视觉特性可用于影像的光谱校正。

1.3 视神经的非经典感受野模型

随着生物神经信息学的研究不断深入，Li等[39]发现视觉神经元感受野外部存在一个能够对经典感受野进行调制、响应的大外周区域，称为非经典感受野（non-classical receptive field，NCRF），可以通过三高斯模型来模拟NCRF对经典感受野的调制特性，其数学表达式为：

E（x，y）=aexp $\left(-\frac{{x}^{2}+ {y}^{2}}{{r}_{1}^{2}}\right)$-

$\left[bexp\left(-\frac{{x}^{2}+ {y}^{2}}{{r}_{2}^{2}}\right)-cexp\left(-\frac{{x}^{2}+ {y}^{2}}{{r}_{3}^{2}}\right)\right]$，
式中：E（x，y）为感受野上某一点（x，y）感受到的强度；a为敏感区；b为外周区；c为去抑制区；r1，r2，r3分别为感受野不同区域的半径。
在此基础上，Grigorescu等[40]采用二维Gabor函数表征视皮层感知轮廓的方向选择性，配合高斯差分（difference of Gaussian，DoG）函数及高斯拉普拉斯（Laplacian of a Gaussian，LoG）函数模拟外周环绕的侧抑制作用，构建了模拟NCRF各向同性和各向异性的轮廓认知模型，实现了对遥感影像较好的边缘特征认知。其数学表达式为：
DoGr（x，y）= $\frac{1}{2\pi （kr{）}^{2}}$exp $\left[-\frac{{x}^{2}+ {y}^{2}}{2（kr{）}^{2}}\right]$-
$\frac{1}{2\pi {r}^{2}}$exp $\left(-\frac{{x}^{2}+ {y}^{2}}{2{r}^{2}}\right)$，
LoGr（x，y）= $\frac{{x}^{2}+ {y}^{2}-2{r}^{2}}{2\pi {r}^{6}}$exp $\left(-\frac{{x}^{2}+ {y}^{2}}{2{r}^{2}}\right)$，
式中：DoGr（x，y）和LoGr（x，y）为感受野上某一采样位置（x，y）的强度；k为NCRF与经典感受野的半径比；r为感受野半径。

1.4 视觉的瑞利明暗判据

瑞利判据（Rayleigh criterion）作为分析光学成像系统分辨相邻光斑（爱里斑）的指标，指出了当爱里斑的中心与相邻爱里斑的第一级暗环重合时，视觉成像系统刚好能分辨出2个爱里斑。并根据宋晓风[41]的研究，在瑞利判据中，爱里斑第一级暗环的亮度为爱里斑最大亮度的73.5%。受此启发，可以采用迈克尔逊对比度[42]推导人眼视觉明暗感知的对比度阈值，公式为：
C=（Imax-Imin）/（Imax+Imin）=
（1-0.735）/（1+0.735）=15.27% ，
式中：C为视觉的明暗对比度阈值，为15.27%；Imax为爱里斑亮度最大值；Imin为爱里斑亮度最小值。在此基础上，参考基于瑞利明暗判据的迈克尔逊对比度阈值，可以模拟视觉感知的明暗认知能力，解析场景与影像的光强和光谱[43-44]，运用于影像地物的聚类。

1.5 视觉的等级层次认知特性

神经信息学的研究[45-48]发现：大脑视皮层可按照其复杂程度被划分为多个区域，然后按照从简单到复杂的顺序，在复杂场景中分解出多个层次的单项元素，从而高效、多层次地解读视觉信号并理解视觉场景。受该视觉特性的启发，已有大量研究以多尺度方法或多分辨率算法模拟视觉的等级层次认知特征，对图像多方面特征进行不同层次的解析与综合，取得了良好的效果[49-51]，为本文轻量神经网络的层次化特征提取提供生物启示。

1.6 眼球的微颤动感知

眼球底部的视网膜，主要依赖小面积的中央凹视锥细胞，与双极细胞及其之后的神经节细胞进行“一对一”的信息传输，获取分辨度和清晰度都较高的清晰视野[52-53]，并通过分布在偏离中央凹的外周区视杆细胞，与双极细胞及其之后的神经节细胞进行“多对一”形式的信息传输，形成分辨率与清晰度都较低的模糊视觉[53]。
在眼球只有中央凹能够清晰成像的情况下，视神经通过微颤动来不停地转动眼球，从而转动中央凹获取大范围场景的清晰视野[54-55]。同时利用外周区模糊视觉进行场景概略初步认知，为细致的场景认知提供背景信息。而中央凹的视锥细胞则在此基础上，对场景中的边缘、纹理、色彩等细节特征进行深入细致的观察，从而形成清晰视野，完成场景认知[53]。经神经信息学研究发现，视觉始终保持着快速、连续且无意识的微颤动，从而对场景进行清晰、连续不断地认知[55-56]。模拟这种协同机制，可以修复图像像素的分割错误。

2 模拟视觉双驱动认知的自适应分割方法

参考视觉自底向上感知与自顶向下观察的双驱动认知机制，本文提出了一种自适应的分割思路，采用非监督聚类分析模拟基于数据驱动的自底向上感知，通过深度学习网络模拟基于任务驱动的自顶向下注视，从而对高分辨率遥感影像实施智能化自适应的解读，如图1所示。
图1 模拟视觉双驱动认知的自适应分割思路

Fig.1 Adaptive segmentation method for simulating visual dual drive cognition

2.1 模拟视觉颜色拮抗的光谱校正

参考已探明的视杆细胞解析光强、视锥细胞解析波段的视觉颜色拮抗理论，将影像中的地物光谱由成像时常用的RGB颜色空间，转换到目前已广泛使用的CIE-Lab颜色模型[57]，以“L”通道描述光强明度，以“a”通道描述从红色到深绿的光谱，以“b”通道描述从蓝色到黄色的光谱[58]，从而对光谱范围进行更加全面的表达。并且CIE-Lab颜色模型还能够在不同照明和观察条件下，最大程度地令任意2种颜色刺激的感知差异和数值计算出的色差保持一致[59]。这种与光线及设备无关的颜色表征性能，能够帮助地物光谱的量化数值贴近人眼视觉感受，为地物光谱特征的认知提供基础保障，能够有效提高分割算法的认知性能与分割精度。具体来说，先将RGB过渡至CIE-XYZ空间，再转换到CIE-Lab空间，其转换关系表达式为：
$\left[\begin{array}{l}X\\ Y\\ Z\end{array}\right]$= $\left[\begin{array}{l}0.412 4　0.357 6　0.180 5\\ 0.212 6　0.715 2　0.072 2\\ 0.019 3　0.119 2　0.950 5\end{array}\right]\left[\begin{array}{l}R\\ G\\ B\end{array}\right]$，
$\left[\begin{array}{l}{L}^{*}\\ {a}^{*}\\ {b}^{*}\end{array}\right]$= $\left[\begin{array}{l}116f(Y/100)-16\\ 500\left(f\right(X/96.679 7)-f(Y/100\left)\right)\\ 200\left(f\right(Y/100)-f(Z/82.518 8\left)\right)\end{array}\right]$，
$f(t)=\left\{\begin{array}{cl}\sqrt[3]{t}, & t>(6 / 29)^{3} \\\frac{t}{3 \times(6 / 29)^{2}}+\frac{4}{29}, & t \leqslant(6 / 29)^{3}\end{array},\right.$
式中：X，Y，Z为 CIE-XYZ 颜色空间的3个分量，其中 Y 用于描述光强明度；R，G，B分别为原始颜色空间的红、绿、蓝3通道数值；L*，a*，b*分别为光强明度、红色至深绿的颜色分量和蓝色至黄色的颜色分量。

2.2 模拟视神经NCRF的边缘识别与超像素划分

参考现有DoG函数及LoG函数对NCRF中外周侧抑制作用的模拟，采用二维离散信号处理中常用且著名的LoG算子（基于 LoG 函数），可以对影像灰度的梯度进行符合人眼视觉感受的度量，从而高效自动化地解析出影像灰度变化剧烈的边缘，表达式为：
L=∇2f（x，y）=∇·∇f（x，y）= $\frac{{\partial }^{2}f}{\partial {x}^{2}}$+ $\frac{{\partial }^{2}f}{\partial {y}^{2}}$=
$\left[\begin{array}{lll}1& 1& 1\\ 1& -\frac{1}{8}& 1\\ 1& 1& 1\end{array}\right]$，
式中：L为拉普拉斯运算结果，度量灰度梯度；∇2为拉普拉斯算子，∇为梯度算子；f（x，y）为灰度值。
在解析出灰度变化剧烈的边缘后，在边缘包围的不规则区域内部，由于灰度变化小、空间频率低且光谱特征相似，一般可认为由单一类别地物组成。因此，在完成边缘检测后，可以将由边缘包裹的独立区域作为超像素，以提高地物认知效率。
此外，在不同尺度使用LoG算子，可以模拟视神经NCRF对不同尺度的边缘进行辨识，并获取地物在不同尺度下组成的超像素斑块。在此基础上，将不同尺度的超像素表征图进行叠加，使相同地物的超像素相互覆盖，不同地物的超像素相互区分，最终得以通过多尺度的地物超像素对不同尺度的地物进行完善呈现，如图2所示。具体来说，首先将不同尺度超像素表征图缩放到相同大小；然后对不同尺度的超像素斑块进行腐蚀，腐蚀半径大小与尺度大小成比例，以保障相同地物叠加覆盖时，小尺度边缘可以得到保护；最后从多尺度叠加后的超像素表征图中筛除小面积噪声，并以4连通为依据对不同超像素斑块进行编号，形成独立地物的表征图。
图2 独立地物的多尺度表征示例图

Fig.2 Multi-scale representation example map of independent ground objects

2.3 基于瑞利明暗判据的多尺度超像素聚类

在获取独立地物几何位置的基础上，若能准确辨识独立地物的类别归属，即可建立影像数据与地物类别间的映射，从而为深度学习神经网络构建同源可靠样本。受此启发，针对已标记的独立地物，从多尺度影像中探明独立地物的典型光谱波段，参考瑞利判据下的迈克尔逊对比度阈值15.27%，即可解析独立地物的光谱分布，从而对独立地物的超像素斑块实施无监督、自动化的聚类，获取独立地物的类别归属。具体来说，针对每一个独立地物，首先，需要分析其超像素斑块所在的尺度，当有多个尺度的超像素斑块时，取尺度中值作为可信尺度从而增强稳定性和鲁棒性；然后，根据每个独立地物的可信尺度，从对应尺度的影像中找出超像素斑块区域的光谱分布，由于该区域光谱波动较小，可以取均值作为独立地物的光谱波段；最后，以瑞利判据提供的迈克尔逊对比度阈值15.27%，对所有独立地物的光谱波段进行自适应聚类，自动计算出最佳类别数，从而得到独立地物的类别属性，构建影像数据与地物类别间的映射，生成同源可靠样本，如图3所示。
图3 超像素聚类形成同源可靠样本示例图

Fig.3 Superpixel clustering forms an example map of homologous reliable samples

2.4 基于视觉注意的多特征变形轻量神经网络

在场景感知过程中，视觉注意机制能够将中央凹视锥细胞对准感兴趣目标，从而形成注视现象，完成对感兴趣目标或区域的精细观察。由于能够提供灵活且强大的空间关系建模思路，这种注意机制目前被广泛应用于计算机视觉 Transformer神经网络当中[60-62]。与传统的CNN相比，Transformer中的注意力结构Self-Attention[61]提供了分析不同卷积长度的能力，从而摆脱了一般卷积的局部限制，并通过动态权重的方法，保障不同特征之间的动态权重主要依赖于特征自身的特性，从而具备凸显典型特征的能力。本文结合CNN和Self-Attention注意力结构，形成一种全新的轻量神经网络结构，该结构通过自注意机制对特征权重进行再分配，使网络能够更加有效地关注图像中的重要区域。
结合已有的卷积理论、线性整流函数（rectified linear unit，ReLU） [63-64]及残差通道连接思想，参考目前已有的多尺度卷积思路[65-66]、多重卷积技巧[67-68]及残差连接优势[69-70]，本文设计了一种基础卷积编码单元。原始影像输入后，通过多个3×3的卷积和ReLU激活函数，配合残差连接，能够在逐步扩展感受野的同时，形成更加有效的特征挖掘，如图4所示。
图4 特征挖掘结构

Fig.4 Feature mining structure

此外，参考Self-Attention结构发挥出的特征权重评价功能[61]，在使用2个3×3卷积作为感受野的基础上，通过1×1卷积增加非线性特性，结合Softmax概率函数进行归一化，配合通道相乘的运算，可以架构一个轻量且有效的自注意特征权重再分配的网络结构，从而避开已有且复杂的变形结构与自注意结构，直接对挖掘出的特征进行权重评选，找出并凸显对地物识别有重要作用的特征，如图5所示。
图5 自注意权重分配结构

Fig.5 Self-attention weight allocation structure

在此基础上，输入原始影像，连接转置卷积和池化层，采用转置卷积缩小尺度解析超分辨率特征，结合平均池化扩大尺度解读低分辨率特征，配合原始特征，进行多尺度的特征挖掘。并基于此，以原始特征为基准线，采用局部最大值下采样进一步缩小转置卷积解析过的超分辨率特征，通过最近邻采样进一步放大平均池化解读过的低分辨率特征，构建多尺度特征差分结构，从而捕捉不同尺度间的特征差异信息[71]，提高神经网络的认知能力。最后，通过池化缩小超分辨率特征，采用转置卷积放大低分辨率特征，通过残差连接，汇聚各种特征信息，建立多尺度差分编码结构，输出挖掘到的隐藏特征，如图6所示。
图6 多尺度差分编码结构

Fig.6 Multi-scale differential coding structure

在解码方面，利用2个3×3卷积串联，第一个卷积感受野为 3×3，因第二个卷积的输入是第一个卷积操作后的特征图，所以最终输出的感受野大小相当于5×5，从而实现模拟5×5卷积的感受野，以此类推，通过多个3×3卷积模拟5×5，7×7，9×9的多重感受野，结合1×1卷积构建多卷积模板，结合残差连接和通道叠加，在避免过拟合的基础上解码不同尺度特征，采用一种类似层权重分配的机制，通过图5所示自注意权重分配结构，减少底层过多特征带来的细节噪声与运算负担，提高精度与效率[68]，为进一步的通道相乘运算提供权重参数[67]，并结合Softmax概率函数分割器，以交叉熵作为损失函数，构建多重感受野解码结构，进行解码分割，如图7所示。
图7 多重感受野解码结构

Fig.7 Multiple receptive field decoding structure

最后，在使用多尺度差分编码结构解析输入影像隐藏特征的基础上，通过多重感受野解码结构映射特征与分割间的关联，形成完整的后向与前向传播链，参考由自底向上非监督分析获取的样本信息，即可构成自顶向下的观察神经网络，完成对地表场景的细致观察，如图8所示。
图8 整体网络结构

Fig.8 Global network structure

2.5 基于眼球微颤动感知机制的错误修复

眼球微颤动自底向上认知背景、自顶向下解析细节，受此启发，本文提出了一种模拟眼球微颤动感知机制的错误修复思路，借助非监督分析提取出的超像素边界，滤除噪声并修复边缘。具体来说，在自底向上解析全局划分出的超像素的基础上，由于超像素内部具有较好的光谱一致性，可将每个超像素视为只包含单类地物的单元；以此为根据，将自顶向下神经网络辨识的地物类别结果，映射到每个超像素中，再以超像素中分布数量最多的地物类别作为该超像素的分割结果，获取所有超像素的分割结果，从而在保护边缘的前提下，滤除和修复由脏样本或过分割带来的细节噪声，有效提高分割精度，增强分割结果的可信度与实用性，如图9所示。
图9 错误修复思路

Fig.9 Error repair ideas

最后，本文参考了一系列视觉感知机理，在自底向上感知与自顶向下观察的双驱动认知框架下，构建了基于视觉双驱动认知的高分辨率遥感影像自学习分割方法，试图以自底向上的非监督聚类获取场景的基本组成，并以此为先验知识，尝试通过神经网络实施自顶向下的详尽观察以实现场景的准确认知，并结合超像素划分带来的参考信息，去除错误并修复边缘，最终实现自动化、智能化、抗干扰的高分辨率遥感影像分割，整体流程如图10所示。
图10 模拟视觉双驱动认知的自适应分割流程

Fig.10 Adaptive segmentation process simulating visual dual drive cognition

3 实验与分析

3.1 实验设计

为了验证本文提出的视觉双驱动自学习分割方法，采用真实高分辨率遥感影像对分割方法进行测试，主要以无人机影像与WorldView-3卫星数据为主，空间分辨率优于1.5 m，能够对地面场景的各种目标进行清晰展示，并且为了更好地贴合实际应用，选取6种不同复杂场景下的小区域位置，这些地方都难以获取样本。
同时，为了客观评价本文方法的地物认知性能与分割精度，选取同样带有注意力结构的神经网络，并嵌入本文提出的双通路分割思路以保持相同的实验条件，从而进行真实、公平的对比。具体来说，使用了已经非常成熟且广受好评的Mask R-CNN（MR）网络及清华大学近期发布的ScalableViT（SViT）网络[61,72]。其中，MR网络在经典Faster R-CNN[73]目标识别网络中加入了基于Mask的注意力机制，能够在识别目标的基础上，通过Mask注意力机制找出目标的轮廓与边界，完成高精度分割，受到广泛好评[72]；SViT网络则通过可伸缩自我注意在空间和通道维度进行上下文泛化，并结合一个交互式自注意结构，增强了期望的全局接受域，利用Transformer在单层以最显著的优势取得了高精度的分割性能[61]。此外，所有网络大致都设置在60层左右，卷积通道数不超过64，未知数个数限制为30万左右，学习率统一选在为0.005，即可形成足够的地物认知能力以进行实验比对。
然后，通过自底向上非监督聚类获取场景的基本组成后，在聚类结果的每个类别中，选取一个非背景像素为中心，构造一个32像素×32像素大小的像素框，截取原始图像和聚类结果，形成该类别的一个训练样本。并根据非监督聚类结果，从每个类别中随机选取200个像素作为像素框中心，可获得200个训练样本，以满足神经网络对样本的需要。
另外，参考手动标记的地面真值，可以分别从主观定性观察与客观定量2个方面科学评估分割精度。其中，主观定性观察将从感官上评价分割结果与地面真值间的相似程度及噪声分布。而客观定量评估主要基于2组客观质量指标：①总体分割精度（overall accuracy，OA）和Kappa系数（Κ），用于描述分割结果与地面真值的相似程度[74]；②数量不一致（quantity discrepancy，QD）和分配不一致（allocation discrepancy，AD）参数[75]，这2个参数分别用于指出类别认知错误和位置认知错误，2个参数之和即为总体错误（overall discrepancy，OD）。
最后，除了整体评价外，在每张影像中选取3个小区域，以进行更小尺度的分割精度评定。

3.2 实验结果

根据实验设计，为了验证本文方法在不同场景下特别是在复杂地物识别和精确分割方面的应用潜力，选取了6张影像作为初始数据进行实验，影像中包含建筑、植被、水体、土壤和道路等多种典型地物。使用非监督聚类获取训练样本之后，在使用包括本文方法在内的3种神经网络进行地类分割，并将分割结果与地面真值进行比对，再用4种评价指标对3种方法的分割精度进行客观评价。通过这一系列实验，能够清晰地评估所提方法在复杂地物场景下的表现，并与现有的主流方法进行对比，为方法的进一步优化与实际应用提供有力的支持。

3.2.1 实验一

选择地物类型多样，房屋建筑、道路和多种植被混合的复杂地区为实验一场景，同时该区域影像明亮，光照强度大。在该区域中，选取了3个典型地物作为小区域：独栋小房屋、道路岔口以及顶面结构复杂的较大型房屋。按照上述方法得到实验结果，实验整体和小区域的分割精度见表1，分割结果如图11所示。该实验场景地物细节丰富，光照强度大，在此基础上，参考地面真值，对于自适应得到的地物样本，3种方法都能对地物进行较好的认知。但MR方法容易受到地物细节干扰，导致该方法在辨识地物的过程中带入了大量椒盐噪声。而SViT则展现出更强的认知性能，但由于光照的干扰与样本数量的限制，导致该方法将一些光照过强的房屋误认为地面道路与空地。对比之下，本文方法不但可以充分辨识不同光照条件下的房屋，而且可以对地物细节噪声进行很好的抵抗，得到了最佳的分割效果与分割精度。
图11 实验一分割结果

Fig.11 Segmentation results of experiment 1

表1 实验一的分割精度

Tab.1 Segmentation accuracy of experiment 1

精度
指标		 MR SViT 本文方法
整张影像 小区域1 小区域2 小区域3 整张影像 小区域1 小区域2 小区域3 整张影像 小区域1 小区域2 小区域3
OA 0.861 0.858 0.867 0.950 0.961 0.966 0.882 0.883 0.890 0.715 0.648 0.728
K 0.742 0.734 0.752 0.484 0.508 0.543 0.669 0.664 0.675 0.542 0.445 0.556
QD 0.052 0.048 0.053 0.026 0.017 0.016 0.064 0.058 0.051 0.172 0.098 0.172
AD 0.087 0.094 0.079 0.024 0.022 0.018 0.054 0.059 0.059 0.113 0.254 0.100

3.2.2 实验二

同样选择具有复杂地物组合的区域为实验二场景，该区域中包含绿色水体，并且影像中存在大量阴影。在该区域中选择3个典型的地物小区域进行分析：独立的亭台、弯道与浅绿房屋以及水中的灰色建筑。实验整体和小区域的分割精度见表2，分割结果如图12所示。面对多种房屋、道路、植被与水体混杂等多地物混合的复杂地面场景，MR方法凭借其强大的细节认知能力，在详细辨识地物的同时，将许多阴影误认为是灰色建筑，降低了整体的认知精度。而SViT在分析复杂多样的地物时，由于样本数量的限制，各类地物可能并未进行足够均衡的训练，导致很多植物被误认为房屋。另外，本文方法虽然将一些树木误认为是光谱相似的水草，但能够避免阴影的干扰，正确认知房屋、道路与水体，取得了最高的分割精度。
表2 实验二的分割精度

Tab.2 Segmentation accuracy of experiment 2

精度
指标		 MR SViT 本文方法
整张影像 小区域1 小区域2 小区域3 整张影像 小区域1 小区域2 小区域3 整张影像 小区域1 小区域2 小区域3
OA 0.799 0.918 0.642 0.741 0.767 0.896 0.616 0.652 0.815 0.922 0.645 0.761
K 0.690 0.574 0.513 0.649 0.639 0.522 0.485 0.535 0.678 0.587 0.523 0.675
QD 0.086 0.040 0.252 0.156 0.084 0.060 0.271 0.191 0.07 0.059 0.250 0.090
AD 0.119 0.032 0.106 0.102 0.149 0.043 0.113 0.157 0.111 0.029 0.105 0.149
图12 实验二分割结果

Fig.12 Segmentation results of experiment 2

3.2.3 实验三

选择包含绿色厂房和裸露土壤的植被的复杂区域为实验三场景，该区域中还有不同于实验二的黄色水体。选择的3个小区域为：灰色围楼型建筑和2种不同的道路水体植被交杂的区域。实验整体和小区域的分割精度见表3，分割结果如图13所示。面对该实验场景3种方法都展现出了较强的泛化认知能力，取得了较好的分割效果。但在细节方面，MR方法依然受到地物细节的干扰，形成了许多点状噪声，降低了分割精度。而SViT方法在面对需要泛化理解的植被区域时，由于光照等因素的干扰，导致SViT将许多植被中的阴影和裸漏土壤误认为房屋。另外，本文方法在正确认知地物的同时，展现出最优的泛化分析能力，有效地减少了噪声，达到了最优的分割效果。
图13 实验三分割结果

Fig.13 Segmentation results of experiment 3

表3 实验三的分割精度

Tab.3 Segmentation accuracy of experiment 3

精度
指标		 MR SViT 本文方法
整张影像 小区域1 小区域2 小区域3 整张影像 小区域1 小区域2 小区域3 整张影像 小区域1 小区域2 小区域3
OA 0.861 0.939 0.819 0.852 0.856 0.934 0.829 0.824 0.876 0.951 0.850 0.893
K 0.787 0.902 0.669 0.716 0.782 0.896 0.691 0.685 0.810 0.920 0.727 0.799
QD 0.053 0.054 0.109 0.133 0.058 0.054 0.117 0.161 0.056 0.027 0.088 0.088
AD 0.086 0.007 0.072 0.015 0.086 0.012 0.054 0.015 0.068 0.022 0.062 0.019

3.2.4 实验四

实验四场景包含种植密度不一致的植被、被阴影环绕的建筑以及裸露土壤等多种地物，并选择以上3种典型地物作为小区域进行分析。实验整体和小区域的分割精度见表4，分割结果如图14所示。面对此实验场景，3种方法都展现出较好的泛化能力与地物认知性能，取得了不错的分割结果。但MR方法对于建筑的训练可能要强于其他地物，因此其能够非常准确地认知建筑，但也将一些植被过分割为建筑，降低了分割精度。相对而言，SViT对建筑的训练不足，导致建筑物的分割结果残缺不全。而本文方法能更合理地学习各类地物，减少过分割和欠分割的错误，提高了分割精度。
表4 实验四的分割精度

Tab.4 Segmentation accuracy of experiment 4

精度
指标		 MR SViT 本文方法
整张影像 小区域1 小区域2 小区域3 整张影像 小区域1 小区域2 小区域3 整张影像 小区域1 小区域2 小区域3
OA 0.774 0.709 0.863 0.779 0.774 0.738 0.787 0.781 0.803 0.765 0.851 0.775
K 0.705 0.522 0.796 0.617 0.697 0.538 0.686 0.607 0.735 0.568 0.779 0.599
QD 0.135 0.241 0.05 0.133 0.159 0.216 0.160 0.156 0.110 0.157 0.082 0.149
AD 0.091 0.050 0.087 0.088 0.067 0.046 0.053 0.063 0.087 0.078 0.067 0.076
图14 实验四分割结果

Fig.14 Segmentation results of experiment 4

3.2.5 实验五

同样选择多种地物混合的复杂地区为实验五场景，但其包含了与上述实验不同的特征地物，并选择房屋与农田交织的地带，以及2处位置不同的绿色水体和沙滩交错的地方作为小区域进行分析。实验整体和小区域的分割精度见表5，分割结果如图15所示。面对光谱表现变化的水体和非耕种期的农田，3种方法表现出了较好的水体认知性能，并对沙滩、房屋、阴影与植被进行了良好的解析。其中MR方法在解读农田时，被农田周边的空地干扰，引入了一些椒盐噪声和条带噪声，降低了分割精度。而SViT与本文方法都能够准确认知农田，但SViT将更多的空地与沙滩误认为农田，损失了分割精度，从而使本文方法能够达到最优分割效果。
表5 实验五的分割精度

Tab.5 The segmentation accuracy of experiment 5

精度
指标		 MR SViT 本文方法
整张影像 小区域1 小区域2 小区域3 整张影像 小区域1 小区域2 小区域3 整张影像 小区域1 小区域2 小区域3
OA 0.800 0.670 0.686 0.521 0.792 0.644 0.750 0.515 0.816 0.677 0.758 0.533
K 0.713 0.528 0.548 0.299 0.703 0.502 0.629 0.309 0.719 0.530 0.631 0.301
QD 0.108 0.273 0.162 0.385 0.131 0.304 0.082 0.405 0.113 0.264 0.082 0.319
AD 0.092 0.057 0.152 0.094 0.077 0.052 0.168 0.080 0.070 0.039 0.151 0.078
图15 实验五分割结果

Fig.15 Segmentation results of experiment 5

3.2.6 实验六

实验六涵盖了不同类型的房屋建筑，这些建筑分布不均且与大量高耸植被交织在一起，选择散布的红色房屋、深蓝房屋与空地以及植被与土壤交错的地方作为小区域进行分析。实验整体和小区域的分割精度见表6，分割结果如图16所示。面对多种类型、非均匀分布的房屋混合高耸植被的复杂场景，3种方法都可以对复杂地面场景进行较为良好的自适应解读。但面对数量稀少的深蓝房屋，由于特征与样本的稀缺及光照条件的差异，辨识效果均不理想。其中，MR方法通过过拟合达到了对深蓝房屋最优认知，也将大量其他地物误认为深蓝房屋，带来了大量噪声，干扰正确解读。而SViT则过拟合了红色房屋，导致其他地物被错误标记为红色房屋降低了分割精度。另外，本文方法通过对各类地物的合适拟合，形成了最佳的泛化能力，能有效抵抗噪声干扰，达到了最佳分割结果与最高分割精度。
表6 实验六的分割精度

Tab.6 The segmentation accuracy of experiment 6

精度
指标		 MR SViT 本文方法
整张影像 小区域1 小区域2 小区域3 整张影像 小区域1 小区域2 小区域3 整张影像 小区域1 小区域2 小区域3
OA 0.822 0.788 0.825 0.904 0.854 0.820 0.861 0.909 0.855 0.821 0.863 0.919
K 0.623 0.649 0.682 0.655 0.665 0.686 0.736 0.617 0.673 0.694 0.736 0.647
QD 0.065 0.103 0.065 0.045 0.074 0.077 0.040 0.050 0.072 0.075 0.052 0.034
AD 0.113 0.109 0.110 0.051 0.072 0.103 0.097 0.041 0.071 0.104 0.087 0.047
图16 实验六分割结果

Fig.16 Segmentation results of experiment 6

3.3 分析与讨论

为了更加直观地对比各种方法的分割性能，统计比较各方法在整张影像的OA，Kappa系数及OD，如图17所示。
图17 3种方法的精度对比图

Fig.17 Comparison of the accuracy of the three methods

综上所述，MR方法作为经典的注意力结构网络，具有较好的地物辨识能力，能够对地面场景中各类地物进行较为准确的解读，但容易过拟合，导致杂乱地物细节突破泛化极限，产生噪声，严重影响分割精度。总体而言，这种方法可以对简单地面场景与去除影像进行较好的解读与分析。SViT方法是一种较为新颖流行的Transformer结构网络，其地物认知能力非常优秀，能够在多种复杂场景中正确辨识不同地物，但其复杂结构通常需要充足的训练样本，且自学习分析可能难以保证样本数量和质量，导致一些欠拟合的分割结果。在确保样本充足的前提下，该方法能较准确地解析各类地物。本文方法在实验中展现良好的地物认知能力，始终保持适度拟合以追求全局最优的分割结果。它具有较好的泛化性能，能够准确识别地物，并有效抑制干扰信息，实现最高精度和最低错误率的分割结果。

4 结论

本文提出的视觉双驱动自学习分割方法，通过参考视觉自底向上感知与自顶向下观察的双驱动认知机制，以视觉的颜色拮抗、NCRF、瑞利明暗判据及等级层次认知理论为指导，建立了自底向上的非监督聚类方法，自适应地划分超像素并完成聚类；并以聚类结果为样本参考，模拟视觉的注意机制，架构了自顶向下的神经网络，对地面场景实施智能、详尽的解读；最后，借助眼球微颤动的感知机制，参照超像素的单一类别组成与清晰边缘，对神经网络分割结果进行噪声滤除与边缘修复，最终得到准确、可靠的地面分割结果。
相比于成熟的Mask R-CNN网络和较新的ScalableViT网络，在真实高空间分辨率遥感影像的分割实验中，本文方法能够保持稳健、可靠的分割精度，表现出优秀的区域一致性与细节认知能力。并且经过实验对比可以发现，本文提出的双驱动自适应认知策略可以避开样本数据收集、样本可靠性探讨等繁复流程，结合噪声剔除、边缘恢复的功能，能够自动化、智能化地获取高精度的地面场景分割结果。
总体而言，面对高分辨率遥感影像的复杂地表场景，本文在参考视觉感知原理上提出的先粗后细、粗细互补的分割方法，采用非监督聚类和神经网络理论，面向复杂地面场景中大量信息混杂的实际分割难题，针对自学习过程中难以保障的样本数量与样本质量，借助特征发掘结构以保障其认知性能，配合轻量的自注意结构调整特征权重以满足少量含干扰信息样本的训练要求，能够突破样本数量与样本质量对实际地物分割工作的制约，自动智能地解析高分辨率遥感影像复杂地面场景，为多种实际工程提供地面类别参考，具有较强的应用潜力。
然而，值得注意的是，本文使用非监督聚类得到的样本效果虽然已经很好，但还有较大的提升空间，在后续的研究中将考虑结合光谱角制图（spectral angle mapping，SAM）方法和图割算法等提高分割精度，以得到更好的样本用于深度学习。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
Pan X, Zhang C, Xu J, et al. Simplified object-based deep neural network for very high resolution remote sensing image classification[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 181:218-237.

[2]
程结海, 黄中意, 王建如, 等. 高空间分辨率遥感影像最优分割结果自动确定方法[J]. 测绘学报, 2022, 51(5):658-667.

DOI

Cheng J H, Huang Z Y, Wang J R, et al. The automatic determination method of the optimal segmentation result of high-spatial resolution remote sensing image[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(5):658-667.

DOI

[3]
吴强强, 王帅, 王彪, 等. 空间信息感知语义分割模型的高分辨率遥感影像道路提取[J]. 遥感学报, 2022, 26(9):1872-1885.

Wu Q Q, Wang S, Wang B, et al. Road extraction method of high-resolution remote sensing image on the basis of the spatial information perception semantic segmentation model[J]. National Remote Sensing Bulletin, 2022, 26(9):1872-1885.

[4]
Liu Y, Li E, Wang S, et al. Superpixel segmentation of high-resolution remote sensing image based on feature reconstruction method by salient edges[J]. Journal of Applied Remote Sensing, 2023, 17(2):026516.

[5]
邵振峰, 孙悦鸣, 席江波, 等. 智能优化学习的高空间分辨率遥感影像语义分割[J]. 武汉大学学报(信息科学版), 2022, 47(2):234-241.

Shao Z F, Sun Y M, Xi J B, et al. Intelligent optimization learning for semantic segmentation of high spatial resolution remote sensing images[J]. Geomatics and Information Science of Wuhan University, 2022, 47(2):234-241.

[6]
石雪. 基于层次化混合模型的高分辨率遥感影像分割方法研究[J]. 测绘学报, 2023, 52(1):168.

DOI

Shi X. Hierarchical mixture model based high-resolution remote sensing image segmentation method[J]. Acta Geodaetica et Cartographica Sinica, 2023, 52(1):168.

DOI

[7]
Cao Y, Huang X. A coarse-to-fine weakly supervised learning method for green plastic cover segmentation using high-resolution remote sensing images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 188:157-176.

[8]
Su Y, Cheng J, Bai H, et al. Semantic segmentation of very-high-resolution remote sensing images via deep multi-feature learning[J]. Remote Sensing, 2022, 14(3):533.

[9]
Ding C, Weng L, Xia M, et al. Non-local feature search network for building and road segmentation of remote sensing image[J]. ISPRS International Journal of Geo-Information, 2021, 10(4):245.

[10]
Ju H, Bi F, Bian M, et al. Multiscale feature fusion network for automatic port segmentation from remote sensing images[J]. Journal of Applied Remote Sensing, 2022, 16(4):044506.

[11]
周荣荣, 刘扬, 周一凡, 等. 基于语义分割的遥感影像建筑物自动提取方法[J]. 河南科学, 2023, 41(4):612-618.

Zhou R R, Liu Y, Zhou Y F, et al. Automatic building extraction from remote sensing images based on semantic segmentation[J]. Henan Science, 2023, 41(4):612-618.

[12]
刘勇, 郝新宇, 赵晨, 等. 结合分类和语义分割的遥感影像洪涝灾害检测方法[J]. 黑龙江大学工程学报, 2023, 14(1):76-82.

Liu Y, Hao X Y, Zhao C, et al. Remote sensing image flood disaster detection method based on classification and semantic segmentation[J]. Journal of Engineering of Heilongjiang University, 2023, 14(1):76-82.

[13]
王振华, 张鑫月, 刘智翔, 等. 遥感地物分割的改进格子玻尔兹曼并行模型[J]. 遥感信息, 2021, 36(4):1-6.

Wang Z H, Zhang X Y, Liu Z X, et al. Improved lattice Boltzmann parallel model for remote sensing object segmentation[J]. Remote Sensing Information, 2021, 36(4):1-6.

[14]
刘思言, 李玲, 特日根, 等. 基于直方图区域生长的遥感图像阈值分割算法[J]. 测绘通报, 2021(2):25-29.

DOI

Liu S Y, Li L, Te R G, et al. Threshold segmentation algorithm based on histogram region growing for remote sensing images[J]. Bulletin of Surveying and Mapping, 2021(2):25-29.

DOI

[15]
高瑞璞, 李礼. 使用超像素编码的交互式影像语义分割方法[J]. 测绘地理信息, 2022, 47(s1):148-152.

Gao R P, Li L. A method for interactive image semantic segmentation using superpixel encoding[J]. Journal of Geomatics, 2022, 47(s1):148-152.

[16]
张汉中. 基于小波域三重MRF分割算法的遥感图像分割分析[J]. 北京测绘, 2021, 35(7):866-869.

Zhang H Z. Analysis of remote sensing image segmentation based on wavelet domain triple MRF segmentation algorithm[J]. Beijing Surveying and Mapping, 2021, 35(7):866-869.

[17]
Song Y, Qu J. Real-time segmentation of remote sensing images with a combination of clustering and Bayesian approaches[J]. Journal of Real-Time Image Processing, 2021, 18(5):1541-1554.

[18]
苏腾飞. 深度卷积语义分割网络在农田遥感影像分类中的对比研究——以河套灌区为例[J]. 自然资源遥感, 2024, 36(4):210-217.doi:10.6046/zrzyyg.2023150.

Su T F. A comparative study on semantic segmentation-orientated deep convolutional networks for remote sensing image-based farmland classification:A case study of the Hetao irrigation district[J]. Remote Sensing for Natural Resources, 2024, 36(4):210-217.doi:10.6046/zrzyyg.2023150.

[19]
张瑞瑞, 夏浪, 陈立平, 等. 深度语义分割网络无人机遥感松材线虫病变色木识别[J]. 自然资源遥感, 2024, 36(3):216-224.doi:10.6046/zrzyyg.2023094.

Zhang R R, Xia L, Chen L P, et al. Identifying discolored trees inflected with pine wilt disease using DSSN-based UAV remote sensing[J]. Remote Sensing for Natural Resources, 2024, 36(3):216-224.doi:10.6046/zrzyyg.2023094.

[20]
杨军, 于茜子. 结合空洞卷积的FuseNet变体网络高分辨率遥感影像语义分割[J]. 武汉大学学报(信息科学版), 2022, 47(7):1071-1080.

Yang J, Yu X Z. Semantic segmentation of high-resolution remote sensing images based on improved FuseNet combined with atrous convolution[J]. Geomatics and Information Science of Wuhan University, 2022, 47(7):1071-1080.

[21]
Xi J B, Ersoy O K, Cong M, et al. Wide and deep Fourier neural network for hyperspectral remote sensing image classification[J]. Remote Sensing, 2022, 14(12):2931-2931.

[22]
潘建平, 李鑫, 孙博文, 等. 基于注意力密集连接金字塔网络的新增建设用地变化检测[J]. 测绘通报, 2022(3):41-46,59.

DOI

Pan J P, Li X, Sun B W, et al. Detection of new construction land change based on attention intensive connection pyramid network[J]. Bulletin of Surveying and Mapping, 2022(3):41-46,59.

DOI

[23]
孙汉淇, 潘晨, 何灵敏, 等. 多模态特征融合的遥感图像语义分割网络[J]. 计算机工程与应用, 2022, 58(24):256-264.

DOI

Sun H Q, Pan C, He L M, et al. Remote sensing image semantic segmentation network based on multimodal feature fusion[J]. Computer Engineering and Applications, 2022, 58(24):256-264.

DOI

[24]
Sun L, Cheng S, Zheng Y, et al. SPANet:Successive pooling attention network for semantic segmentation of remote sensing images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15:4045-4057.

[25]
Cong M, Xi J, Han L, et al. Multi-resolution classification network for high-resolution UAV remote sensing images[J]. Geocarto International, 2022, 37(11):3116-3140.

[26]
刘晨晨, 葛小三, 武永斌, 等. 基于混合注意力机制和Deeplabv3+的遥感影像建筑物提取方法[J]. 自然资源遥感, 2025, 37(1):31-37.doi:10.6046/zrzyyg.2023295.

Liu C C, Ge X S, Wu Y B, et al. A method for information extraction of buildings from remote sensing images based on hybrid attention mechanism and Deeplabv3+[J]. Remote Sensing for Natural Resources, 2025, 37(1):31-37.doi:10.6046/zrzyyg.2023295.

[27]
曲海成, 梁旭. 融合混合注意力机制与多尺度特征增强的高分影像建筑物提取[J]. 自然资源遥感, 2024, 36(4):107-116.doi:10.6046/zrzyyg.2023146.

Qu H C, Liang X. Building extraction from high-resolution images using a hybrid attention mechanism combined with multi-scale feature enhancement[J]. Remote Sensing for Natural Resources, 2024, 36(4):107-116.doi:10.6046/zrzyyg.2023146.

[28]
冯炜明, 张新长, 孙颖, 等. 融合Transformer结构的高分辨率遥感影像变化检测网络[J]. 测绘通报, 2022(8):36-40,92.

DOI

Feng W M, Zhang X C, Sun Y, et al. High-resolution remote sens-ing image change detection network with Transformer structure[J]. Bulletin of Surveying and Mapping, 2022(8):36-40,92.

[29]
He Q B, Sun X, Diao W H, et al. Multimodal remote sensing image segmentation with intuition-inspired hypergraph modeling[J]. IEEE Transactions on Image Processing, 2023, 32:1474-1487.

[30]
马妍, 古丽米拉·克孜尔别克. 图像语义分割方法在高分辨率遥感影像解译中的研究综述[J]. 计算机科学与探索, 2023, 17(7):1526-1548.

DOI

Ma Y, Gulimila K. Research review of image semantic segmentation method in high-resolution remote sensing image interpretation[J]. Journal of Frontiers of Computer Science and Technology, 2023, 17(7):1526-1548.

[31]
潘俊杰, 慎利, 鄢薪, 等. 一种基于对抗学习的高分辨率遥感影像语义分割无监督域自适应方法[J]. 自然资源遥感, 2024, 36(4):149-157.doi:10.6046/zrzyyg.2023169.

Pan J J, Shen L, Yan X, et al. An adversarial learning-based unsupervised domain adaptation method for semantic segmentation of high-resolution remote sensing images[J]. Remote Sensing for Natural Resources, 2024, 36(4):149-157.doi:10.6046/zrzyyg.2023169.

[32]
Katsuki F, Constantinidis C. Bottom-up and top-down attention:Different processes and overlapping neural systems[J]. The Neuroscientist:A Review Journal Bringing Neurobiology,Neurology and Psychiatry, 2014, 20(5):509-521.

[33]
Katsumi Y, Putcha D, Eckbo R, et al. Anterior dorsal attention network tau drives visual attention deficits in posterior cortical atrophy[J]. Brain, 2023, 146(1):295-306.

[34]
Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10):1915-1926.

PMID

[35]
郑少佳, 邱崧, 李庆利, 等. 傅里叶变换通道注意力网络的胆管癌高光谱图像分割[J]. 中国图象图形学报, 2021, 26(8):1836-1846.

Zheng S J, Qiu S, Li Q L, et al. Fourier transform channel attention network for cholangiocarcinoma hyperspectral image segmentation[J]. Journal of Image and Graphics, 2021, 26(8):1836-1846.

[36]
Zhou Z, Zhou Y, Wang D, et al. Self-attention feature fusion network for semantic segmentation[J]. Neurocomputing, 2021, 453:50-59.

[37]
杨开富. 前端视觉通路信息加工的计算模型及应用研究[D]. 成都: 电子科技大学, 2016.

Yang K F. Computational models and applications of the early stages of biological visual system[D]. Chengdu: University of Electronic Science and Technology of China, 2016.

[38]
Marks W B, Dobelle W H, Macnichol Jr E F. Visual pigments of single primate cones[J]. Science, 1964, 143(3611):1181-1183.

PMID

[39]
Li C Y, Pei X, Zhow Y X, et al. Role of the extensive area outside the x-cell receptive field in brightness information transmission[J]. Vision Research, 1991, 31(9):1529-1540.

PMID

[40]
Grigorescu C, Petkov N, Westenberg M A. Contour detection based on nonclassical receptive field inhibition[J]. IEEE Transactions on Image Processing, 2003, 12(7):729-739.

DOI PMID

[41]
宋晓风. 数字脉冲压缩技术在雷达中的应用[J]. 现代电子技术, 2009, 32(12):118-120.

Song X F. Application of digital pulse compression technique in Radar[J]. Modern Electronics Technique, 2009, 32(12):118-120.

[42]
Michelson A A. Studies in optics[M]. Mineola,NY: Dover Publications, 1995.

[43]
Damera-Venkata N, Kite T D, Geisler W S, et al. Image quality assessment based on a degradation model[J]. IEEE Transactions on Image Processing, 2000, 9(4):636-650.

DOI PMID

[44]
Cong M, Cui J, Peng X, et al. Preliminary analytical method for unsupervised remote sensing image classification based on visual perception and a force field[J]. Geocarto International, 2018, 33(12):1350-1366.

[45]
Hubel D H, Wiesel T N. Receptive fields of single neurones in the cat’s striate cortex[J]. The Journal of Physiology, 1959, 148(3):574-591.

[46]
Hubel D H, Wiesel T N. Receptive fields and functional architecture of monkey striate cortex[J]. The Journal of Physiology, 1968, 195(1):215-243.

[47]
Hubel D H, Wiesel T N. The period of susceptibility to the physiological effects of unilateral eye closure in kittens[J]. The Journal of Physiology, 1970, 206(2):419-436.

[48]
Hubel D H, Wiesel T N. Ferrier lecture. Functional architecture of macaque monkey visual cortex[J]. Proceedings of the Royal Society of London Series B,Biological Sciences, 1977, 198(1130):1-59.

[49]
徐安林, 杜丹, 王海红, 等. 结合层次化搜索与视觉残差网络的光学舰船目标检测方法[J]. 光电工程, 2021, 48(4):39-46.

Xu A L, Du D, Wang H H, et al. Optical ship target detection method combining hierarchical search and visual residual network[J]. Opto-Electronic Engineering, 2021, 48(4):39-46.

[50]
许妙忠, 丛铭, 万丽娟, 等. 视觉感受与Markov随机场相结合的高分辨率遥感影像分割法[J]. 测绘学报, 2015, 44(2):198-205,213.

DOI

Xu M Z, Cong M, Wan L J, et al. A methodology of image segmentation for high resolution remote sensing image based on visual system and Markov random field[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(2):198-205,213.

DOI

[51]
Zheng R, Zhong Y, Yan S, et al. MsVRL:Self-supervised multiscale visual representation learning via cross-level consistency for medical image segmentation[J]. IEEE Transactions on Medical Imaging, 2023, 42(1):91-102.

[52]
Ibbotson M, Krekelberg B. Visual perception and saccadic eye movements[J]. Current Opinion in Neurobiology, 2011, 21(4):553-558.

DOI PMID

[53]
Stewart E E M, Valsecchi M, Schütz A C. A review of interactions between peripheral and foveal vision[J]. Journal of Vision, 2020, 20(12):2.

DOI PMID

[54]
Rucci M, Iovin R, Poletti M, et al. Miniature eye movements enhance fine spatial detail[J]. Nature, 2007, 447(7146):852-855.

[55]
McCamy M B, Otero-Millan J, Macknik S L, et al. Microsaccadic efficacy and contribution to foveal and peripheral vision[J]. The Journal of Nearoscience, 2012, 32(27):9194-9204.

[56]
Martinez-Conde S, Otero-Millan J, Macknik S L. The impact of microsaccades on vision:Towards a unified theory of saccadic function[J]. Nature Reviews Neuroscience, 2013, 14(2):83-96.

DOI PMID

[57]
杜方家, 徐杨, 李长军. 改进的CIELAB均匀颜色空间[J]. 光学学报, 2022, 42(1):292-300.

Du F J, Xu Y, Li C J. Modified CIELAB uniform color space[J]. Acta Optica Sinica, 2022, 42(1):292-300.

[58]
陈少军, 张莉华, 许新德, 等. 微胶囊叶黄素吸收光谱及色调的影响因素研究[J]. 中国食品添加剂, 2013, 24(4):100-102.

Chen S J, Zhang L H, Xu X D, et al. Studies on factors influence UV-absorbance and color value of microencapsulated lutein[J]. China Food Additives, 2013, 24(4):100-102.

[59]
CIE. CIE 217:2016 Recommended method for evaluating the performance of colour-difference formulae[S]. Vienna:CIE, 2016.

[60]
Chen Q, Wu Q, Wang J, et al. MixFormer:Mixing features across windows and dimensions[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).June 18-24,2022,New Orleans,LA,USA.IEEE,2022:5239-5249.

[61]
Yang R, Ma H L, Wu J, et al. ScalableViT:Rethinking the context-oriented generalization of vision Transformer[C]// Computer Vision-ECCV 2022 Proceedings. Cham: Springer Nature Switzerland,2022:480-496.

[62]
李世琦, 姚国清. 基于CNN与SETR的特征融合滑坡体检测[J]. 自然资源遥感, 2024, 36(4):158-164.doi:10.6046/zrzyyg.2023117.

Li S Q, Yao G Q. A landslide detection method using CNN- and SETR-based feature fusion[J]. Remote Sensing for Natural Resources, 2024, 36(4):158-164.doi:10.6046/zrzyyg.2023117.

[63]
李婉悦, 娄德波, 王成辉, 等. 基于改进U-Net网络的花岗伟晶岩信息提取方法[J]. 自然资源遥感, 2024, 36(2):89-96.doi:10.6046/zrzyyg.2022500.

Li W Y, Lou D B, Wang C H, et al. A granitic pegmatite information extraction method based on improved U-Net[J]. Remote Sensing for Natural Resources, 2024, 36(2):89-96.doi:10.6046/zrzyyg.2022500.

[64]
陈佳雪, 肖东升, 陈虹宇. 一种边界引导与跨尺度信息交互网络用于遥感影像水体提取[J]. 自然资源遥感, 2025, 37(1):15-23.doi:10.6046/zrzyyg.2023230.

Chen J X, Xiao D S, Chen H Y. A boundary guidance and cross-scale information interaction network for water body extraction from remote sensing images[J]. Remote Sensing for Natural Resources, 2025, 37(1):15-23.doi:10.6046/zrzyyg.2023230.

[65]
姚群力, 胡显, 雷宏. 基于多尺度卷积神经网络的遥感目标检测研究[J]. 光学学报, 2019, 39(11):346-353.

Yao Q L, Hu X, Lei H. Object detection in remote sensing images using multiscale convolutional neural networks[J]. Acta Optica Sinica, 2019, 39(11):346-353.

[66]
雷大江, 杜加浩, 张莉萍, 等. 联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法[J]. 电子与信息学报, 2022, 44(1):237-244.

Lei D J, Du J H, Zhang L P, et al. Multi-stream architecture and multi-scale convolutional neural network for remote sensing image fusion[J]. Journal of Electronics & Information Technology, 2022, 44(1):237-244.

[67]
Cong M, Cui J, Chen S, et al. Enhanced shuffle attention network based on visual working mechanism for high-resolution remote sensing image classification[J]. Geocarto International, 2022, 37(27):18731-18766.

[68]
Guo M H, Lu C Z, Hou Q B, et al. SegNeXt:Rethinking convolutional attention design for semantic segmentation[J/OL]. arXiv, 2022(2022-09-18). https://arxiv.org/abs/2209.08575v1.

[69]
Cong M, Xi J, Ding M, et al. Two-pathway anti-interference neural network based on the retinal perception mechanism for classification of remote sensing images from unmanned aerial vehicles[J]. Journal of Applied Remote Sensing, 2020, 14(2):026511.

[70]
Sharma A K, Nandal A, Dhaka A, et al. Enhanced watershed segmentation algorithm-based modified ResNet50 model for brain tumor detection[J]. BioMed Research International, 2022, 2022:7348344.

[71]
Zhao X Q, Jia H P, Pang Y W, et al. M2SNet:Multi-scale in multi-scale subtraction network for medical image segmentation[J/OL]. arXiv, 2023(2023-03-20). https://arxiv.org/abs/2303.10894.

[72]
Mahmoud A, Mohamed S, El-Khoribi R, et al. Object detection using adaptive mask RCNN in optical remote sensing images[J]. International Journal of Intelligent Engineering and Systems, 2020, 13(1):65-76.

[73]
Song K S. Globally convergent algorithms for estimating generalized gamma distributions in fast signal and image processing[J]. IEEE Transactions on Image Processing, 2008, 17(8):1233-1250.

[74]
白石, 唐攀攀, 苗朝, 等. 基于高分辨率遥感影像和改进U-Net模型的滑坡提取——以汶川地区为例[J]. 自然资源遥感, 2024, 36(3):96-107.doi:10.6046/zrzyyg.2023132.

Bai S, Tang P P, Miao Z, et al. Information extraction of landslides based on high-resolution remote sensing images and an improved U-Net model:A case study of Wenchuan,Sichuan[J]. Remote Sensing for Natural Resources, 2024, 36(3):96-107.doi:10.6046/zrzyyg.2023132.

[75]
Pontius R G Jr, Millones M. Death to Kappa:Birth of quantity disagreement and allocation disagreement for accuracy assessment[J]. International Journal of Remote Sensing, 2011, 32(15):4407-4429.

Options
Outlines

/

〈 〉