传统建筑是中国宝贵的建筑遗产，承载着优秀的民族建筑文化，是反映城市特色风貌的重要指标。现阶段深度学习识别建筑物的技术相对成熟，但使用街景图片识别建筑遗产并进行地图可视化展示的研究较少，因此，本研究基于Mask-RCNN(mask region-based convolutional neural network)模型，融合SE(squeeze and excitation)注意力机制，提出一种基于SE-Mask-RCNN识别街景图片中建筑遗产的方法。首先，通过路网数据获取百度街景图片，制作数据集。其次，在模型的残差网络（residual network,ResNet）中引入SE注意力机制；并与已有相关方法 U-net(u-shaped network)、全卷积网络（fully convolutional network,FCN）、Mask-RCNN三种模型进行实验对比评价。最后，使用本方法识别研究区域内的街景图片，形成可视化地图，分析建筑遗产在空间上的分布情况。结果表明,本方法可以有效识别城市中的建筑遗产,识别结果较Mask-RCNN、U-Net、FCN模型分别提高了2%、3.1%、4.7%，证明了本方法对城市中建筑遗产的识别具有可靠性和有效性。研究成果可为建筑遗产保护及现状调查提供依据。