理论研究
地理信息世界
GEOMATICS WORLD 第29卷 第4期2022年8月Vol.29 No.4August，2022
基于深度学习的监控建筑变化影像识别
Ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ Ｍｏｎｉｔｏｒｉｎｇ Ｂｕｉｌｄｉｎｇ Ｃｈａｎｇｅ Ｉｍａｇｅ Ｂａｓｅｄ ｏｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ
引文格式：王 雪，黄建华，蒙钰天，等.基于深度学习的监控建筑变化影像识别[J].地理信息世界,2022,29(4):30-34.
王 雪１， ２，黄建华１， ２，蒙钰天３，孙希延１， ２
1. 桂林电子科技大学 广西精密导航技术与应用重点实验室，广西 桂林 541004；
2. 桂林电子科技大学 卫星导航与位置服务国家与地方联合工程研究中心，广西 桂林 541004；
3. 桂林市国土资源研究中心，广西 桂林 541004
基金项目：桂林市科技局桂林市国家可持续发展议程创新示范区建设重点项目（20190219-1）作者简介：王雪（1998―），女，河北衡水人，电子信息专业硕士研究生，主要研究方向为变化检测
Ｅ－ｍａｉｌ：*****************
通信作者：黄建华（1969―），男，湖南永州人，高级工程师，硕士生导师，主要从事GIS、GPS、RS理论及应用研究
Ｅ－ｍａｉｌ：****************收稿日期：2021-08-28
ＷＡＮＧ Ｘｕｅ１， ２，ＨＵＡＮＧ Ｊｉａｎｈｕａ１， ２，ＭＥＮＧ Ｙｕｔｉａｎ３，ＳＵＮ Ｘｉｙａｎ１， ２
1. Guangxi Key Laboratory of Precision Navigation Technology and Application, Guilin University of Electronic Technology, Guilin 541004, China;
2. National & Local Joint Engineering Research Center of Satellite Navigation and Location Service, Guilin University of Electronic Technology, Guilin 541004, China;
3. Land and Information Research Center of Guilin, Guilin 541004, China
【摘要】传统方法对长焦距摄像头影像进行变化区域提取时，由于光照、摄像头抖动等影响，导致像素点不能精确配准，变化检测不能准确识别建筑物变化的问题，本文提出基于深度学习的监控建筑影像变化检测算法。首先利用图像相似性进行筛选，粗略提取变化区域图像；再利用Faster R-CNN网络对变化区域图像进行建筑物识别与提取。通过桂林西站图像采集试验，结果表明本文方法相比差值法提取变化区域进行变化检测，虚检率降低0.126，漏检率降低0.518，正确率提高0.124，完整率提高0.519，质量提高0.12，在城乡结合部由于建筑物与背景区别更大，具有更好的检测结果和泛化能力。
【关键词】城市监控影像；建筑物变化检测；深度学习；图像相似性
【中图分类号】P2；TU196 【文献标识码】A 【文章编号】1672-1586（2022）04-0030-05Ａｂｓｔｒａｃｔ：Ｉｎ ｏｒｄｅｒ ｔｏ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ ｔｈａｔ ｔｈｅ ｐｉｘｅｌｓ ｃａｎ ｎｏｔ ｂｅ ａｃｃｕｒａｔｅｌｙ ｒｅｇｉｓｔｅｒｅｄ ａｎｄ ｔｈｅ ｃｈａｎｇｅ ｄｅｔｅｃｔｉｏｎ ｃａｎ＇ｔ ａｃｃｕｒａｔｅｌｙ ｉｄｅｎｔｉｆｙ ｔｈｅ ｂｕｉｌｄｉｎｇ ｃｈａｎｇｅｓ ｄｕｅ ｔｏ ｔｈｅ ｅｎｖｉｒｏｎｍｅｎｔａｌ ｅｆｆｅｃｔｓ，ｓｕｃｈ ａｓ ｉｌｌｕｍｉｎａｔｉｏｎ ａｎｄ ｃａｍｅｒａ ｊｉｔｔｅｒ ｗｈｅｎ ｔｈｅ ｔｒａｄｉｔｉｏｎ ｍｅｔｈｏｄ ｅｘｔｒａｃｔｓ ｔｈｅ ｃｈａｎｇｅ ａｒｅａ ｏｆ ｔｈｅ ｌｏｎｇ ｆｏｃａｌ ｌｅｎｇｔｈ ｃａｍｅｒａ ｉｍａｇｅ，ａ ｍｏｎｉｔｏｒｉｎｇ ｂｕｉｌｄｉｎｇ
ｉｍａｇｅ ｃｈａｎｇｅ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｉｓ ｐｒｏｐｏｓｅｄ． Ｆｉｒｓｔｌｙ，ｔｈｅ ｉｍａｇｅ ｓｉｍｉｌａｒｉｔｙ ｉｓ ｕｓｅｄ ｔｏ ｆｉｌｔｅｒ ａｎｄ ｒｏｕｇｈｌｙ ｅｘｔｒａｃｔ ｔｈｅ ｃｈａｎｇｅ ａｒｅａ ｉｍａｇｅ． Ｔｈｅｎ，Ｆａｓｔｅｒ Ｒ－ＣＮＮ ｎｅｔｗｏｒｋ ｉｓ ｕｓｅｄ ｔｏ ｒｅｃｏｇｎｉｚｅ ａｎｄ ｅｘｔｒａｃｔ ｂｕｉｌｄｉｎｇｓ ｆｒｏｍ ｔｈｅ ｃｈａｎｇｅｄ ａｒｅａ ｉｍａｇｅ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｕｓｉｎｇ ｔｈｅ ｉｍａｇｅｓ ｃｏｌｌｅｃｔｅｄ ｆｒｏｍ Ｇｕｉｌｉｎ Ｗｅｓｔ Ｓｔａｔｉｏｎ ｓｈｏｗ ｔｈａｔ ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈｅ ｄｉｆｆｅｒｅｎｃｅ ｍｅｔｈｏｄｓ ｔｏ ｅｘｔｒａｃｔ ｔｈｅ ｃｈａｎｇｅ ａｒｅａ ｆｏｒ ｃｈａｎｇｅ ｄｅｔｅｃｔｉｏｎ，ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｒｅｄｕｃｅｓ ｔｈｅ ｆａｌｓｅ ｄｅｔｅｃｔｉｏｎ ｒａｔｅ ｒｅｄｕｃｅ ｂｙ ０．１２６，ａｎｄ ｔｈｅ ｏｍｉｓｓｉｏｎ ｒａｔｅ ｃｕｔ ｄｏｗｎ ０．５１８，ａｎｄ ｔｈｅ ａｃｃｕｒａｃｙ ｒａｔｅ ｉｎｃｒｅａｓｅ ｏｆ ０．１２４，ａｎｄ ｔｈｅ ｉｎｔｅｇｒｉｔｙ ｒａｔｅ ｉｍｐｒｏｖｅｄ ｂｙ ０．５１９ ａｎｄ ｔｈｅ ｑｕａｌｉｔｙ ｂｙ ０．１２． Ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｈａｓ ｂｅｔｔｅｒ ｄｅｔｅｃｔｉｏｎ ｒｅｓｕｌｔｓ ａｎｄ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ａｂｉｌｉｔｙ ｉｎ ｃｏｍｐｌｅｘ ｕｒｂａｎ ａｎｄ ｒｕｒａｌ ｅｎｖｉｒｏｎｍｅｎｔｓ．
Ｋｅｙ ｗｏｒｄｓ：ｕｒｂａｎ ｍｏｎｉｔｏｒｉｎｇ ｉｍａｇｅ；ｂｕｉｌｄｉｎｇ ｃｈａｎｇｅ ｄｅｔｅｃｔｉｏｎ；ｄｅｅｐ ｌｅａｒｎｉｎｇ；ｉｍａｇｅ ｓｉｍｉｌａｒｉｔｙ
０ 引 言
自然资源执法监督监管工作的一项重要任务是及时发现在城乡建设过程中，不经审批改建、扩建或者违规占用农田等违规建房现象。传统监控“两违”建房，主要是利用卫星遥感数据变化检测技术，结合人工举报、人工实地调查等方法对建筑物进行调查和筛选，需要大量的人力、物力和财力[1]。但卫星遥感变化检测通常利用的是正射影像数据，不容易发现高度上的变化，同时卫星回返周期长，导致发现违法建筑物变化周期长，拆除经济损失大。与卫星遥感变化检测相比较，城市周边
建设的长焦距摄像头可以从建筑物侧面更清晰地观测到建筑物高度的变化。长焦距监控摄像头监控距离可达5 km 以上，通常用于海域监控、森林防火、自然保护区保护等领域。在城乡结合部部署或利用已有的带云台控制的长焦距摄像头，结合人工智能图像分析技术，可实现实时、较大范围的违规建房的早期发现，是一种成本较低、发现变化快的自然资源监测管理技术。
目前，建筑物变化检测方法可分为两类：非深度学习变化检测方法和深度学习变化检测方法[2]。深度学习方法先利用语义分割网络模型精确检测图像中的建筑物，再将检测结果进行像元差值从而得到建
筑物变化检测区
31
理论研究
2022年 第4期
域。王明常等[3]提出用FPN Res-Unet 语义分割网络对建筑物进行变化检测。王民水等[4]提出用DeepLabv3+语义分割网络对建筑物进行变化检测。余晓娜等[5]基于Segnet 网络对街区影像进行变化检测。但是城市景观下建筑物密集，遮挡严重，不能精确检测出各个建筑物。非深度学习变化检测方法一般先提取变化区域，然后利用建筑物的阴影特性提取变化图像中的建筑物。卢丽琛等[6]提出将BMI 和CVA 算法结合的方法对建筑物进行变化检测。王慧贤[7]提出顾及多特征的建筑物变化检测方法。刘升龙等[8]提出用影像差值法和主成分分析法融合对变化区域进行提取。利用长焦距摄像头开展建筑物变化检测，通常是采集相同地理位置不同时相的两幅影像进行利用上述算法进行分析，但由于变化受到光照、摄像头抖动等环境影响，导致摄像头不同时相的两幅影像不能精确配准，难以实现建
筑物的变化检测。
为解决上述问题，提出一种基于深度学习的监控建筑变化影像的识别算法。本文从亮度、对比度和结构性3个方面对摄像头采集的每个图像子块的结构相似度进行计算，结合像元之间的纹理联系，采用自适应阈值方法对变化进行筛选，弱化城市景观下建筑物密集、遮挡严重的影响，得到粗略变化区域影像。然后再利用Faster R-CNN 目标检测网络对上述的粗略变化区域影像进行建筑物的识别与提取，从而分析提取出长焦距监控摄像头下的建筑物变化情况。
１ 研究区概况
本文的数据分为训练数据和测试数据。测试数据所用的监控建筑物影像，由架设在桂林西站的长焦摄像头获得，能够清晰观测到桂林西站半径5 km 范围内的建筑物及周围自然资源变化情况。训练数据以桂林市监控建筑影像为主，公开建筑数据为辅，共1200张监控建筑物影像，每幅影像大小为1000×1500像素，用于目标检测网络的训练。图1显示了3组6幅长焦监控下建筑物有变化的实验数据，用于测试变化检测的有效性。实验数据以在建区域为主，有以下特点：相同地理位置不同时相的两幅影像光照条件有差别；背景环境存在像素点抖动现象，如风吹动树叶导致树木背景的变化。
２ 研究方法
２．１ 数据预处理
图2显示了变化区域的提取流程。首先将输入的两
幅前、后时相影像分别裁为N×N 个图像子块，然后将对应位置的图像子块采用高斯加权方法计算每一窗口的均值、方差以及协方差，从而计算对应图像子块的结构相似度[9]。结构相似度SSIM
可表示为：
a 楼层变化a Floor change
b 房体变化b Body changes
c 整楼变化
c Full building changes
图1 研究区建筑物前时相与后时相数据样例
Fig.1 Examples of pre-and post-temporal image in study area
上3式中，∂ ，β，γ＞0；l (x ，y )为亮度比较；
c (x ，y )为对比度比较；s （x ，y ）为结构比较；μx 、
μy 分别为x 、y 的平均值；σx 、σy 分别为x 、y 的标准差；σxy 为x 、y 的协方差；c 为常数，避免分母为0。
由于每幅影像中变化区域尺寸不同，从而导致每幅影像的图像子块的结构相似度大小不同。为了提高模型
（1）
（2）
（3）
（4）
王 雪，等. 基于深度学习的监控建筑变化影像识别
32
地理信息世界
GEOMATICS WORLD
理论研究
第29卷
的泛化能力，利用自适应阈值方法对变化的图像子块进行筛选，提取变化区域，将所有图像子块结构相似度的均值作为阈值。同时为了避免环境因素对变化区域提取的影响，将每行图像所保留的图像子块个数进行统计，若图像子块个数大于等于N/2，则保留整行的图像子块，
否则舍去整行影像。
图2 变化区域影像提取
Fig.2 Image extraction of changing regions
２．２ 模型原理
２．２．１ Ｆａｓｔｅｒ Ｒ－ＣＮＮ模型
与RCNN 和Fast RCNN 算法相比，Faster R-CNN [10]
算法创造性地使用RPN(特征提取网络)代替原来的Selective Search 方法产生建议窗口，通过共享特征层大大减少了计算量[11]，从而提高了算法的检测速度。Faster R-CNN 算法原理图如图3所示。
图
3 Faster R-CNN 算法原理图
Fig.3 Algorithm structure of Faster R-CNN
Tensorflow 等环境下进行的。Faster R-CNN 主干特征提取网络[13]采用残差网络Resnet50，每个残差网络包括两条路径，一条路径是输入特征的直通路径，另一条路径是对该路径进行卷积操作得到的该路径的残差，最后将两条路径上的特征相加[14]。如图4所示，假设输入的特征为x ，经卷积操作得到的残差为F (x )，最终学习到的特征为H (x )=F (x )+x [15]
。
图4 残差网络架构
Fig.4 Residual network architecture
２．３ 模型训练
模型训练等流程如图5所示。数据预处理后得到粗略变化区域影像，同时对Faster R-CNN 进行参数设置及模型训练，然后调用最优模型对粗略变化区域影像进行目标地物信息的提取。
图
5 Faster R-CNN 模型应用流程图
Fig.5 Application flow chart of Faster R-CNN model
Faster R-CNN 算法对输入进来的粗略变化区域影像在保持原有纵横比的前提下重新调整为固定尺寸大小，然后通过主干网络进行特征提取得到特征图，将特征层输入到卷积层，再分别对每个先验框进行分类和计算对应先验框的偏移量，然后计算出proposals，Roi Pooling 层利用proposals 从特征层中提
取的proposal feature 送入后续全连接层和Softmax 网络进行分类[12]，从而得到粗略变化区域影像的建筑物部分，实现建筑物的变化检测。
２．２．２ 主干特征提取网络
模型训练是在Telsa P100 GPU，以及CUDA、Python、
本文将epoch 训练周期设置为200，训练样本个数设置为960，测试样本个数设置为240，RPN 批处理数量设置为128进行模型训练。通过对训练得到的模型进行测试，得到目标地物信息。研究结果表明通过训练，模型训练中损失函数输出结果随着epoch 的增加，损失函数越来越小，表明了整个模型的收敛状态。PR 曲线反映了对正例的识别准确度，PR 曲线越靠近右上方时，PR 曲线所包围的面积越大，表明模型性能越好。其中，Precision 指的是查准率，Recall 指的是召回率，将Precision 作为PR 曲线的纵坐标，当Precision=1.0时表示查准率为100%，Recall 作为PR1曲线的横坐标，当Recall=1.0时代表召回率为100%（图6）。
33
桂林建筑理论研究
2022年 第4期
王 雪，等. 基于深度学习的监控建筑变化影像识别
图6 训练周期至200次时的PR 曲线
Fig.6 PR curve when training cycle reaches 200 times
３ 结果与分析
本文对桂林市西站的建筑物进行建筑物变化检测。为了定量进行精度评价，以正确率、虚检率、漏检率、完整率和检测质量来衡量检测结果，具体计算方法如下：
（5）
式中，C td 为检测出的真实变化建筑物像元总数；C t
为研究区域中真实变化建筑物的像元总数；P td 为变化检测正确率，表示建筑物变化检测结果的可靠程度，越大表明建筑物变化结果越可靠；C fd 为实际没有发生变化却被检测为变化的虚检建筑物的像
元数量；C d 为实验检测出的变化建筑物的像元总数；P fd 为虚检率，表示非建筑物变化像元被检测到的概率，越小表明建筑物变化结果错误越低；C od 为漏检的真实变化建筑物像元数量；P od 为漏检率，表示建筑物变化像元被漏检的概率，概率越低建筑物变化结果越准确；P cd 为完整率，表示变化建筑物像元被实际检出的概率，完整率越大表明检测效果越好；Q 为检测质量，表示实际检测出的像元占真实变化像元的比率，是建筑物变化检测精度的总体度量，检测质量越大，变化检测的效果越好。
３．１ 分割尺度的影响分析
影像的分割尺度对建筑物变化检测结果具有重要影响。以桂林西站采集的变化区域数据为例，为了得到最佳的分割阈值，将分割尺度N 分别设为1到20的整数，分别计算正确率、完整率、检测质量、虚检率、漏检率。图7为不同分割尺度下对应的正确率、完整率、检测质量、虚检率、漏检率的折线图及其平均值。从图中综合5个指标进行分析，可以得出当分割尺度N 为2、4、5、7、
16时，各个指标均大于平均值，建筑物变化检测结果较为理想。表1为分割尺度N 为2、4、5、7、16时的具体评价数值，当分割尺度为7，建筑物变化检测精度最佳。图8为分割尺度为7时建筑物变化检测得到的检测结果，图中红框标定部分“build 1.00”表示检测到的变化区域为建筑物的概率为1.00(100%)。
图7 不同分割尺度的指标
Fig.7 Indicators of different segmentation scales 表1 不同分割尺度检测精度比较
Tab.1 Comparison of detection accuracies of different
segmentation scales 分割尺度
正确率/(%)虚检率/(%)漏检率/(%)完整率/(%)检测质量/(%)N=235.664.48.391.734.2N=435.764.38.391.734.4N=541.158.98.391.740.2N=738.361.7 5.494.637.6N=16
38.2
61.8
8.3
91.7
36.9
图8 分割尺度为7的检测结果
Fig.8 Building change detection when the segmentation scale is 7
34
地理信息世界
GEOMATICS WORLD
理论研究
第29卷
３．２ 不同方法结构比较
由于长焦监控易受到风等环境的影响，使得摄像头抖动，导致相同地理位置不同时相的两幅影像对应像元不能精确配准，利用差值法[16]提取变化区域时，对建筑物变化检测结果产生严重干扰。利用图像的亮度、对比度和结构相似度分析影像的变化区域，对配准精度要求不高，以桂林西站的影像为例，图9a 为本文方法可视化结果，其中变化部分为建筑的概率为1.0，图9b 为差值法可视化结果，变化部分为建筑的概率为0.99。不同方法的检测精度见表2，从中可以看出本文方法的各项精度指标都优于差值法。
图9 不同方法检测结果
Fig.9 Detection results of different methods
表2 不同方法检测精度比较
Tab.2 Comparison of detection accuracy of different methods a 本文方法
a The method in this paper
b 差值法
b Difference method
方法虚检率/(%)漏检率/(%)正确率/(%)完整率/(%)检测质量/(%)本文方法58.6 0.040.9100.039.1差值法
71.3
51.8
28.5
48.1
27.1
４ 结 论
本文结合图像结构相似性和深度学习算法对长焦距摄像头相同地理位置不同时相的两幅影像进行分析比较，弱化了光照强度变化、摄像头抖动等复杂环境对像素灰度值的影响，实现了两幅前、后时相监控影像的变化区域提取以及建筑物变化检测。实验表明，本文方法比差值法提取得到的变化区域图像
质量更高，轮廓效果更好，且受环境因素影响较小，实现了对建筑物的变化检测，为自然资源违法监督提供了新方法。
参考文献
[1] 胡邦国，孙晓龙，陈立，等. 天地一体化地物变化监测与风
险评估[J]. 中国矿业，2020，29（S2）：135-141.[2] SHWARNALI B M，MOHAMMAD E K，MD M K. Land-use and
Land-cover Change Detection in a North-eastern Wetland Ecosystem of Bangladesh Using Remote Sensing and GIS Techniques[J]. Earth Systems and Environment，2021，2：1-22.
[3] 王明常，朱春宇，陈学业，等. 基于FPN Res-Unet的高分辨
率遥感影像建筑物变化检测[J]. 吉林大学学报（地球科学版），2021，51（1）：296-306.
[4] 王民水，孔祥明，陈学业，等. 基于随机补片和DeepLabv3+
的建筑物遥感图像变化检测[J]. 吉林大学学报（地球科学版），2021，51（6）：1-7.
[5] 余晓娜，黄亮，陈朋弟. 基于Segnet网络和迁移学习的全景街
区影像变化检测[J]. 重庆大学学报，2021，44（6）：1-9.[6] 卢丽琛，洪亮. 面向对象的高分辨率遥感影像建筑物变
化检测[J]. 牡丹江师范学院学报（自然科学版），2021（1）：50-54.
[7] 王慧贤. 一种顾及多特征的建筑物变化检测方法[J]. 测绘
地理信息，2020，45（6）：91-96.
[8] 刘生龙，张永红. 基于遥感影像的土地利用变化检测[J].
测绘与空间地理信息，2018，41（1）：145-148.
[9] ZHAN C，YA Q. Image Confusion Algorithm Using Adaptive
Threshold SSIM Based on Contourlet Transformation[J]. Australian Journal of Mechanical Engineering，2018，16：23-29.
[10] M ANSOUR R F，ESCORCIA G J，GAMARRA M，et al. Intelligent
Video Anomaly Detection and Classification Using Faster RCNN with Deep Reinforcement Learning Model[J]. Image and Vision Computing，2021（3）：104229. [11] 陈怡佳. 基于Faster RCNN的目标检测系统[D]. 哈尔滨：哈
尔滨理工大学，2019.
[12] 王飞. 基于区域的卷积神经网络及其在静态目标检测方面的
应用[D]. 北京：北京邮电大学，2017.
[13] XING C，WANG J S，ZHENG B W. Hybrid Face Recognition
Method Based on Gabor Wavelet Transform and VGG Convolutional Neural Network with Improved Pooling Strategy[J]. Engineering Letters，2021，48（2）：1-15.[14] DHANANJAY T，RRS. Detecting Affect States Using
VGG16，ResNet50 and SE-ResNet50 Networks[J]. SN Computer Science，2020，1（2）：18-37.
[15] ABBAS J，MYUNGHO L. High-speed Hyperparameter
Optimization for Deep ResNet Models in Image Recognition[J]. Cluster Computing，2021：1-9.[16] 孙中平，白金婷，史园莉，等. 基于高分影像的面向对象
土地利用变化检测方法研究[J]. 农业机械学报，2015，46（S1）：297-303.
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论