(12)发明专利申请
(10)申请公布号 CN 110263705 A(43)申请公布日 2019.09.20
(21)申请号 201910529049.9(22)申请日 2019.06.19
(71)申请人 上海交通大学
地址 200240 上海市闵行区东川路800号(72)发明人 方涛 鲍腾飞 霍宏 傅陈钦
郑双朋 (74)专利代理机构 上海交达专利事务所 31201
代理人 王毓理 王锡麟(51)Int.Cl.
G06K 9/00(2006.01)G06K 9/62(2006.01)
权利要求书2页 说明书6页 附图6页
(54)发明名称
面向遥感技术领域两期高分辨率遥感影像变化检测方法(57)摘要
一种面向遥感技术领域两期高分辨率遥感影像变化检测方法，通过基础特征提取网络将一对待测遥感影像输入双路神经网络并分别提取出特征图，然后通过双路神经网络中的特征金字塔结构以通道数拼接的方式融合得到包含两层特征图的语义信息的特征融合图，对拼接后得到特征差异图进行影像分割后将分割结果融合得到分割轮廓结果。本发明将图像块(Patch)级相似度检测与像素(Pixel)级的多尺度分割相结合，构建双路神经网络(PPCNET,Patch-level and Pixel-level Combined Network)，融合块级与像素级的变化检测方式，提高了变化检测的精度以及检测速度，同时避免了噪声影响，适合高分辨率遥感影像的变化检测。
CN 110263705 ACN 110263705 A
权 利 要 求 书
1/2页
1.一种面向遥感技术领域两期高分辨率遥感影像变化检测方法，其特征在于，通过基础特征提取网络将一对待测遥感影像输入双路神经网络并分别提取出特征图，然后通过双路神经网络中的特征金字塔融合模块以通道数拼接的方式融合得到包含两层特征图的语义信息的特征融合图，对拼接后得到特征差异图进行影像分割后将分割结果融合得到分割轮廓结果。
2.根据权利要求1所述的方法，其特征是，具体包括：第一步，特征提取：采用双路网络分别提取两期影像特征，利用VGG16的四层卷积池化层网络结构来搭建双路共享权值的基础特征提取网络；
第二步，通过特征金字塔融合模块对获取到的卷积池化后的特征图进行上采样后与卷积池化前的特征图进行多层特征融合以获取更加丰富的影像信息，具体为：对于每一次卷积操作后得到的特征图，采用上采样的方式还原到卷积池化前的特征图的形状，并通过通道数的拼接来融合上下两层的特征图；
第三步，双路特征融合：在对不同层次的特征进行尺度变化并进行信息融合的基础上，对双路网络的两个分支的同级特征图进行融合，即对第二步所得到的单支网络的多层特征融合图进行两个分支的拼接，通过融合两幅影像不同层的特征图则可以获取两幅影像的不同尺寸的特征差异图，从而得到多种尺寸的特征差异图，从而获取到更加丰富的目标信息；
第四步，对双路神经网提取出的高层语义信息，进行两期遥感影像对的块级分类，得到两期遥感影像是否发生变化的判断结果；
第五步，变化区域轮廓提取：对第三步获取的综合特征图进行变化区域轮廓提取，即将多种尺寸的特征差异图通过上采样与融合操作还原到原图尺寸的差异图，做到变化检测目标轮廓的像素级分类，具体为：将第四Concat层送入全连接层进行块级的分类，判定两期遥感影像是否发生变化后，将获取的第一至第三Concat层分别送入全卷积网络，将全卷积网络得到的对应的三层预测输出图再进行尺度变化、信息融合以及上采样操作，得到最终的变化区域轮廓。
3.根据权利要求2所述的方法，其特征是，所述的全卷积网络的的损失函数则采用交叉熵损失函数，其中：
块级损失函数
像
素级损失函数
整体网络结构的损失函数LossMFN＝max(1,LossMFN_patch)+LossMFN_pixels，其中：N为训练的批次大小，y_patchi与ai为Patch的标签与Patch级分类网络的实际输出值，k与m为输入网络的图像的长度与宽度，y_pixelsj为每个像素的标签，p_pixelsj为每个像素的经过神经网络输出的实际值。
4.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：①基于双路共享权值的VGG16特征提取体系，并在各层之间设有多个特征金字塔融合模块作为像素级分类的编码网络以及②两个分支网络：其中块级变化检测分支网络包含一个Concat层并用于判断输入遥感影像对是否发生变化，像素级变化检测分支网络包含三个Concat层并根据遥感影
2
CN 110263705 A
权 利 要 求 书
2/2页
像对在变化的情况下进行超像素分类。
5.根据权利要求4所述的系统，其特征是，四个Concat层分别对应不同层的双路网络特征融合操作，其中：第四Concat层操作得到的特征图用于判断块级的变化情况；第一至第三Concat层分别通过上采样与融合操作来获取最终原图大小的像素级变化检测效果。
6.根据权利要求4所述的系统，其特征是，所述的块级变化检测分支网络由一个用于特征融合的Concat层、一系列卷积层和三个全连接层等组成，其合并的特征图经过全连接层变成特征向量。
7.根据权利要求6所述的系统，其特征是，所述的块级变化检测分支网络在训练时需要将得到的一维特征向量经过softmax操作转换成概率，在测试时以输出中最大值的位置所对应的变化类别作为最终的检测结果。
8.根据权利要求4所述的系统，其特征是，先将所述的VGG16特征提取体系输出的最后一层特征图拉伸成一维向量，再进行全连接操作得到二维的向量。
9.根据权利要求4所述的系统，其特征是，所述的特征金字塔融合模块包括四个依次连接的预测层。
3
CN 110263705 A
说 明 书
1/6页
面向遥感技术领域两期高分辨率遥感影像变化检测方法
技术领域
[0001]本发明涉及的是一种图像处理领域的技术，具体是一种基于双路神经网络的Patch(图像块)级与Pixel(像素)级融合策略下的高分辨率遥感影像变化检测方法。背景技术
[0002]高分辨率遥感影像中存在大量关于目标尺度、光照不一致、目标遮挡以及低阶与高阶相关性问题，使得高分辨率遥感影像的变化检测一直都是一个挑战性的问题，特别是如何精确地提取出变化区域的轮廓是高分辨率遥感影像变化检测中的一个研究热点和难点。
[0003]遥感影像变化检测中常用的方法包括PCA(主成分分析法)、CVA(变化向量分析法)、基于双路神经网络、特征融合与阈值分割的SCCN检测方法等等。[0004]然而，目前的变化检测方法大多考虑获取两幅影响的差异性，即采用获取两期影像之间的差异图或采用双路网络与特征级融合获取特征之间的特征差异图，后者对遥感影像变化检测的性能影响具有重要的提升作用，但经过卷积神经网络多次卷积池化后得到的最终特征图一般只具有较强的语义信息，不具备检测多尺度目标的能力，无法找到变化区域的准确轮廓。
发明内容
[0005]本发明针对现有技术存在的上述不足，提出一种面向遥感技术领域两期高分辨率遥感影像变化检测方法，将图像块(Patch)级变与不变检测与像素(Pixel)级变与不变检测相结合，构建双路神经网络(PPCNET,Patch-level and Pixel-level Combined Network)，融合块级与像素级的变化检测方式，提高了变化检测的精度以及检测速度，同时避免了噪声影响，适合高分辨率遥感影像的变化检测。[0006]本发明是通过以下技术方案实现的：
[0007]本发明通过基础特征提取网络将一对待测遥感影像输入双路神经网络并分别提取出特征图，然后通过双路神经网络中的特征金字塔融合模块以通道数拼接的方式融合得到包含两层特征图语义信息的特征融合图，对拼接后得到的特征差异图进行像素级分类后将多尺度变化检测结果融合得到具体轮廓结果。
技术效果
[0008]与现有技术相比，本发明能够较好地实现高分辨率遥感影像特定区域是否发生变化的精确描述，在最后的像素级分类与块级分类的学习预测阶段，能够获得两期影像变化区域的准确轮廓。本发明采用特征金字塔模块进行特征提取，着重解决了影像中单层特征信息不足问题。双路网络特征融合操作有助于获取两期影像特征图之间的特征差异图。层级特征图的融合有助于提升多尺度目标的轮廓提取准确度。通过双路神经网络与Patch-Pixel融合策略可显著提高遥感影像的变化检测准确率。
4
CN 110263705 A
说 明 书
2/6页
附图说明
[0009]图1为本发明原理示意图；
[0010]图2为融合特征生成与块级分类流程图；[0011]图3为像素级分类流程图；
[0012]图4为两期影像网络结构示意图；[0013]图5为特征金字塔融合模块示意图；[0014]图6为变化区域检测算法示意图；
[0015]图7为实施例中两期影像航拍数据集示意图；[0016]图中：1(a)为无人机于2014年5月拍摄的江苏地区遥感图像，1(b)为无人机于2015年9月拍摄的江苏地区遥感图像，1(c)为标注的上述两期遥感图像的变化区域标签图，2(a)为无人机拍摄的上海市地区的第一期遥感图像，2(b)为无人机拍摄的上海市地区的第二期遥感图像，2(c)为标注的上述两期遥感图像的变化区域标签图；[0017]图8为实施例中两期影像高分二号遥感数据集示例图；[0018]图中：(a)为高分2号卫星于2016年4月拍摄的黑龙江地区遥感图像，(b)为高分2号卫星于2017年10月拍摄的黑龙江地区遥感图像，(c)为标注的两期遥感图像的变化区域标签图；
[0019]图9为实施例中多种变化检测算法在数据集2上的检测效果图；[0020]图中：(a)为CVA；(b)为SCCN；(c)为Match-Net；(d)为MFCN；(e)为MSG；(f)为MUnet；(g)为PPCNET-2；(h)为PPCNET-3；(i)为PPCNET-4(图中白色与黑色分别代表试验结果中的变化区域和不变区域)。
具体实施方式
[0021]如图4所示，本实施例涉及一种面向遥感技术领域两期高分辨率遥感影像变化检测系统，通过结合块级相似性预测与像素级融合于一体，其输入端允许送入的影像大小为32*32，该双路神经网络特征提取模块的主体网络由一系列卷积层、最大池化层、上采样层、特征金字塔融合模块等组成，包括：①基于双路共享权值的VGG16特征提取体系，并在各层之间设有多个特征金字塔融合模块作为像素级分类的编码网络以及②两个分支网络：其中块级变化检测分支网络包含一个Concat层并用于判断输入遥感影像对是否发生变化，像素级变化检测分支网络包含三个Concat层并根据遥感影像对在变化的情况下进行超像素分类。
[0022]如图5所示，为双路神经网络中采用的特征金字塔融合模块(FPN)，该结构可以确保基础特征提取网络层中融合层的每一层都具有较大的感受视野和较强的语义信息，使得该网络在不增加原始模型计算量的情况下有助于避免训练过拟合情况并提高变化检测精度。
[0023]所述的VGG16特征提取体系，在4层VGG中使用特征金字塔融合模块操作，获取了多种采用尺度变化与信息融合操作的特征图，并对双路网络中对应的每对采用特征金字塔融合模块操作后的特征图均进行通道数上的拼接。[0024]在图4所示的融合操作中，四个Concat层分别对应不同层的双路网络特征融合操作，其中：第四Concat层操作得到的特征图用于判断块级的变化情况；第一至第三Concat层
5
CN 110263705 A
说 明 书
3/6页
分别通过上采样与融合操作来获取最终原图大小的像素级变化检测效果。[0025]所述的两个分支网络中，块级变化检测分支网络由一对输入32*32大小的影像缩放至原来的1/16，该分支网络对4次下采样后的特征图进行融合。该分支网络由一个用于特征融合的Concat层、一系列卷积层和三个全连接层等组成。合并的特征图经过全连接层变成特征向量。由于在变化检测中只关注图像块是否发生变化，不需要关注图像块内部的局部信息，这里的全连接层主要将特征图中的局部信息去除，使特征主要表达图像块的全局信息，从而判断图像块的变化情况。[0026]优选地，该分支结构在训练时需要将得到的一维特征向量经过softmax操作转换成概率。在测试时以输出中最大值的位置所对应的变化类别作为最终的检测结果。[0027]所述的VGG16特征提取体系输出的最后一层特征图维度为2*2*64，即64个通道特征图，每个特征图大小为2*2，优选将特征图拉伸成一维向量，然后进行全连接操作得到二维的向量。
[0028]针对于像素级别的变化区域提取网络结构，基于主体网络提取出的层次特征，利用特征金字塔融合模块建立双路神经网络每个分支的多个特征金字塔，获取多种不同大小的特征图，且这些这些特征图具有更加丰富的信息，再通过Concat层获取不同大小的特征差异图，并通过解码网络中上采样层逐步恢复待分割目标细节和相应的空间维度信息，为了获取精细的变化区域轮廓信息，该网络结构采取跳跃层(Skip Layer)对不同大小的特征差异图均进行全卷积预测输出，将低层特征差异预测结果与高层特征差异预测二值图进行融合，使得输出的原图大小的预测图获取更加准确的位置信息。[0029]如图5所示，所述的特征金字塔融合模块包括四个依次连接的预测(predict)层，由于待检测遥感影像对中变化区域尺寸大小不一，而不同的变化区具有不同的特征，利用浅层的特征有助于生成变化区精细的边界，利用高层特征有助于而判断是否发生变化。图6中特征金字塔第一预测层输出较为粗糙的实例分割结果，在第二预测层输出次粗糙的实例分割结果，最后在第四预测层输出精细的实例分割结果。[0030]如图4所示，本实施例基于上述网络结构，具体包括以下步骤：[0031]预处理：本实施例中优选对图像先进行标准化预处理：采用辐射校正、两期影像匹配并对输入影像进行Z-score标准归一化处理。这种方法基于原始数据的均值和标准差进行数据标准化：X*＝(X-μ)/σ，其中：μ为遥感影像像素计算平均值(数学期望)，σ为标准差，X*为标准化后的变量值，X为实际变量值。标准化后的遥感影像像素值围绕0上下波动，大于0说明高于平均高水平，小于0说明低于平均水平。[0032]第一步，特征提取：采用双路网络分别提取两期影像特征，利用VGG16(Visual Geometry Group)的四层卷积池化层网络结构来搭建双路共享权值的基础特征提取网络。[0033]通过卷积操作来不断增加特征图的通道数，并通过非线性激活函数来增加网络的语义表达能力；其次，池化操作降低了特征图的大小，减少了卷积操作所需的参数量。[0034]第二步，通过特征金字塔融合模块对获取到的卷积池化后的特征图进行上采样后与卷积池化前的特征图进行多层特征融合以获取更加丰富的影像信息，具体为：对于每一次卷积操作后得到的特征图，采用上采样的方式还原到卷积池化前的特征图的形状，并通过通道数的拼接来融合上下两层的特征图。[0035]第三步，双路特征融合：在对不同层次的特征进行尺度变化并进行信息融合的基
6
CN 110263705 A
说 明 书
4/6页
础上，对双路网络的两个分支的同级特征图进行融合，即对第二步所得到的单支网络的多层特征融合图进行两个分支的拼接，通过融合两幅影像不同层的特征图则可以获取两幅影像的不同尺寸的特征差异图，从而得到多种尺寸的特征差异图，从而获取到更加丰富的目标信息。
[0036]第四步，对双路神经网提取出的高层语义信息，进行两期遥感影像对的块级分类，得到两期遥感影像是否发生变化的判断结果。[0037]第五步，变化区域轮廓提取：对第三步获取的综合特征图进行变化区域轮廓提取，即将多种尺寸的特征差异图通过上采样与融合操作还原到原图尺寸的差异图，做到变化检测目标轮廓的像素级分类，具体为：如图1～图3所示，将第四Concat层送入全连接层进行块级的分类，判定两期遥感影像是否发生变化后，将获取的第一至第三Concat层分别送入全卷积网络，将全卷积网络得到的对应的三层预测输出图再进行尺度变化、信息融合以及上采样操作，得到最终的变化区域轮廓。[0038]如表1所示，为双路网络的主体网络的卷积池化层的各项参数设置。整体网络结构的权重进行了全局池化，实现了均值为0，标准差为0.4的均匀分布，这些权重后续的更新则是通过Adam优化器与反向传播算法实现。初始学习率设置为0.005，每迭代80次衰减10％。[0039]本实验涉及的神经网络模型均在深度学习的tensorflow框架与Nvidia GTX1050ti GPU的硬件配置下进行训练与测试，其中块级与像素级分类网络的损失函数则采用交叉熵损失函数，其中：
[0040]
块级损失函数
像素级损失函数
整体网络结构的损失函数LossMFN＝max(1,LossMFN_patch)+LossMFN_pixels，其中：N为训练的批次大小，y_patchi与ai为Patch的标签与Patch级分类网络的实际输出值，k与m为输入网络的图像的长度与宽度，y_pixelsj为每个像素的标签，p_pixelsj为每个像素的经过神经网络输出的实际值。
[0042]表1.主体网络参数统计网络层名输出特征图大小卷积核大小Conv032*32*643*3Pool016*16*643*3Conv116*16*1283*3Pool18*8*1283*3Conv28*8*5123*3Pool24*4*5123*3Con34*4*643*3Pool32*2*643*3[0043]如图7所示，为本实施例采用两套数据集：第一套数据集来源于2015年中国江苏省徐州市与2018年上海市的航拍影像，图中影像1(a)、1(b)分别为拍摄于2014年5月与2015年
7
[0041]
CN 110263705 A
说 明 书
5/6页
9月，分辨率0.5米的徐州市，影像2(a)、2(b)分别为拍摄于2017年8月与2018年9月，分辨率0.5米的上海市。该数据集土地覆盖类型主要有建筑物、绿地、道路与农业大棚，其主要变化为：绿地变为农业大棚、绿地变为建筑，图1(c)、2(c)分别为变化区域真值图；第二套数据集来源于2017年中国黑龙江省哈尔滨市的高分二号卫星影像，如图11所示，影像1(a)、1(b)分别为拍摄于2016年4月与2017年10月，分辨率0.8米。该数据集土地覆盖类型主要有建筑物、河流、裸地与农业大棚，其主要变化为：裸地变为农业大棚、裸地变为建筑，图1(c)、2(c)分别为变化区域真值图。
[0044]本实施例结果以Accuracy(Acc)、查准率Precision、查全率Recall和F1-measure(F1)指标进行评价，F1-measure是查准率和查全率的加权调和平均，反映了模型的综合性能。其中：
TP代表正样本数量，TN代表
负样本数量，FP代表误检数量，FN代表漏检数量。TP+FP+TN+FN是所有样本总数。[0045]如表2与表3所示，本方法在两个数据集上均获取较高的分类精度。与现有两期变化检测算法，包括DI(影像差值法)，PCA(主成分分析法)，CVA(变化向量分析法)，SCCN(Siamese网络法)等进行比较，双路神经网络在各评价指标上均获取优异的成果。该网络结构简单，预训练参数为Match-FCN网络的训练参数690万的1/3，并且在功能实现不仅可以单独实现两期影像相似度判断，也可以快速提取变化区，更具实用价值。与其它主流方法相比，本方法表现出了不同程度的分类精度优势。[0046]表2.数据集1变化检测结果
[0047]
表3.数据集2变化检测结果
8
CN 110263705 A
说 明 书
6/6页
本方法可以获得理想的分类效果。
[0049]如图9所示，为多种变化检测算法在数据集2上的检测效果图(a)CVA.(b)SCCN.(c)Match-Net.(d)MFCN.(e)MSG.(f)MUnet.(g)PPCNET-2.(h)PPCNET-3.and(i)PPCNET-4(图中白色与黑色分别代表试验结果中的变化区域和不变区域)。[0050]综上所述，与传统方法相比，本发明可获得更好的变化区域分割精度。与主流的变化检测算法相比，本发明的端到端变化检测方法具有训练参数少，推理速度快等优势，并且在变化区域轮廓提取精度上，与如CVA(变化向量检测法)，PCA(主成分分析法)，SCCN(Siamese神经网络)等主流的变化检测方法具有可比性。
[0051]上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。
[0048]
9
CN 110263705 A
说 明 书 附 图
1/6页
图1
图2
10
CN 110263705 A
说 明 书 附 图
图3
11
2/6页
CN 110263705 A
说 明 书 附 图
3/6页
图4
12
CN 110263705 A
说 明 书 附 图
4/6页
图5
图6
13
CN 110263705 A
说 明 书 附 图
5/6页
图7
图8
14
CN 110263705 A
说 明 书 附 图
6/6页
图9
15
因篇幅问题不能全部显示，请点此查看更多更全内容