基于街景图像目标关系感知网络的城市功能区识别方法及系统技术方案

本发明专利技术提供了一种基于街景图像目标关系感知网络的城市功能区识别方法及系统，包括：获取街景图像，并对所述街景图像进行随机水平翻转、随机几何变换和随机颜色抖动操作，增强训练数据；根据所述训练数据构建训练数据集，将训练集街景图像输入到基于图的关系感知网络中进行训练，得到训练后的城市功能区识别模型；对街景图像进行空间关系感知，根据得到的城市功能区类型对所述街景图像进行识别；获取到研究区域范围内的POI数据，对所述POI数据进行分类，并基于POI数据得到城市功能区分类；能够模拟人类识别和推理过程，捕捉街景图像中的局部空间关系和全局语义关系，增强城市功能区检测器的能力。检测器的能力。检测器的能力。

Urban functional area recognition method and system based on street view image target relationship perception network

【技术实现步骤摘要】
基于街景图像目标关系感知网络的城市功能区识别方法及系统


[0001]本专利技术涉及城市功能区识别领域，特别涉及一种基于街景图像目标关系感知网络的城市功能区识别方法及系统。

技术介绍

[0002]目前，针对高分辨率遥感影像进行城市功能区识别的研究主要使用了地物的低层次的视觉特征，无法准确识别纹理和灰度较为相似的不同类型的地物。例如，来自高分遥感影像的光谱信息不足以将相同(土地覆盖)材料区分为不同的建筑物类别。例如，一栋混凝土建筑可能属于一所学校、一个市政厅或一家酒店。此外，城市功能区通常由一系列不同材料、不同纹理的对象组成，并被围在某个边界之内。例如，医院可就可能包含以将公园、道路和建筑物围在其边界内。从俯视角度确定复杂城市地区的功能区类别要困难得多，因为我们无法从遥感图像上确定一座建筑物是餐厅还是理发店。利用遥感图像仅从俯视角度进行识别，缺少了重要的建筑物细节信息，很难得到正确的建筑物类型。因此，对经济社会特征十分明显的城市功能区类型，利用遥感影像很难进行识别。
[0003]随着街景图像服务例如谷歌街景服务(GSV)的兴起，越来越多不同城市的具有准确地理定位的街景图像可以被获得。在常见计算机视觉任务中表现良好的视觉模型，如CNN，最近被广泛用于提取街景图像的视觉特征，用于城市土地利用和城市功能区分析。然而，现有的基于街景图像的城市功能区分类热衷于关注图像的整体视觉特征，而忽略了图像中的局部视觉特征之间的关系。所以，在当直接使用整个图像时，它们包含的许多相同的视觉元素(例如天空和地面)的特征就会对不同功能区的区分造成干扰，而使得最具可区分性的视觉元素(例如建筑物)反而没有得到充分利用。这些方法的一个共性不足，就是本质上受限于对忽略图像中对象之间复杂的局部空间关系的忽略。对图像中对象之间复杂的全局语义关系的忽略也是这些方法的局限性之一。

技术实现思路

[0004]本专利技术提供了一种基于街景图像目标关系感知网络的城市功能区识别方法及系统，其目的是为了解决城市功能区类型识别的问题。
[0005]为了达到上述目的，本专利技术提供了一种基于街景图像目标关系感知网络的城市功能区识别方法，包括：
[0006]步骤1，获取街景图像，并对所述街景图像进行随机水平翻转、随机几何变换和随机颜色抖动操作，增强训练数据；
[0007]步骤2，根据所述训练数据构建训练数据集，将训练集街景图像输入到基于图的关系感知网络中进行训练，得到训练后的城市功能区识别模型；
[0008]步骤3，对街景图像进行空间关系感知，根据得到的城市功能区类型对所述街景图像进行识别；
[0009]步骤4，获取到研究区域范围内的POI数据，对所述POI数据进行分类，并基于POI数据得到城市功能区分类。
[0010]其中，所述步骤2具体包括：
[0011]从所述街景图像的每个类别中随机选择75％的样本作为训练/验证集，剩余的25％作为测试集，将训练/验证集按照9:1的比例随机分为训练集和验证集，将训练集街景图像输入到基于图的关系感知网络中进行训练，得到训练后的城市功能区识别模型。
[0012]其中，所述对街景图像进行空间关系感知的步骤具体包括：
[0013]将街景图像输入到预训练的基线模型Faster R
‑
CNN网络中，得到街景图像中建筑物的目标框和分类权重；
[0014]利用得到的分类权重对建筑物对象进行视觉嵌入，使用成对的伪坐标函数u(a,b)捕获成对的空间信息，并从中确定具有可学习的均值和协方差K的高斯核WK作为图卷积网络的权重；
[0015]将区域视觉嵌入作为节点和高斯核WK作为权重，输入到图卷积网络中，进行街景图像的空间关系感知。
[0016]其中，所述根据得到的城市功能区类型对所述街景图像进行识别的步骤具体包括：
[0017]对街景图像进行语义关系感知，对街景图像的标签进行词嵌入，得到标签的词嵌入向量；
[0018]通过计算数据集中标签的共线次数得到一个归一化的图卷积网络的邻接矩阵；
[0019]将词嵌入向量和邻接矩阵输入到图卷积神经网络中，得到图像标签的图嵌入向量；
[0020]将图嵌入向量与预训练的基线模型Faster R
‑
CNN得到的视觉特征向量进行点乘，得到街景图像的语义关系特征；
[0021]将得到的街景图像的空间关系特征与语义关系特征和街景图像整体的视觉关系特征进行连接；
[0022]将连接得到的向量输入到全连接网络当中，最后进行softmax分类得到城市功能区的类型。
[0023]其中，所述步骤4具体包括：
[0024]通过爬虫方式从OSM官网上获取到研究区域范围内的POI数据；
[0025]根据城市功能区类型将POI数据分为居住功能区、商业功能区、工业功能区和公共服务功能区，与街景图像功能区分类相对应；
[0026]通过对POI数据进行关键数据处理，完成POI的城市功能区类型界定；
[0027]获取研究区域内相应路网数据,根据研究区域范围进行数据裁剪；
[0028]将根据关系感知网络得到的基于街景图像的城市功能区分类和POI点数据得到的功能区映射进行结合，将4类功能区数据进行二维核密度计算，得到各功能区类别的核密度分布；
[0029]根据得到的各功能区类别的核密度分布，通过设定各区域内的核密度阈值，对各个区域内的城市功能区类型进行确定。
[0030]本专利技术还提供了一种基于街景图像目标关系感知网络的城市功能区识别系统，包
括：
[0031]数据获取模块，用于获取街景图像，并对所述街景图像进行随机水平翻转、随机几何变换和随机颜色抖动操作，增强训练数据；
[0032]模型训练模块，用于根据所述训练数据构建训练数据集，将训练集街景图像输入到基于图的关系感知网络中进行训练，得到训练后的城市功能区识别模型；
[0033]图像识别模块，用于对街景图像进行空间关系感知，根据得到的城市功能区类型对所述街景图像进行识别；
[0034]功能区分类模块，用于获取到研究区域范围内的POI数据，对所述POI数据进行分类，并基于POI数据得到城市功能区分类。
[0035]本专利技术的上述方案有如下的有益效果：
[0036]本专利技术所述的基于街景图像目标关系感知网络的城市功能区识别方法及系统基于图的关系感知网络框架，可以用来捕捉街景图像中的局部空间关系和全局语义关系，能够获得更多的建筑物细节特征，从而获得更加准确的建筑物类别，与基于图像级CNN的街景图像城市功能区识别方法相比，能够模拟人类识别和推理过程，捕捉街景图像中的局部空间关系和全局语义关系，增强城市功能区检测器的能力。
[0037]本专利技术的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
[0038]图1为本专利技术的基于街景图像目标关系感知网络的城市功能区识别方法流程图。
[0039]图2为建筑物检测的可视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于街景图像目标关系感知网络的城市功能区识别方法，其特征在于，包括：步骤1，获取街景图像，并对所述街景图像进行随机水平翻转、随机几何变换和随机颜色抖动操作，增强训练数据；步骤2，根据所述训练数据构建训练数据集，将训练集街景图像输入到基于图的关系感知网络中进行训练，得到训练后的城市功能区识别模型；步骤3，对街景图像进行空间关系感知，根据得到的城市功能区类型对所述街景图像进行识别；步骤4，获取到研究区域范围内的POI数据，对所述POI数据进行分类，并基于POI数据得到城市功能区分类。2.根据权利要求1所述的基于街景图像目标关系感知网络的城市功能区识别方法，其特征在于，所述步骤2具体包括：从所述街景图像的每个类别中随机选择75％的样本作为训练/验证集，剩余的25％作为测试集，将训练/验证集按照9:1的比例随机分为训练集和验证集，将训练集街景图像输入到基于图的关系感知网络中进行训练，得到训练后的城市功能区识别模型。3.根据权利要求2所述的基于街景图像目标关系感知网络的城市功能区识别方法，其特征在于，所述对街景图像进行空间关系感知的步骤具体包括：将街景图像输入到预训练的基线模型Faster R
‑
CNN网络中，得到街景图像中建筑物的目标框和分类权重；利用得到的分类权重对建筑物对象进行视觉嵌入，使用成对的伪坐标函数u(a,b)捕获成对的空间信息，并从中确定具有可学习的均值和协方差K的高斯核WK作为图卷积网络的权重；将区域视觉嵌入作为节点和高斯核WK作为权重，输入到图卷积网络中，进行街景图像的空间关系感知。4.根据权利要求3所述的基于街景图像目标关系感知网络的城市功能区识别方法，其特征在于，所述根据得到的城市功能区类型对所述街景图像进行识别的步骤具体包括：对街景图像进行语义关系感知，对街景图像的标签进行词嵌入，得到标签的词嵌入向量；通过计算数据集中标签的共线次数得到一个归一化的图...

【专利技术属性】
技术研发人员：陈杰，孙家豪，胡淑苓，白雪，邓敏，
申请(专利权)人：中南大学，
类型：发明
国别省市：