具有图像语义感知的智慧城市CIM实时成像方法技术

本发明专利技术公开了一种具有图像语义感知的智慧城市CIM实时成像方法。该方法包括：构建三维数字空间的城市信息模型；对样本集图像中每个车辆进行关键点标注、身份标注，训练车辆关键点检测编码器、解码器；将摄像头实时采集的图像输入车辆关键点检测编码器、解码器中，得到车辆关键点热力图以及身份标注图；判断车辆矩形区域是否重合并根据判断结果进行仿射变换；将车辆俯视图像与摄像头采集的背景图进行泊松融合；将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像，并投影到CIM中，对CIM模型多种信息进行可视化。实现了实时的智慧城市道路车辆成像，不仅鲁棒性好、计算量低，而且所得实时成像结果质量更高，可视化效果更好。

【技术实现步骤摘要】
具有图像语义感知的智慧城市CIM实时成像方法
本专利技术涉及人工智能、智慧城市、CIM
，具体涉及一种具有图像语义感知的智慧城市CIM实时成像方法。
技术介绍
当前，全球信息技术呈加速发展趋势，信息技术在国民经济中的地位日益突出，建设智慧城市对于一个国家综合竞争力的全面提高具有重要的战略意义。智慧城市的产生源自物联网、云计算、移动互联网、人工智能为代表的新一代信息技术与知识社会环境下逐步孕育的开放的城市创新生态。智慧城市强调的是利用新一代信息技术和各类通信终端融合，实现城市智慧式管理和运行。目前在城市成像方面，都是在3D模型上自行绘制纹理贴图或将拍摄的图片赋予模型，都需要人为操作，不具实时性，且生产周期长。
技术实现思路
本专利技术的目的在于针对上述现有技术存在的缺陷，提出一种具有图像语义感知的智慧城市CIM实时成像方法，实现了实时的智慧城市道路车辆成像，不仅鲁棒性好、计算量低，而且所得实时成像结果质量更高，可视化效果更好。一种具有图像语义感知的智慧城市CIM实时成像方法，该方法包括：步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建三维数字空间的城市信息模型；步骤2，使用城市各道路摄像头采集城市各道路图像作为样本图像集；步骤3，对样本集图像中每个车辆进行关键点标注，关键点包括车头左右车灯位置，车顶四个角点，车尾左右车灯位置；对样本集图像内的所有车辆的关键点进行高斯核卷积，生成车辆关键点热力图；步骤4，对样本集图像的每一类车辆关键点进行身份标注，生成多通道的身份标注图，同一车辆的车辆关键点身份标注相同；步骤5，通过样本图像集和标注的标签数据，端到端地训练车辆关键点检测编码器、车辆关键点检测解码器；步骤6，将摄像头实时采集的图像输入车辆关键点检测编码器、车辆关键点检测解码器中，得到车辆关键点热力图以及身份标注图；步骤7，计算车头左右车灯位置与车顶前面两个角点相应坐标值差的绝对值，将相应坐标值差的绝对值相加，判断相加结果是否大于设定阈值，如果小于设定阈值，则车头左右车灯位置与车顶前面两个角点形成的第一矩形区域与车顶四个角点形成的第二矩形区域重合；否则，则第一矩形区域与第二矩形区域不重合；以同样的方法判断车位左右车灯位置与车顶后面两个角点形成的第三矩形区域与第二矩形区域是否重合；步骤8，对第一矩形区域、第二矩形区域、第三矩形区域进行放射变换，得到车辆俯视图像，若第一矩形区域与第二矩形区域重合，则不对第一区域进行仿射变换，若第三矩形区域与第二矩形区域重合，则不对第三矩形区域进行仿射变换；步骤9，将车辆俯视图像与摄像头采集的背景图进行泊松融合；步骤10，将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像，并投影到CIM中，通过WebGIS技术对CIM模型中的多种信息进行可视化。对样本集图像内的所有车辆的关键点进行高斯核卷积，生成车辆热力图具体为：对样本图像内所有车辆同一类别的关键点进行高斯核卷积，得到不同类别关键点的热力图；将所有类别关键点的热力图联合，形成多通道的车辆关键点热力图。车辆关键点检测编码器对图像进行特征提取，输入为经过归一化处理的图像数据，输出为特征图；所述车辆关键点检测解码器是对特征图进行上采样并最终生成车辆关键点热力图及身份标注图，其输入为车辆关键点检测编码器产生的特征图，输出为车辆的关键点热力图及身份标注图。训练车辆关键点检测编码器、车辆关键点检测解码器采用的损失函数TotalLoss为：其中，γ、为权值系数，Pcij代表类别C的车辆关键点在位置(i,j)处的得分，得分越高就越可能是车辆的关键点，ycij表示真实值热力图位置(i,j)处的值，N表示关键点数量，α、β为超参数，n表示第n个车辆，k表示第k个关键点，X表示真实关键点所在的像素位置，表身份标注真实值，hk(xnk,)是预测的身份标注值，δ为人为设定值，n′为除第n个车辆外的其他车辆。固定阈值为60。背景图的获得方法为：对摄像头采集的道路图像进行角点检测，进行透视变换，得到俯视视图的背景图。将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像具体为：进行图像配准，采用一定的匹配策略，找出待拼接图像中的特征点在参考图像中对应的位置；根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换；将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝的完整的区域图像。本专利技术与现有技术相比，具有以下有益效果：1.传统的图像拼接技术在具有移动物体场景下，拼接图像中移动物体往往难以识别，难以获得较好的图像拼接效果，本专利技术根据检测得到的车辆关键点对车辆进行仿射变换，进而将变换结果与背景图像融合，实时成像质量更好。2.本专利技术结合计算机视觉技术与深度学习技术对道路图像进行分析，得到车辆检测结果，深度学习使用大量样本，泛化能力强，鲁棒性好，提高了车辆检测的准确率。3.本专利技术车辆关键点检测的关键点包括车头左右车灯位置，车顶四个角点，车尾左右车灯位置，形成多个矩形区域，在成像系统中可以更好地展示车辆图像。4.本专利技术对每一类别车辆关键点进行身份标注，网络输出关键点的身份标注信息，可以更好地区分不同车辆的关键点，为后续投影变换提供便利。5.设计对矩形区域是否重合的判定方法，计算简单，计算效率高，对重合的矩形区域不进行仿射变换，可以避免无效仿射变换，降低计算量。6.本专利技术结合城市信息模型技术，建立城市信息模型作为智慧城市建模模型，该模型可以集成多种数据，提高了智慧城市模型的数据集成能力。将车辆俯视图像与背景图像融合，拼接各个道路摄像机的融合结果，投影到城市信息模型中，并结合WebGIS技术进行实时展示，能够可以更好地实现对城市道路及车辆的实时成像。附图说明图1为本专利技术方法流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供一种具有图像语义感知的智慧城市CIM实时成像方法。首先，对城市道路各个相机得到的图像进行车辆关键点的预测，并对其进行处理得到所有车辆的车顶图，再与背景图进行泊松融合，然后进行图像拼接操作，并投影到CIM中，完成CIM中道路的实时成像。图1为本专利技术的方法流程图。下面通过具体实施例来进行说明。实施例1：城市建设应抓住技术带来的便利，依托BIM等信息化技术，构建城市专属CIM模型，不断整合资源，找准定位，探索智慧城市建设新路径，提升城市服务水平和服务质量。新型基础设施建设作为新时代城市本文档来自技高网...

【技术保护点】
1.一种具有图像语义感知的智慧城市CIM实时成像方法，其特征在于，该方法包括：/n步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建三维数字空间的城市信息模型；/n步骤2，使用城市各道路摄像头采集城市各道路图像作为样本图像集；/n步骤3，对样本集图像中每个车辆进行关键点标注，关键点包括车头左右车灯位置，车顶四个角点，车尾左右车灯位置；对样本集图像内的所有车辆的关键点进行高斯核卷积，生成车辆关键点热力图；/n步骤4，对样本集图像的每一类车辆关键点进行身份标注，生成多通道的身份标注图，同一车辆的车辆关键点身份标注相同；/n步骤5，通过样本图像集和标注的标签数据，端到端地训练车辆关键点检测编码器、车辆关键点检测解码器；/n步骤6，将摄像头实时采集的图像输入车辆关键点检测编码器、车辆关键点检测解码器中，得到车辆关键点热力图以及身份标注图；/n步骤7，计算车头左右车灯位置与车顶前面两个角点相应坐标值差的绝对值，将相应坐标值差的绝对值相加，判断相加结果是否大于设定阈值，如果小于设定阈值，则车头左右车灯位置与车顶前面两个角点形成的第一矩形区域与车顶四个角点形成的第二矩形区域重合；否则，则第一矩形区域与第二矩形区域不重合；以同样的方法判断车位左右车灯位置与车顶后面两个角点形成的第三矩形区域与第二矩形区域是否重合；/n步骤8，对第一矩形区域、第二矩形区域、第三矩形区域进行放射变换，得到车辆俯视图像，若第一矩形区域与第二矩形区域重合，则不对第一区域进行仿射变换，若第三矩形区域与第二矩形区域重合，则不对第三矩形区域进行仿射变换；/n步骤9，将车辆俯视图像与摄像头采集的背景图进行泊松融合；/n步骤10，将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像，并投影到CIM中，通过WebGIS技术对CIM模型中的多种信息进行可视化。/n...

【技术特征摘要】
1.一种具有图像语义感知的智慧城市CIM实时成像方法，其特征在于，该方法包括：
步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建三维数字空间的城市信息模型；
步骤2，使用城市各道路摄像头采集城市各道路图像作为样本图像集；
步骤3，对样本集图像中每个车辆进行关键点标注，关键点包括车头左右车灯位置，车顶四个角点，车尾左右车灯位置；对样本集图像内的所有车辆的关键点进行高斯核卷积，生成车辆关键点热力图；
步骤4，对样本集图像的每一类车辆关键点进行身份标注，生成多通道的身份标注图，同一车辆的车辆关键点身份标注相同；
步骤5，通过样本图像集和标注的标签数据，端到端地训练车辆关键点检测编码器、车辆关键点检测解码器；
步骤6，将摄像头实时采集的图像输入车辆关键点检测编码器、车辆关键点检测解码器中，得到车辆关键点热力图以及身份标注图；
步骤7，计算车头左右车灯位置与车顶前面两个角点相应坐标值差的绝对值，将相应坐标值差的绝对值相加，判断相加结果是否大于设定阈值，如果小于设定阈值，则车头左右车灯位置与车顶前面两个角点形成的第一矩形区域与车顶四个角点形成的第二矩形区域重合；否则，则第一矩形区域与第二矩形区域不重合；以同样的方法判断车位左右车灯位置与车顶后面两个角点形成的第三矩形区域与第二矩形区域是否重合；
步骤8，对第一矩形区域、第二矩形区域、第三矩形区域进行放射变换，得到车辆俯视图像，若第一矩形区域与第二矩形区域重合，则不对第一区域进行仿射变换，若第三矩形区域与第二矩形区域重合，则不对第三矩形区域进行仿射变换；
步骤9，将车辆俯视图像与摄像头采集的背景图进行泊松融合；
步骤10，将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像，并投影到CIM中，通过WebGIS技术对CIM模型中的多种信息进行可视化。


2.如权利要求1所述的方法，其特征在于，对样本集图像内的所有车辆的关键点进行高斯核卷积，生成车辆热力图具体为：
对...

【专利技术属性】
技术研发人员：张新刚，王保平，惠明，李宝磊，刘伟，贾晓，程新党，
申请(专利权)人：南阳师范学院，
类型：发明
国别省市：河南;41