基于CIM及多视角图像处理的交互式应急车辆通行方法技术

本发明专利技术提供了一种基于CIM及多视角图像处理的交互式应急车辆通行方法，该方法包括：对采集到的图像进行投影变换、图像拼接操作后投影到CIM中实现实时成像；接收到应急车辆发送的请求信号后，基于神经网络对采集到的图像进行分析处理得到应急车辆热力图；对接收到的应急车辆热力图进行后处理得到应急车辆的图像坐标，根据应急车辆在CIM地面坐标系中的坐标得到应急车辆的位置和速度，根据应急车辆的位置和速度对信号灯进行调节。该方法在应急车辆发出请求信号后采用神经网络技术对图像中的应急车辆进行识别，其识别准确率更高，并基于CIM对应急车辆的行驶速度进行实时检测，使得信号灯的调节更加精准。

【技术实现步骤摘要】
基于CIM及多视角图像处理的交互式应急车辆通行方法
本专利技术涉及计算机视觉、智慧交通领域，尤其是一种基于CIM及多视角图像处理的交互式应急车辆通行方法。
技术介绍
现有的用于应急车辆通行的信号灯时间调节的技术方案中，一些方案通过摄像头对车流进行不间断的特征识别，发现道路上存在应急车辆后对信号灯进行调节，这种调节方法在道路畅通时依旧会对车流进行检测识别，发现应急车辆时调节信号灯，但实际并不需要对信号灯进行调节应急车辆也可以很快的通行，此时就会造成资源的浪费。一些方案中根据应急车辆的位置和速度对信号的进行调节，方案中利用定位器来获取应急车辆的位置，这需要在每个路口布置定位器并且在每辆应急车辆上也要安装与定位器相配的装备，耗费大量人力物力，且这些设备受外界因素影响较大，容易损坏，一旦设备损坏此方案就不具备实施性，若救护车、消防车等应急车辆在执行任务的过程中设备损坏就会产生严重的后果；并且利用安装在固定位置的检测器获取应急车辆的速度，其得到的速度不具备实时性，容易给出不准确的信号灯调节指示，造成交通拥堵。
技术实现思路
本专利技术针对上述现有技术存在的问题提出一种基于CIM及多视角图像处理的交互式应急车辆通行方法，该方法包括：步骤一，对摄像头采集到的图像进行投影变换和图像拼接操作，投影到预先搭建好的城市的CIM中，获得整个道路视频连续覆盖的信息，实现实时成像；步骤二，接收到应急车辆发送的请求信号后，基于神经网络对摄像头采集到的图像进行分析，得到应急车辆热力图；步骤三，对得到的应急车辆热力图进行后处理得到应急车辆的图像坐标，将应急车辆的图像坐标投影到CIM地面坐标系中，根据应急车辆在CIM地面坐标系中的坐标，得到应急车辆的位置；根据一定时间内CIM地面坐标系中应急车辆坐标的变化得到应急车辆的速度；根据应急车辆的速度和位置对信号灯进行调节实现交互式的应急车辆通行，其中，应急车辆速度的具体计算方法为：设定一个时间阈值m，一个帧数阈值n，在m秒内采集n帧图像，根据第一帧与第n帧图像中应急车辆在CIM地面坐标系中的坐标得到m秒内应急车辆移动的距离，计算出应急车辆的速度；步骤四，将步骤二、步骤三中包括的信息传至CIM中进行存储，并与步骤一相结合，利用WebGIS技术进行可视化处理，在Web端显示应急车辆通行情况和信号灯的调节情况。神经网络包括应急车辆检测编码器和应急车辆检测解码器，编码器的输入为摄像头采集到的图像，提取特征后得到特征图，将特征图送入解码器进行处理得到应急车辆热力图；选择应急车辆在道路上行驶的图像作为训练数据集，对应急车辆中心点经过高斯模糊生成的热斑进行标注，采用均方差损失函数，随机梯度下降法对神经网络进行训练。信号灯调节的具体方式为：应急车辆以计算出的速度从当前坐标到达下个路口坐标所需要的时间为t，应急时长为t1，恢复时长为t2，在t-t1时刻将下个路口的信号灯调节为绿灯，并持续到t+t2时刻，恢复信号灯的正常运作。投影变换的具体步骤为：利用角点检测算法选择四个固定位置的角点，根据相机像平面与CIM地面之间四个角点的对应点对计算出单应性矩阵，通过单应性矩阵将像平面的点投影到CIM地面。图像拼接的具体步骤为：对图像进行预处理后进行图像配准操作，之后将图像变形到与CIM地面平行的复合全景平面上，最后进行图像的融合。城市的CIM中包括城市中的道路信息，信号灯及摄像头的数量、分布位置，信号灯的调节信息，神经网络的检测结果。本专利技术的有益效果在于：1.本专利技术中神经网络在接收到应急车辆发送的请求信号后开始工作，解决了现有技术中对车流进行不间断检测识别造成的资源浪费，可以在应急车辆有信号灯调节需求时对信号灯进行调节；并且采用神经网络技术对采集到的图像进行分析运算，可以快速识别出图像中的应急车辆，且识别准确率高，为信号灯的调节提供了时效保障。2.现有技术利用定位器得知应急车辆的位置，本专利技术中将图像坐标投影到CIM中，结合CIM获取应急车辆的位置，不需要在路口和应急车辆中布置定位器，节省了大量人力物力，并且结合CIM，可以实时直观地得知应急车辆的通行情况以及信号灯的调节情况。3.现有技术中通过设置在固定位置的检测器得到应急车辆的行驶速度，本专利技术中根据一段时间内采集到的n帧图像中第一帧和第n帧图像中应急车辆图像坐标投影到CIM地面坐标系的坐标变化即可得到应急车辆的速度，可以对应急车辆的行驶速度进行实时检测，对信号灯的调节更加精准，避免因错误的调节指令造成交通拥堵。4.本专利技术对采集到的图像进行拼接操作，将拼接后的图像投影到CIM中，结合神经网络的检测结果、信号灯的调节信息，利用WebGIS技术进行可视化处理，使相关人员可以直观的获取发出请求信号应急车辆的实时位置及信号灯的调节情况，及时应对一些突发情况，为应急车辆提供交通便利。附图说明图1为该方法的框架图。具体实施方式下面结合实施例和附图对本专利技术展开详细描述，参加图1。一种基于CIM及多视角图像处理的交互式应急车辆通行方法，其框架图如图1所示，该方法包括：步骤一，对摄像头采集到的图像进行投影变换和图像拼接操作，投影到预先搭建好的城市的CIM中，获得整个道路视频连续覆盖的信息，实现实时成像；步骤二，接收到应急车辆发送的请求信号后，基于神经网络对摄像头采集到的图像进行分析，得到应急车辆热力图；步骤三，接收到应急车辆热力图后，对该热力图进行后处理得到应急车辆的图像坐标，将图像坐标投影到CIM中，结合CIM中的信息，得到应急车辆的速度和位置，根据应急车辆的速度和位置对信号灯进行调节实现交互式的应急车辆通行；步骤四，将步骤二、步骤三中包括的信息传至CIM中进行存储，并与步骤一相结合，利用WebGIS技术进行可视化处理，在Web端显示应急车辆通行情况和信号灯的调节情况。实施例：对摄像头采集到的图像进行投影变换和图像拼接操作，投影到预先搭建好的城市的CIM中，具体地：投影变换的方法：利用角点检测算法选择四个固定位置的角点，例如花坛角点，选择四个角点的原因在于一个完全的投影变换具有8个自由度，根据相机像平面与CIM地面之间四个角点的对应点对利用SVD(奇异值分解)算法计算出单应性矩阵，通过单应性矩阵将像平面的点投影到与CIM地面平行的复合全景平面上。图像拼接步骤：首先进行图像的预处理，包含图像校正和噪声抑制。图像的配准，使用角点检测算法提取特征点后进行特征点的匹配，之后采用RANSAC算法进行单应性矩阵的估计，通过单应性矩阵将两幅图转换到同一坐标下。角点检测方法可以采用Harris角点检测算法、SIFT角点检测算法、SUSAN角点检测算法、Kitchen-Rosenfeld角点检测算法等；特征点的匹配可以采用NCC(归一化互相关)或者SSD(误差平方和)方法。图像变形，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的本文档来自技高网...

【技术保护点】
1.一种基于CIM及多视角图像处理的交互式应急车辆通行方法，其特征在于，该方法包括：/n步骤一，对摄像头采集到的图像进行投影变换和图像拼接操作，投影到预先搭建好的城市的CIM中，获得整个道路视频连续覆盖的信息，实现实时成像；/n步骤二，接收到应急车辆发送的请求信号后，基于神经网络对摄像头采集到的图像进行分析，得到应急车辆热力图；/n步骤三，对得到的应急车辆热力图进行后处理得到应急车辆的图像坐标，将应急车辆的图像坐标投影到CIM地面坐标系中，根据应急车辆在CIM地面坐标系中的坐标，得到应急车辆的位置；根据一定时间内CIM地面坐标系中应急车辆坐标的变化得到应急车辆的速度；根据应急车辆的速度和位置对信号灯进行调节实现交互式的应急车辆通行，其中，应急车辆速度的具体计算方法为：设定一个时间阈值m，一个帧数阈值n，在m秒内采集n帧图像，根据第一帧与第n帧图像中应急车辆在CIM地面坐标系中的坐标得到m秒内应急车辆移动的距离，计算出应急车辆的速度；/n步骤四，将步骤二、步骤三中包括的信息传至CIM中进行存储，并与步骤一相结合，利用Web GIS技术进行可视化处理，在Web端显示应急车辆通行情况和信号灯的调节情况。/n...

【技术特征摘要】
1.一种基于CIM及多视角图像处理的交互式应急车辆通行方法，其特征在于，该方法包括：
步骤一，对摄像头采集到的图像进行投影变换和图像拼接操作，投影到预先搭建好的城市的CIM中，获得整个道路视频连续覆盖的信息，实现实时成像；
步骤二，接收到应急车辆发送的请求信号后，基于神经网络对摄像头采集到的图像进行分析，得到应急车辆热力图；
步骤三，对得到的应急车辆热力图进行后处理得到应急车辆的图像坐标，将应急车辆的图像坐标投影到CIM地面坐标系中，根据应急车辆在CIM地面坐标系中的坐标，得到应急车辆的位置；根据一定时间内CIM地面坐标系中应急车辆坐标的变化得到应急车辆的速度；根据应急车辆的速度和位置对信号灯进行调节实现交互式的应急车辆通行，其中，应急车辆速度的具体计算方法为：设定一个时间阈值m，一个帧数阈值n，在m秒内采集n帧图像，根据第一帧与第n帧图像中应急车辆在CIM地面坐标系中的坐标得到m秒内应急车辆移动的距离，计算出应急车辆的速度；
步骤四，将步骤二、步骤三中包括的信息传至CIM中进行存储，并与步骤一相结合，利用WebGIS技术进行可视化处理，在Web端显示应急车辆通行情况和信号灯的调节情况。


2.如权利要求1所述的方法，其特征在于，神经网络包括应急车辆检测编码器和应急车辆检...

【专利技术属性】
技术研发人员：夏高举，
申请(专利权)人：郑州迈拓信息技术有限公司，
类型：发明
国别省市：河南;41