基于YOLO-SITCOL的固定站自动目标检测与空间定位方法技术

本发明专利技术公开了基于YOLO‑SITCOL的固定站自动目标检测与空间定位方法，包括以下步骤：固定站采集硬件配置；影像采集；基于YOLO算法实现地理对象自动目标检测；基于SITCOL算法实现影像像素框反算地理像素框；单一对象多空间位置点拟合最佳位置点。本发明专利技术有效降低了人工目标查看工作量、提升了巡查效率，减少了人力财力的消耗，在实际应用中具有较好的应用价值。

【技术实现步骤摘要】
基于YOLO-SITCOL的固定站自动目标检测与空间定位方法
本专利技术属于数字近景摄影测量的
，具体涉及一种基于YOLO-SITCOL的固定站自动目标检测与空间定位方法。
技术介绍
在巡查监管时，通常需要人工目标查看，巡查效率较低，固定基站测量系统以通讯铁塔作为数据获取平台，安装了高精度双目摄像头、摄像头空间位置采集装备GPS天线、摄像头空间姿态采集装备电子云台，基于GPS/电子云台组合定位定姿传感器使塔基测量系统具有直接地理定位(DirectGeoreferencing，DG)的能力。使固定基站测图系统的理论与工程应用相结合，可减少人力财力的消耗，在实际应用中具有较好的应用价值。
技术实现思路
本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种基于YOLO-SITCOL的固定站自动目标检测与空间定位方法。为实现上述技术目的，本专利技术采取的技术方案为：基于YOLO-SITCOL的固定站自动目标检测与空间定位方法，包括以下步骤：步骤1：固定站采集硬件配置，所述固定站采集硬件以固定基站作为采集平台，采用2台集成可变焦枪式相机、双目连接杆、电动云台、固定杆、供电线路、计算机设备来完成对地理对象的自动检测与定位；步骤2：影像采集，包括以固定基站为载体平台，通过集成双目工业级全景相机快速进行实景影像的获取，生成全景影像；姿态测量系统实时获取相机姿态信息，所述相机姿态信息包括GPS获取的双目摄像头实时位置信息和电子云台获取的双目摄像头实时外方位参数信息；步骤3：基于YOLO(YouOnlyLookOnce)模型实现地理对象自动目标检测，包括以下步骤：步骤3.1：对规模样本进行对象分类、标签定义；步骤3.2：在现有YOLO基本模型的基础上根据需求改进，构建并训练适用于目标需求的深度学习目标检测模型；步骤3.3：将该目标检测模型应用于目标地理对象的监测中；步骤4：基于两台相机及一个方位的空间交会(SpaceIntersectofTwoCamerasandOneLocation，SITCOL)算法实现影像像素框反算地理像素框，包括以下步骤：步骤4.1：根据YOLO算法识别出的地理对象得出识别框像素坐标，通过使用尺度不变特征变换(Scale-invariantfeaturetransform，SIFT)对双目摄像头获取的同一曝光时刻的两张照片进行特征点提取和特征点匹配；步骤4.2：通过随机抽样一致算法(randomsampleconsensus，RANSAC)消除错误匹配以减小误差；步骤4.3：:基于匹配获得的两幅影像上同一个对象的外包矩形框利用数字摄影测量中前方交会方法实现对象的地理定位，计算其空间坐标；步骤5：单一对象多空间位置点拟合最佳位置点。为优化上述技术方案，采取的具体措施还包括：步骤1中，所述2台可变焦枪式相机用于于双目连接杆保持刚性连接、保持同步变焦；所述电动云台安装于固定杆末端，并与双目连接杆中心连接，用于旋转2台可变焦枪式相机；通过测量设备标定所述固定杆末端的地理位置坐标，经由旋转角度、双目基线长度即可反算出两个相机的准确地理位置坐标。步骤2中，所述全景影像采用固定基站安装双目相机的方式进行拍摄；固定基站相机集成了定位定姿系统、全景信息采集系统、电源系统和计算机数据处理系统。步骤3.2包括以下步骤：步骤3.2.1：将输入图片resize到448x448并送入CNN网络；步骤3.2.2：卷积神经网络(ConvolutionalNeuralNetwork，CNN)将输入的图片分割成S×S网格，然后每个单元格负责去检测那些中心点落在该格子内的目标；步骤3.2.3：YOLO采用卷积网络来提取特征，使用全连接层得到预测值，处理网络预测结果得到检测的目标。步骤4.2中，RANSAC算法在一组包含“外点”的数据集中，采用不断迭代的方法，寻找最优参数模型。步骤4.3具体为：对于多张具有立体重叠的相邻站点序列影像，姿态测量系统(PositionandOrientationSystem，POS)系统为每张序列立体影像提供了高精度的外方位元素，为了获得立体重叠范围内高精度的地面点坐标，利用像片的外方位元素以及同名像素点在两张影像上的像素坐标，采用前方交会公式解算地面点坐标。本专利技术具有以下有益效果：本专利技术借鉴国内外固定基站测量系统相关技术及其最新研究成果，分析现有固定基站测量系统的工作机理；重点研究固定基站测图系统数据处理方面的关键技术，包括固定站采集硬件配置设计、影像采集方法、地理对象自动目标检测算法、影像像素框反算地理像素框算法和单一对象多空间位置点拟合最佳位置点算法。本专利技术使固定基站测图系统的理论与工程应用相结合，探究固定基站测量系统的基础理论，研究固定基站系统的校验方法，解决基于塔基视频获取的序列影像的匹配与立体定位等方法，从而实现快速获取地理对象的地理坐标，为巡检工作提供方法支撑。本专利技术在巡查监管领域可广泛应用，有效降低人工目标查看工作量、提升巡查效率，减少人力财力的消耗，在实际应用中具有较好的应用价值。附图说明图1为本专利技术流程图；图2为本专利技术固定基站集成硬件配置图；图3为本专利技术实施例YOLO整体系统图；图4为本专利技术实施例网格划分图；图5为本专利技术实施例网络结构图；图6为本专利技术实施例立体相对空间对象匹配图；图7为本专利技术实施例SITCOL前方交会原理图；图8为本专利技术实施例多图融合寻找最佳位置点图。具体实施方式以下结合附图对本专利技术的实施例作进一步详细描述。参见图1，本专利技术的一种基于YOLO-SITCOL的固定站自动目标检测与空间定位方法，包括以下步骤：步骤1：固定站采集硬件配置，如图2所示，固定站采集硬件以固定基站作为采集平台，采用2台集成可变焦枪式相机、双目连接杆、电动云台、固定杆、供电线路、计算机设备来完成对地理对象的自动检测与定位；实施例中，2台可变焦枪式相机用于于双目连接杆保持刚性连接、保持同步变焦；所述电动云台安装于固定杆末端，并与双目连接杆中心连接，用于旋转2台可变焦枪式相机；通过测量设备标定所述固定杆末端的地理位置坐标，经由旋转角度、双目基线长度即可反算出两个相机的准确地理位置坐标。步骤2：影像采集，包括以固定基站为载体平台，通过集成双目工业级全景相机快速进行实景影像的获取，生成全景影像；姿态测量系统实时获取相机姿态信息，相机姿态信息包括GPS获取的双目摄像头实时位置信息和电子云台获取的双目摄像头实时外方位参数信息；实施例中，全景影像采用固定基站安装双目相机的方式进行拍摄；固定基站相机集成了定位定姿系统、全景信息采集系统、电源系统和计算机数据处理系统。本系统能快速进行实景影像的获取，并可以实现全景影像生成以及GPS位置信息的采集，可充分挖掘全景图像蕴含的空间信息。步骤3：基于YOLO算法实现地理对象自动目标检测，包括以下步骤：步骤3.1：对规模样本进行对象分类、标签定义；步骤3.2：在现有YOLO基本模型的基础上根据需求改进，构建并训练适用于目标需求的深度学习目标检测模型；步骤3.3：将该目标检测模型应用于目标地理对象的监测中。实施例中，顾及目标检测算法对样本规模的要求，除通过固定基站双目摄像头拍照方式采集数据外，还通过互联网爬虫、样本翻折旋转等方式进行样本数量的增加；步骤3.2使用YOL本文档来自技高网...

【技术保护点】
1.基于YOLO‑SITCOL的固定站自动目标检测与空间定位方法，其特征在于：包括以下步骤：步骤1：固定站采集硬件配置，所述固定站采集硬件以固定基站作为采集平台，采用2台集成可变焦枪式相机、双目连接杆、电动云台、固定杆、供电线路、计算机设备来完成对地理对象的自动检测与定位；步骤2：影像采集，包括以固定基站为载体平台，通过集成双目工业级全景相机快速进行实景影像的获取，生成全景影像；姿态测量系统实时获取相机姿态信息，所述相机姿态信息包括GPS获取的双目摄像头实时位置信息和电子云台获取的双目摄像头实时外方位参数信息；步骤3：基于YOLO算法实现地理对象自动目标检测，包括以下步骤：步骤3.1：对规模样本进行对象分类、标签定义；步骤3.2：在现有YOLO基本模型的基础上根据需求改进，构建并训练适用于目标需求的深度学习目标检测模型；步骤3.3：将该目标检测模型应用于目标地理对象的监测中；步骤4：基于SITCOL算法实现影像像素框反算地理像素框，包括以下步骤：步骤4.1：根据YOLO算法识别出的地理对象得出识别框像素坐标，通过使用SIFT对双目摄像头获取的同一曝光时刻的两张照片进行特征点提取和特征点匹配；步骤4.2：通过RANSAC算法消除错误匹配以减小误差；步骤4.3：基于匹配获得的两幅影像上同一个对象的外包矩形框利用数字摄影测量中前方交会方法实现对象的地理定位，计算其空间坐标；步骤5：单一对象多空间位置点拟合最佳位置点。...

【技术特征摘要】
1.基于YOLO-SITCOL的固定站自动目标检测与空间定位方法，其特征在于：包括以下步骤：步骤1：固定站采集硬件配置，所述固定站采集硬件以固定基站作为采集平台，采用2台集成可变焦枪式相机、双目连接杆、电动云台、固定杆、供电线路、计算机设备来完成对地理对象的自动检测与定位；步骤2：影像采集，包括以固定基站为载体平台，通过集成双目工业级全景相机快速进行实景影像的获取，生成全景影像；姿态测量系统实时获取相机姿态信息，所述相机姿态信息包括GPS获取的双目摄像头实时位置信息和电子云台获取的双目摄像头实时外方位参数信息；步骤3：基于YOLO算法实现地理对象自动目标检测，包括以下步骤：步骤3.1：对规模样本进行对象分类、标签定义；步骤3.2：在现有YOLO基本模型的基础上根据需求改进，构建并训练适用于目标需求的深度学习目标检测模型；步骤3.3：将该目标检测模型应用于目标地理对象的监测中；步骤4：基于SITCOL算法实现影像像素框反算地理像素框，包括以下步骤：步骤4.1：根据YOLO算法识别出的地理对象得出识别框像素坐标，通过使用SIFT对双目摄像头获取的同一曝光时刻的两张照片进行特征点提取和特征点匹配；步骤4.2：通过RANSAC算法消除错误匹配以减小误差；步骤4.3：基于匹配获得的两幅影像上同一个对象的外包矩形框利用数字摄影测量中前方交会方法实现对象的地理定位，计算其空间坐标；步骤5：单一对象多空间位置点拟合最佳位置...

【专利技术属性】
技术研发人员：陈磊，鞠彪，沈周，刘笑笑，卜磊，
申请(专利权)人：南京国图信息产业有限公司，
类型：发明
国别省市：江苏,32