【技术实现步骤摘要】
本专利技术涉及一种用于导盲飞行器的目标对象检测及辅助跟踪定位方法，属于导盲飞行器。
技术介绍
1、在盲人的日常出行中，由于他们失去了视觉感知能力，只能通过其他器官与外界建立联系，这给他们的生活带来了很多困扰和不便。为盲人提供安全可靠，智能高效的出行保障，是社会进步的重要标志。随着人们生活水平的不断提高，社会信息化的快速发展，盲人对提高生活独立性，融入社会的愿望越来越强烈，从而对导盲机器人的性能指标提出了更高的要求，适应复杂地形环境、构建更智能的导盲系统与社会深入共融是导盲机器人的必然发展趋势。50多年来，全球科研人员不断尝试通过导盲机器人帮助盲人导航，提高盲人生活质量。
2、传统的导盲杖和导盲犬受外界因素影响很大，容易发生意外，而新兴的导盲设备的出现解决了传统导盲工具的一些弊端。目前功能较为完善的导盲机器人可以分为智能导盲杖、穿戴式导盲设备和移动式导盲机器人三类，但上述导盲设备都有各自的弊端。智能导盲仗受限于路面状况、视野范围小，需要人手拿持，长时间使用会带来累赘感；穿戴式导盲设备在使用过程中容易对盲人的行动造成干扰，需考虑穿戴重量和穿戴舒适度，传感器容易发生移位且易受衣物的遮挡，会导致导盲效果下降；移动式导盲机器人容易受到地形地貌的影响，可能导致机器人越障能力欠缺，无法适用于某些出行场景。
技术实现思路
1、本专利技术提供了一种用于导盲飞行器的目标对象检测及辅助跟踪定位方法，以用于实现用于导盲飞行器的目标对象检测，并进一步基于检测的结果依据辅助跟踪定位方法获得所需目标
2、本专利技术的技术方案是：
3、根据本专利技术的第一方面，提供了一种用于导盲飞行器的目标对象检测方法，包括：获取视频流信息；将视频流信息输入训练好的目标检测模型用于检测目标对象，输出目标对象的像素中心点的坐标信息、第一检测框及类别；将目标对象的坐标信息、第一检测框作为deepsort目标追踪模块的输入，以预设帧数为id分配周期，为每个目标对象分配唯一id，获得目标对象的id及带坐标信息的第二检测框。
4、所述目标检测模型采用yolov5网络结构；包括输入端、backbone、neck、prediction四个部分；其中输入端使用了mosaic数据增强、自适应锚框计算、自适应图片缩放；backbone采用了focus结构和csp结构，在不同图像细粒度上聚合并形成图像特征的卷积神经网络；neck使用了fpn+pan网络结构，得到一系列混合和组合图像特征的网络层，并将图像特征传递到prediction；prediction采用了giou_loss损失函数，对图像特征进行预测，生成带坐标信息的第一检测框及预测类别。
5、所述智能导盲飞行器，包括导盲飞行器主体及搭载在飞行器上的智能调控系统，导盲飞行器主体包括起落架、机身下板、机臂、机身上板、电机、螺旋桨，其中起落架与机身下板、机臂连接，机臂和机身上板、电机连接，电机和螺旋桨连接；智能调控系统包括调整飞行器位姿的飞控、检测飞行器周围是否有障碍物的超声波传感器、实时处理摄像头拍摄图像并将用户周围的障碍物信息反馈给语音系统的机载计算机、获取用户当前位置信息的gps传感器、获取实时图像的双目摄像头。
6、根据本专利技术的第二方面，提供了一种用于导盲飞行器的辅助跟踪定位方法，依据上述中任一项所述的用于导盲飞行器的目标对象检测方法获得目标对象的id及带坐标信息的第二检测框；通过鼠标响应事件记录盲人所分配到的id，调用双目视觉算法获取像素点图像的深度信息，根据id列表和盲人id对应的像素坐标信息的深度得到盲人和其它目标对象的三维世界坐标，将获得的三维世界坐标代入三维距离解算模型得到除盲人外的id对应的其它目标对象与盲人的距离与方向。
7、本专利技术的有益效果是：本专利技术填补了导盲飞行器用于目标对象检测及跟踪定位的空缺，一方面本专利技术依据目标检测模型可以获得所需目标对象的中心点的坐标信息、第一检测框及类别；另一方面，本专利技术可以依据目标对象的中心点的坐标信息、第一检测框，获得所需目标对象盲人的距离与方向，基于获得的所需目标对象盲人的距离与方向，可以实现将所需要目标对象的距离和方向进行播报以辅助盲人行走。
本文档来自技高网...【技术保护点】
1.一种用于导盲飞行器的目标对象检测方法，其特征在于，包括：
2.根据权利要求1所述的用于导盲飞行器的目标对象检测方法，其特征在于，所述目标检测模型采用YOLOv5网络结构；包括输入端、Backbone、Neck、Prediction四个部分；其中输入端使用了Mosaic数据增强、自适应锚框计算、自适应图片缩放；Backbone采用了Focus结构和CSP结构，在不同图像细粒度上聚合并形成图像特征的卷积神经网络；Neck使用了FPN+PAN网络结构，得到一系列混合和组合图像特征的网络层，并将图像特征传递到Prediction；Prediction采用了GIOU_Loss损失函数，对图像特征进行预测，生成带坐标信息的第一检测框及预测类别。
3.根据权利要求1所述的用于导盲飞行器的目标对象检测方法，其特征在于，所述智能导盲飞行器，包括导盲飞行器主体及搭载在飞行器上的智能调控系统，导盲飞行器主体包括起落架、机身下板、机臂、机身上板、电机、螺旋桨，其中起落架与机身下板、机臂连接，机臂和机身上板、电机连接，电机和螺旋桨连接；智能调控系统包括调整飞行器位姿的飞控、检测
4.一种用于导盲飞行器的辅助跟踪定位方法，其特征在于，依据权利要求1-3中任一项所述的用于导盲飞行器的目标对象检测方法获得目标对象的ID及带坐标信息的第二检测框；通过鼠标响应事件记录盲人所分配到的ID，调用双目视觉算法获取像素点图像的深度信息，根据ID列表和盲人ID对应的像素坐标信息的深度得到盲人和其它目标对象的三维世界坐标，将获得的三维世界坐标代入三维距离解算模型得到除盲人外的ID对应的其它目标对象与盲人的距离与方向。
...【技术特征摘要】
1.一种用于导盲飞行器的目标对象检测方法，其特征在于，包括：
2.根据权利要求1所述的用于导盲飞行器的目标对象检测方法，其特征在于，所述目标检测模型采用yolov5网络结构；包括输入端、backbone、neck、prediction四个部分；其中输入端使用了mosaic数据增强、自适应锚框计算、自适应图片缩放；backbone采用了focus结构和csp结构，在不同图像细粒度上聚合并形成图像特征的卷积神经网络；neck使用了fpn+pan网络结构，得到一系列混合和组合图像特征的网络层，并将图像特征传递到prediction；prediction采用了giou_loss损失函数，对图像特征进行预测，生成带坐标信息的第一检测框及预测类别。
3.根据权利要求1所述的用于导盲飞行器的目标对象检测方法，其特征在于，所述智能导盲飞行器，包括导盲飞行器主体及搭载在飞行器上的智能调控...
【专利技术属性】
技术研发人员：任汝丹，高贯斌，刘张驰，杨德心，舒杰，廖如玉，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。