【技术实现步骤摘要】
本专利技术涉及水面探查、水面救援和水面预警领域，是一种面向水面应急救援的人体目标精准感知方法及系统。
技术介绍
1、2023年7月13日，大疆公布的最新“无人机救援地图”统计数据显示，全球范围内已有逾1000人在由无人机直接参与的救援任务中获救。这表明，无人机已经成为世界应急救援新体系中的重要科技力量。2023年12月29日，应急管理部，工业和信息化部《关于加快应急机器人发展的指导意见》指出：针对应急机器人多功能集成化的需求，研制一批高性能载荷，加强环境感知及目标侦察类载荷研究，提升机器人高效搜索类作业的能力。无人机因其优秀的机动性、低廉的成本，成为应急搜救机器人的重要发展方面，强化无人机侦察搜救技术不仅是推进应急能力现代化的重要基石，还是全国人民生命财产安全的重要保障。传统的单一的图像传感器往往难以独立地从场景中提取足够且充分的目标信息。在无人机搭载双光融合的基础上，采用红外和可见光图像融合技术，提取红外图像和可见光图像的特征并加以融合，能够得到一副目标显著且纹理细节丰富的图像。针对水面人体目标精准感知分为目标检测、定位两个基础模块，同时在此基础上增加了状态评估模块。本专利技术以双光融合蕴含丰富信息和特征点的图像为基础实现上述功能，完成对水面人体目标的精准感知。
技术实现思路
1、本专利技术提出面向水面应急救援的人体目标精准感知方法及系统。首先设定待探查区域的范围约束，对疑似目标进行视频序列图像拍摄；然后对图像人体目标识别问题进行模型建立，完成目标检测；再对视频序列图像进行算法构
2、为了实现上述目的，本专利技术实施提供的技术方案如下：
3、一种面向水面应急救援的人体目标精准感知方法，所述方法包括：
4、s1、设定待探查区域的范围约束，对疑似目标进行视频序列图像拍摄；
5、s2、对图像人体目标识别问题进行模型建立，完成目标检测；
6、s3、对视频序列图像进行算法构建，针对目标完成定位；
7、s4、设定多模态特征融合模块进行目标的行为识别，完成目标状态评估；
8、s5、动态更新目标的状态量，对区域内的人体目标实现有效探查。
9、进一步说明，所述步骤s1具体为：
10、s11、设定一个不规则水域区域，边界为l；
11、s12、设置疑似目标的总数量nt，并初始化各个疑似目标的状态量，包括疑似目标位置(tx_i,ty_i)、疑似目标待探查次数tr_i、疑似目标初始探查角度ta_i以及疑似目标探查变化阈值(trc_i,tac_i)，其中i表示第i个疑似目标，取值范围为[1,nt]；
12、s13、基于机载双光融合摄像仪进行红外和可见光的视频序列图像拍摄。
13、进一步说明，所述步骤s2具体为：
14、s21、为了更好地描述图像融合和目标检测的联合问题，将视频序列图像视为集合，并以此来阐释基于双层优化模型的人体目标检测的问题设置；
15、s22、假设红外图像、可见光图像和融合图像都是灰度图像，尺寸都为m×n，分别用列向量x,y和u∈rmn×1表示，构建双层优化模型；
16、
17、为检测特定的训练损失，u*为输出结果图像，ψ为具有可学习参数ωd的检测网络；f(·)是一个基于能量的保真度项，包含融合图像u，源图像x和y，gt(·)和gd(·)分别是在红外和可见光上定义的两个可行性约束。
18、s23、将模型展开为一个双对抗融合网络，由一个生成器和两个目标感知判别器以及一个常用的检测网络组成；
19、s24、生成器生成融合图像，目标判别器评估红外图像与融合图像的强度一致性，细节判别器区分可见光图像与融合图像的梯度分布；
20、s25、输出面向检测的融合图像，将其导入到yolov5的检测网络中，完成目标检测。
21、进一步说明，所述步骤s3具体为：
22、s31、根据视频帧的pos数据从区域数字正射影像图(region-digital orthophotomap，region-dom)中提取基准数字正射影像图(datum-digital orthophoto map，datum-dom)，并以此替换region-dom作为视频帧的新匹配区域；
23、s32、统一datum-dom和视频帧的空间分辨率，datum-dom的比例为：
24、
25、表示缩放datum-dom的大小，imgd表示原始datum-dom的大小，scaled＝gsdd/gsdf，gsdd为原始datum-dom的空间分辨率，gsdf为视频帧的空间分辨率；
26、s33、根据视频帧影像图和datum-dom在rgb色彩空间中的相似度，找出视频帧在datum-dom上的最佳匹配区域。假设(xl1,yl1)为rgb色彩空间中datum-dom上视频帧最佳匹配区域左上角的像素坐标，(xl1,yl1)可得：
27、
28、和分别为视频帧的r、g、b信道的强度；和分别为datum-dom通道r、g、b的强度；(x,y)为视频帧中的像素坐标，x＝(1,2,…,nlf)，y＝(1,2,…,nwf)；(△x1,△y1)为视频帧左上角在datum-dom中的像素坐标，△x1＝(1,2,…,nld-nlf)，△y1＝(1,2,…,nwd-nwf)；nlf和nwf分别为视频帧的长度和宽度，以像素为单位；nld和nwd分别为datum-dom的长度和宽度，单位为像素；nf为视频帧的总像素数，nf＝nlfnwf；
29、s34、根据两幅图像在梯度幅度空间上的相似度，找出视频帧在datum-dom上的最佳匹配区域。假设(xl2,yl2)为梯度幅度空间中datum-dom上视频帧最佳匹配区域左上角的像素坐标，(xl2,yl2)可得：
30、
31、fx(x,y)和fy(x,y)为视频帧分别在x和y方向上的偏导数；dx(△x2+x,△y2+y)和dy(△x2+x,△y2+y)分别是datum-dom在x和y方向上的一阶偏导数；(x,y)为视频帧中的像素坐标，x＝(1,2,…,nlf)，y＝(1,2,…,nwf)；(△x2,△y2)为datum-dom中视频帧左上角的像素坐标，△x2＝(1,2,…,nld-nlf)，△y2＝(1,2,…,nwd-nwf)；nlf和nwf分别为视频帧的长度和宽度，以像素为单位；nld和nwd分别为datum-dom的长度和宽度，单位为像素；
32、s35、构建同时考虑视频帧色差和纹理复杂性的鲁棒块匹配算法，设综合表示视频帧色差幅度和纹理复杂度的符号为th，并选择阈值20来判断th。(xl,yl)为块匹配算法得到的最佳匹配区域的左上角坐标，可计算为：
33、...
【技术保护点】
1.一种面向水面应急救援的人体目标精准感知方法，其特征在于，包括如下：
2.根据权利要求1所述的一种面向水面应急救援的人体目标精准感知方法，其特征在于，所述S1的具体实现包括：
3.根据权利要求1所述的一种面向水面应急救援的人体目标精准感知方法，其特征在于，所述S2的具体实现包括：
4.根据权利要求1所述的一种面向水面应急救援的人体目标精准感知方法，其特征在于，所述S3的具体实现包括：
5.根据权利要求1所述的一种面向水面应急救援的人体目标精准感知方法，其特征在于，还包括：S4、目标行为的识别，完成目标状态评估。
6.根据权利要求5所述的一种面向水面应急救援的人体目标精准感知方法，其特征在于，所述S4的具体实现包括：
7.根据权利要求5或6所述的一种面向水面应急救援的人体目标精准感知方法，其特征在于，还包括：S5、动态更新目标的状态量，对区域内的人体目标实时探查并救援。
8.根据权利要求7所述的一种面向水面应急救援的人体目标精准感知方法，其特征在于，所述S5的具体实现包括：
9.一种面
10.根据权利要求9所述的感知系统，其特征在于，所述视觉传感器采用双光融合摄像仪。
...【技术特征摘要】
1.一种面向水面应急救援的人体目标精准感知方法，其特征在于，包括如下：
2.根据权利要求1所述的一种面向水面应急救援的人体目标精准感知方法，其特征在于，所述s1的具体实现包括：
3.根据权利要求1所述的一种面向水面应急救援的人体目标精准感知方法，其特征在于，所述s2的具体实现包括：
4.根据权利要求1所述的一种面向水面应急救援的人体目标精准感知方法，其特征在于，所述s3的具体实现包括：
5.根据权利要求1所述的一种面向水面应急救援的人体目标精准感知方法，其特征在于，还包括：s4、目标行为的识别，完成目标状态评估。
6.根据...
【专利技术属性】
技术研发人员：何忱远，朱天祥，张洲宇，马鹏博，杨一凡，徐展，陈龙，王海，蔡英凤，黄风华，
申请(专利权)人：江苏大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。