【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及视觉导航高性能图像处理方法、装置、设备及介质。
技术介绍
1、基于计算机视觉的无人机视觉导航技术可被定义为：无人机在飞行过程中以电荷耦合组件ccd摄像机获取图像，使其具备与外界环境交互的能力，并对图像加以处理，进而获得无人机的位置和姿态等导航信息。
2、随着深度学习和计算机视觉的发展，对于图像处理的速度和性能要求也越来越高。无人机在使用视觉导航执行任务的时候，由于无人机飞行速度快、地面信息变化快并且能够携带的设备体积散热有限，所以对图像处理的速度和性能要求也越来越高。无人机需要采集最新的图像信息，根据图像信息来导航，且对图像的实时性要求高。而现有的视觉导航图像处理技术存在图像处理速度较慢，较难实现实时处理的问题。
技术实现思路
1、有鉴于此，本专利技术的目的是提供视觉导航高性能图像处理方法、装置、设备及介质，以至少解决现有的视觉导航图像处理技术存在图像处理速度较慢，较难实现实时处理的问题。
2、本专利技术通过以下技术手段解决上述技术问题：
3、第一方面，本专利技术提供了一种视觉导航高性能图像处理方法，包括：
4、获取无人机上搭载的视觉采集传感器拍摄到的原始图像，判断原始图像模态，并决定是否需要目标检测；
5、根据目标识别检测或者语义分割的要求对原始图像进行前处理；
6、将已完成前处理的原始图像以后进先出的格式传入推理队列，所述推理队列用于暂存完成前处理的原始图像，且保证推理队列的
7、对推理队列首端的原始图像进行目标识别检测或者目标识别检测和语义分割或者语义分割，采用npu进行计算加速，解算出位姿参数；
8、对已处理完的图像队列，进行后处理计算，采用硬件并发计算，加速相同的计算步骤的计算。
9、通过上述技术方案，不断对无人机上搭载的视觉采集传感器拍摄到的原始图像进行前处理，不用关注之后的模块是否还在处理之前的图像。将前处理不断处理的结果以后进先出的格式传入推理队列，保证推理队列的首端一定是最新拍摄的原始图像，即保证处理的是最新拍摄到的原始图像，从而获得最新的位姿信息，解决实时处理的问题，以便为视觉导航提供依据。位姿解算模块，不断从推理队列中取出图像数据，进行推理，将上一张图像数据推理后的结果交给计算模块进行结果的计算和拟合，交付后立即开始推理下一张图像。模块间采用流水线，模块内计算过程采用多核并发计算，通过使用加锁机制，以及信号量机制，能避免对相同资源和变量的竞争，达到每一步的操作都具有原子性，从而使得在加速计算中，确保数据的有效性和正确性。在保证数据操作的正确性的前提下，能很大程度的加速各个流程的计算速度，从而减少整个流程的运算时间。
10、结合第一方面，在一些可选的实施方式中，
11、所述根据目标识别检测或者语义分割的要求对原始图像进行前处理，包括：
12、循环获取原始图像，不等待之后处理；
13、识别原始图像的格式和尺寸；
14、判断比较原始图像的格式和尺寸是否符合目标检测和语义分割的要求，如果不符合要求，则对原始图像的格式和尺寸进行修改处理。
15、处理完后，将数据放入推理队列首端，然后立即开始下一张原始图像的判别和前处理。
16、结合第一方面，在一些可选的实施方式中，
17、所述对推理队列首端的原始图像进行目标识别检测或者目标识别检测和语义分割或者语义分割，采用npu进行计算加速，解算出位姿参数，包括：
18、在进行之后图像前处理的同时，将前面处理好的图像，加入到推理队列首端；
19、对推理队列首端的原始图像进行目标识别检测和语义分割处理，并使用npu硬件多核单元将大体量复杂的计算，分解为多数量小体量简单计算工作，由多个运算单元同时并发进行计算，识别分割出左边缘线和右边缘线；
20、根据左边缘线和右边缘线在像素中的坐标计算出中线的像素坐标，进而拟合计算出中线的斜率；
21、计算跑道左边缘线、右边缘线与底边相交点的像素坐标和中线坐标；
22、基于像素坐标和中线坐标，以及无人机状态参数，解算出无人机的位姿。
23、结合第一方面，在一些可选的实施方式中，所述基于像素坐标和中线坐标，以及无人机状态参数，解算出无人机的位姿，包括：
24、将像素坐标和中线坐标传入位姿解算算法；
25、根据跑道端头的像素长度l和实际宽度w，通过坐标系转换与比例关系，得到直线距离tx、侧偏距ty、相对高度tz。
26、第二方面，本专利技术提供了一种视觉导航高性能图像处理装置，包括：
27、图像获取模块，用于获取无人机上搭载的视觉采集传感器拍摄到的原始图像，判断原始图像模态，并决定是否需要目标检测；
28、前处理模块，用于根据目标识别检测或者语义分割的要求对原始图像进行前处理；
29、排序暂存模块，用于将完成前处理的原始图像以后进先出的格式传入推理队列，所述推理队列用于暂存完成前处理的原始图像，且保证推理队列的首端一定是最新拍摄的原始图像；
30、位姿解算模块，用于对推理队列首端的原始图像进行目标识别检测或者目标识别检测和语义分割或者语义分割，采用npu进行计算加速，解算出位姿参数；
31、图像后处理模块，用于对已处理完的图像队列，进行后处理计算，采用硬件并发计算，加速相同的计算步骤的计算。
32、结合第二方面，在一些可选的实施方式中，所述位姿解算模块包括：
33、图像加入单元，用于在进行之后图像前处理的同时，将前面处理好的图像，加入到推理队列首端；
34、识别分割单元，用于对推理队列首端的原始图像进行目标识别检测和语义分割处理，并使用npu硬件多核单元将大体量复杂的计算，分解为多数量小体量简单计算工作，由多个运算单元同时并发进行计算，识别分割出左边缘线和右边缘线；
35、第一计算单元，用于根据左边缘线和右边缘线在像素中的坐标计算出中线的像素坐标，进而拟合计算出中线的斜率；
36、第二计算单元，用于计算跑道左边缘线、右边缘线与底边相交点的像素坐标和中线坐标；
37、解算位姿单元，用于基于像素坐标和中线坐标，以及无人机状态参数，解算出无人机的位姿。
38、第三方面，本专利技术提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现上述的视觉导航高性能图像处理方法。
39、第四方面，本专利技术提供了一种计算机可读存储介质，所述可读存储介质中包含有至少一段计算机程序，所述至少一段计算机程序被设置为运行时执行以实现上述的视觉导航高性能图像处理方法。
40、可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面的相关描述，在此不在赘述。
本文档来自技高网...【技术保护点】
1.视觉导航高性能图像处理方法，其特征在于，包括：
2.根据权利要求1所述的视觉导航高性能图像处理方法，其特征在于，所述根据目标识别检测或者语义分割的要求对原始图像进行前处理，包括：
3.根据权利要求1所述的视觉导航高性能图像处理方法，其特征在于，所述对推理队列首端的原始图像进行目标识别检测或者目标识别检测和语义分割或者语义分割，采用NPU进行计算加速，解算出位姿参数，包括：
4.根据权利要求3所述的视觉导航高性能图像处理方法，其特征在于，所述基于像素坐标和中线坐标，以及无人机状态参数，解算出无人机的位姿，包括：
5.视觉导航高性能图像处理装置，其特征在于，包括：
6.根据权利要求5所述的视觉导航高性能图像处理装置，其特征在于，所述位姿解算模块包括：
7.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1-5任一项所述的视觉导航高性能图像处理方法。
8.一种计算机可读存储介质，其特征在于，所述可读存储介质
...【技术特征摘要】
1.视觉导航高性能图像处理方法，其特征在于，包括：
2.根据权利要求1所述的视觉导航高性能图像处理方法，其特征在于，所述根据目标识别检测或者语义分割的要求对原始图像进行前处理，包括：
3.根据权利要求1所述的视觉导航高性能图像处理方法，其特征在于，所述对推理队列首端的原始图像进行目标识别检测或者目标识别检测和语义分割或者语义分割，采用npu进行计算加速，解算出位姿参数，包括：
4.根据权利要求3所述的视觉导航高性能图像处理方法，其特征在于，所述基于像素坐标和中线坐标，以及无人机状态参数，解算出无人机的位姿，包括：
...【专利技术属性】
技术研发人员：王兰春，袁菱江，方保平，杨鑫杰，
申请(专利权)人：成都九天智飞科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。