一种深度图处理方法、装置和无人机制造方法及图纸

本发明专利技术实施例涉及一种深度图处理方法、装置和无人机，所述深度图处理方法包括：S1、对图像采集装置采集的目标区域的图像进行校正；S2、对图像进行双目匹配，以获得所述目标区域的深度图；S3、根据所述深度图，获取所述无人机周围的障碍物分布；该方法还包括：在执行以上各步骤之前，获取各步骤的执行时间；根据所述各步骤的执行时间，建立至少两个线程和至少一个环形队列，由所述至少两个线程分别执行所述各个步骤，以降低总的执行时间。由所述至少两个线程分别执行所述深度图处理的各个步骤，各个线程可以通过至少一个环形队列获得其他线程的处理结果。通过加入环形队列，多线程并行运行的方式，解决了图像处理阻塞的问题、降低了延时。

【技术实现步骤摘要】
一种深度图处理方法、装置和无人机
本专利技术实施例涉及无人机
，特别涉及一种深度图处理方法、装置和无人机。
技术介绍
无人机在自主飞行过程中，要躲避障碍物飞行，因此需要对障碍物的位置进行检测，从而使无人机能根据障碍物的位置采取避障措施。目前，无人机多采用视觉系统(例如单目视觉系统、双目视觉系统等)进行障碍物位置检测，其利用摄像装置拍摄无人机周围区域的图像，并对所述图像进行处理来确定周围障碍物的位置信息。然后，无人机根据自身的速度、姿态和所述障碍物的位置信息等采取绕行、减速或暂停等避障措施来躲避障碍物。实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：无人机在进行图像处理及根据处理结果执行避障措施时，如果图像采集的帧率较高，容易造成图像处理阻塞，从而导致延时较大。
技术实现思路
本专利技术实施例的目的是提供一种深度图处理方法、装置和无人机，能改善无人机利用视觉系统过程中图像处理阻塞、延时大的问题。第一方面，本专利技术实施例提供了一种深度图处理方法，用于无人机的控制器，所述无人机还包括图像采集装置，所述图像采集装置与所述控制器通信连接，所述方法包括：S1、对所述图像采集装置采集的目标区域的图像进行校正；S2、对所述图像进行双目匹配，以获得所述目标区域的深度图；S3、根据所述深度图，获取所述无人机周围的障碍物分布；该方法还包括：在执行所述步骤S1、所述步骤S2和所述步骤S3之前，获取所述步骤S1的执行时间、所述步骤S2的执行时间和所述步骤S3的执行时间；根据所述步骤S1的执行时间、所述步骤S2的执行时间和所述步骤S3的执行时间，建立至少两个线程和至少一个环形队列，由所述至少两个线程分别执行所述步骤S1、所述步骤S2和所述步骤S3，以降低总的执行时间；其中，执行相邻步骤的两个线程中，执行前一步骤的线程的处理结果送至所述环形队列，执行后一步骤的线程从所述环形队列中取出所述处理结果并根据所述处理结果执行所述后一步骤。在一些实施例中，所述根据所述步骤S1的执行时间、所述步骤S2的执行时间和所述步骤S3的执行时间，建立至少两个线程和至少一个环形队列，由所述至少两个线程分别执行所述步骤S1、所述步骤S2和所述步骤S3，以降低总的执行时间，包括：判断所述步骤S1、所述步骤S2以及所述步骤S3的执行时间之和是否满足第一预设条件；若是，则建立第一线程、第二线程和第一环形队列，由所述第一线程和所述第二线程分别执行所述步骤S1、所述步骤S2和所述步骤S3；其中，所述第一线程和所述第二线程中，执行前一步骤的线程的处理结果送至所述第一环形队列，执行后一步骤的线程从所述第一环形队列中取出所述处理结果并根据所述处理结果执行所述后一步骤。在一些实施例中，所述第一预设条件为：所述步骤S1、所述步骤S2以及所述步骤S3的执行时间之和大于预设值。在一些实施例中，所述预设值为1000/P，其中，P为图像帧率。在一些实施例中于，所述第一线程执行所述步骤S1、所述步骤S2以及所述步骤S3中的两个步骤，所述第二线程执行所述步骤S1、所述步骤S2以及所述步骤S3中的一个步骤；所述若所述步骤S1、所述步骤S2以及所述步骤S3的执行时间之和满足第一预设条件，则建立第一线程、第二线程和第一环形队列，由所述第一线程和所述第二线程分别执行所述步骤S1、所述步骤S2和所述步骤S3，包括：判断所述第一线程执行的两个步骤的执行时间之和是否满足第二预设条件；若是，则建立第三线程和第二环形队列，由所述第一线程和所述第三线程分别执行所述两个步骤；其中，所述第一线程和所述第三线程中，执行前一步骤的线程的处理结果送至所述第二环形队列，执行后一步骤的线程从所述第二环形队列中取出所述处理结果并根据所述处理结果执行所述后一步骤。在一些实施例中，所述第二预设条件为所述第一线程执行的两个步骤的执行时间之和大于预设值。在一些实施例中，所述预设值为1000/P，其中，P为图像帧率。在一些实施例中，所述控制器包括硬件加速通道，所述图像采集装置包括至少两组双目单元；则，所述对所述图像进行双目匹配，以获得所述目标区域的深度图，包括：将所述至少两组双目单元采集的图像送至所述硬件加速通道，通过时分复用所述硬件加速通道，对所述至少两组双目单元采集的图像进行双目匹配，以获得所述深度图。在一些实施例中，所述硬件加速通道的数量为至少两个，在所述至少两组双目单元采集的图像中包括分辨率为第一分辨率的图像组和分辨率为第二分辨率的图像组，其中，所述第二分辨率大于所述第一分辨率；则，所述对所述图像进行双目匹配，以获得所述目标区域的深度图，包括：将分辨率为所述第二分辨率的图像组送至所述至少两个硬件加速通道中的其中一个进行双目匹配，以获得与之对应的深度图；将分辨率为第一分辨率的图像组送至所述至少两个硬件加速通道中的另一个进行双目匹配，以获得与之对应的深度图。在一些实施例中，所述硬件加速通道的数量为4个，分别为第一硬件加速通道、第二硬件加速通道、第三硬件加速通道和第四硬件加速通道；所述图像采集装置包括6组双目单元，在所述6组双目单元中，有4组双目单元采集的图像组为所述第一分辨率的图像组，有2组双目单元采集的图像组为所述第二分辨率的图像组；则，所述将分辨率为第一分辨率的图像组送至所述至少两个硬件加速通道中的另一个进行双目匹配，以获得与之对应的深度图，包括：将所述2组双目单元采集的图像组分别送至所述第一硬件加速通道和所述第二硬件加速通道；所述将分辨率为所述第二分辨率的图像组送所述至少两个硬件加速通道中的其中一个进行双目匹配，以获得与之对应的深度图，包括：将所述4组双目单元中的2组双目单元采集的图像组送至所述第三硬件加速通道，并将所述4组双目单元中剩下的2组双目单元采集的图像组送至所述第四硬件加速通道。第二方面，本专利技术实施例提供了一种深度图处理装置，用于无人机的控制器，所述无人机还包括图像采集装置，所述图像采集装置与所述控制器通信连接，所述装置包括：图像校正模块，用于执行步骤S1，对所述图像采集装置采集的目标区域的图像进行校正；深度图获取模块，用于执行步骤S2，对所述图像进行双目匹配，以获得所述目标区域的深度图；障碍物分布获取模块，用于执行步骤S3，根据所述深度图，获取所述无人机周围的障碍物分布；该装置还包括：时间获取模块，用于在执行所述步骤S1、所述步骤S2和所述步骤S之前，获取所述步骤S1的执行时间、所述步骤S2的执行时间和所述步骤S3的执行时间；线程和环形队列建立模块，用于根据所述步骤S1的执行时间、所述步骤S2的执行时间和所述步骤S3的执行时间，建立至少两个线程和至少一个环形队列，由所述至少两个线程分别执行所述步骤S1、所述步骤S2和所述步骤S3，以降低总的执行时间；其中，执行相邻步骤的两个线程中，执行前一步骤的线程的处理结果送至所述环形队列，执行后一步骤的线程从所述环形队列中取出所述处理结果并根据所述处理结果执行所述后一步骤。在一些实施例中，所述线程和环形队列建立模块包括：判断子模块，用于判断所述步骤S1、所述步骤S2以及所述步骤S3的执行时间之和是否满足第一预设条件；线程和环形队列建立子模块，用于若所述步骤S1、所述步骤S2以及所述步骤S3的执行时间之和满足第一预设条件，则建立第一线程、第二线程和第一环形队列，本文档来自技高网...

【技术保护点】
1.一种深度图处理方法，用于无人机的控制器，所述无人机还包括图像采集装置，所述图像采集装置与所述控制器通信连接，其特征在于，所述方法包括：S1、对所述图像采集装置采集的目标区域的图像进行校正；S2、对所述图像进行双目匹配，以获得所述目标区域的深度图；S3、根据所述深度图，获取所述无人机周围的障碍物分布；该方法还包括：在执行所述步骤S1、所述步骤S2和所述步骤S3之前，获取所述步骤S1的执行时间、所述步骤S2的执行时间和所述步骤S3的执行时间；根据所述步骤S1的执行时间、所述步骤S2的执行时间和所述步骤S3的执行时间，建立至少两个线程和至少一个环形队列，由所述至少两个线程分别执行所述步骤S1、所述步骤S2和所述步骤S3，以降低总的执行时间；其中，执行相邻步骤的两个线程中，执行前一步骤的线程的处理结果送至所述环形队列，执行后一步骤的线程从所述环形队列中取出所述处理结果并根据所述处理结果执行所述后一步骤。

【技术特征摘要】
1.一种深度图处理方法，用于无人机的控制器，所述无人机还包括图像采集装置，所述图像采集装置与所述控制器通信连接，其特征在于，所述方法包括：S1、对所述图像采集装置采集的目标区域的图像进行校正；S2、对所述图像进行双目匹配，以获得所述目标区域的深度图；S3、根据所述深度图，获取所述无人机周围的障碍物分布；该方法还包括：在执行所述步骤S1、所述步骤S2和所述步骤S3之前，获取所述步骤S1的执行时间、所述步骤S2的执行时间和所述步骤S3的执行时间；根据所述步骤S1的执行时间、所述步骤S2的执行时间和所述步骤S3的执行时间，建立至少两个线程和至少一个环形队列，由所述至少两个线程分别执行所述步骤S1、所述步骤S2和所述步骤S3，以降低总的执行时间；其中，执行相邻步骤的两个线程中，执行前一步骤的线程的处理结果送至所述环形队列，执行后一步骤的线程从所述环形队列中取出所述处理结果并根据所述处理结果执行所述后一步骤。2.根据权利要求1所述的方法，其特征在于，所述根据所述步骤S1的执行时间、所述步骤S2的执行时间和所述步骤S3的执行时间，建立至少两个线程和至少一个环形队列，由所述至少两个线程分别执行所述步骤S1、所述步骤S2和所述步骤S3，以降低总的执行时间，包括：判断所述步骤S1、所述步骤S2以及所述步骤S3的执行时间之和是否满足第一预设条件；若是，则建立第一线程、第二线程和第一环形队列，由所述第一线程和所述第二线程分别执行所述步骤S1、所述步骤S2和所述步骤S3；其中，所述第一线程和所述第二线程中，执行前一步骤的线程的处理结果送至所述第一环形队列，执行后一步骤的线程从所述第一环形队列中取出所述处理结果并根据所述处理结果执行所述后一步骤。3.根据权利要求2所述的方法，其特征在于，所述第一预设条件为：所述步骤S1、所述步骤S2以及所述步骤S3的执行时间之和大于预设值。4.根据权利要求3所述的方法，其特征在于，所述预设值为1000/P，其中，P为图像帧率。5.根据权利要求2-4中任一项所述的方法，其特征在于，所述第一线程执行所述步骤S1、所述步骤S2以及所述步骤S3中的两个步骤，所述第二线程执行所述步骤S1、所述步骤S2以及所述步骤S3中的一个步骤；所述若所述步骤S1、所述步骤S2以及所述步骤S3的执行时间之和满足第一预设条件，则建立第一线程、第二线程和第一环形队列，由所述第一线程和所述第二线程分别执行所述步骤S1、所述步骤S2和所述步骤S3，包括：判断所述第一线程执行的两个步骤的执行时间之和是否满足第二预设条件；若是，则建立第三线程和第二环形队列，由所述第一线程和所述第三线程分别执行所述两个步骤；其中，所述第一线程和所述第三线程中，执行前一步骤的线程的处理结果送至所述第二环形队列，执行后一步骤的线程从所述第二环形队列中取出所述处理结果并根据所述处理结果执行所述后一步骤。6.根据权利要求5所述的方法，其特征在于，所述第二预设条件为所述第一线程执行的两个步骤的执行时间之和大于预设值。7.根据权利要求6所述的方法，其特征在于，所述预设值为1000/P，其中，P为图像帧率。8.根据权利要求1-7中任一项所述的方法，其特征在于，所述控制器包括硬件加速通道，所述图像采集装置包括至少两组双目单元；则，所述对所述图像进行双目匹配，以获得所述目标区域的深度图，包括：将所述至少两组双目单元采集的图像送至所述硬件加速通道，通过时分复用所述硬件加速通道，对所述至少两组双目单元采集的图像进行双目匹配，以获得所述深度图。9.根据权利要求1-7中任一项所述的方法，其特征在于，所述硬件加速通道的数量为至少两个，在所述至少两组双目单元采集的图像中包括分辨率为第一分辨率的图像组和分辨率为第二分辨率的图像组，其中，所述第二分辨率大于所述第一分辨率；则，所述对所述图像进行双目匹配，以获得所述目标区域的深度图，包括：将分辨率为所述第二分辨率的图像组送至所述至少两个硬件加速通道中的其中一个进行双目匹配，以获得与之对应的深度图；将分辨率为第一分辨率的图像组送至所述至少两个硬件加速通道中的另一个进行双目匹配，以获得与之对应的深度图。10.根据权利要求9所述的方法，其特征在于，所述硬件加速通道的数量为4个，分别为第一硬件加速通道、第二硬件加速通道、第三硬件加速通道和第四硬件加速通道；所述图像采集装置包括6组双目单元，在所述6组双目单元中，有4组双目单元采集的图像组为所述第一分辨率的图像组，有2组双目单元采集的图像组为所述第二分辨率的图像组；则，所述将分辨率为第一分辨率的图像组送至所述至少两个硬件加速通道中的另一个进行双目匹配，以获得与之对应的深度图，包括：将所述2组双目单元采集的图像组分别送至所述第一硬件加速通道和所述第二硬件加速通道；所述将分辨率为所述第二分辨率的图像组送所述至少两个硬件加速通道中的其中一个进行双目匹配，以获得与之对应的深度图，包括：将所述4组双目单元中的2组双目单元采集的图像组送至所述第三硬件加速通道，并将所述4组双目单元中剩下的2组双目单元采集的图像组送至所述第四硬件加速通道。11.一种深度图处理装置，用于无人机的控制器，所述无人机还包括图像采集装置，所述图像采集装置与所述控制器通信连接，其特征在于，所述装置包括：图像校正模块，用于执...

【专利技术属性】
技术研发人员：李昭早，
申请(专利权)人：深圳市道通智能航空技术有限公司，
类型：发明
国别省市：广东,44