一种无人机航拍图像拼接中断的恢复方法、装置和存储介质制造方法及图纸

本申请公开了一种无人机航拍图像拼接中断的恢复方法、装置和存储介质，具体为：无人机航拍图像拼接中断时，指示无人机返回已拼接图像所属区域；获取无人机在已拼接图像所属区域重新拍摄的图像，将重新拍摄的图像作为当前帧；根据当前帧和已有的关键帧进行重定位以确定当前帧在拟合平面坐标系下的位姿，所述拟合平面由已有关键帧的定向快速旋转ORB特征点对应的三维点拟合生成；根据当前帧在拟合平面坐标系下的位姿将所述当前帧和已拼接图像继续进行拼接。应用本申请公开的技术方案，在拼接中断时需要整体重新拼接，只需要在已拼接基础上重定位后继续拼接即可，可以充分利用已有的资源，提高拼接工作的效率。

【技术实现步骤摘要】
一种无人机航拍图像拼接中断的恢复方法、装置和存储介质
本申请涉及计算机视觉
，特别涉及一种无人机航拍图像拼接中断的恢复方法、装置和存储介质。
技术介绍
传统的测绘技术通常是将地面的特征点和界线通过测量手段，比如利用遥感、激光、超声等，来获取反映地面图形和位置的信息。传统的测绘技术虽然精度高，但其成本高，且从信息采集到生成结果的时间长。针对传统技术的缺点，目前已经出现利用无人机进行航拍，利用航拍的图像进行图像拼接，生成全景图。图像拼接主要是指将一组有部分重叠区域的图像拼接成一幅更全面的全景图像的过程，能够弥补单幅图像视野范围小的缺陷。现有的图像拼接过程中，可能会发生拼接中断的情况。发生中断的原因很多，比如无人机将航拍到的图像发送给地面系统时发生漏帧的情况，也或者是地面系统在拼接时发现误差积累过大的情况等等。总之，不管是何种原因产生的，图像拼接有可能在实现过程中发生无法继续拼接的中断情况。对于这种情况，现有技术还没有一种有效的解决方案，通常只能整体重新拼接，浪费已有的资源。
技术实现思路
本申请提供了一种无人机航拍图像拼接中断的恢复方法，可以避免在拼接中断的情况下整体重新拼接浪费资源的问题，达到充分利用已有的资源，提高拼接工作效率的目的。本申请提供的一种无人机航拍图像拼接中断的恢复方法具体包括：确定无人机航拍图像拼接中断时，指示所述无人机返回已拼接图像所属区域；获取所述无人机在已拼接图像所属区域重新拍摄的图像，将重新拍摄的图像作为当前帧；根据所述当前帧和已有的关键帧进行重定位以确定所述当前帧在拟合平面坐标系下的位姿，所述拟合平面由已有关键帧的定向快速旋转ORB对应的三维点拟合生成；根据所述当前帧在拟合平面坐标系下的位姿将所述当前帧和已拼接图像继续进行拼接。本申请还提供一种无人机航拍图像拼接中断的恢复装置，可以避免在拼接中断的情况下整体重新拼接浪费资源的问题，达到充分利用已有的资源，提高拼接工作效率的目的。该无人机航拍图像拼接中断的恢复装置具体包括：指示单元，用于在确定无人机航拍图像拼接中断时，指示所述无人机返回已拼接图像所属区域；获取单元，用于获取所述无人机在已拼接图像所属区域重新拍摄的图像，将重新拍摄的图像作为当前帧；重定位单元，用于根据所述当前帧和已有的关键帧进行重定位以确定所述当前帧在拟合平面坐标系下的位姿，所述拟合平面由已有关键帧的定向快速旋转ORB对应的三维点拟合生成；拼接单元，用于根据所述当前帧在拟合平面坐标系下的位姿将当前帧和已拼接图像继续进行拼接。本申请还提出一种计算机可读存储介质，存储有计算机指令，所述指令被处理器执行时可实现上述的无人机航拍图像拼接中断的恢复方法。本申请还提供一种电子设备，可以避免在拼接中断的情况下整体重新拼接浪费资源的问题，达到充分利用已有的资源，提高拼接工作效率的目的。具体为：一种电子设备，该电子设备包括如所述的计算机可读存储介质，还包括可执行所述计算机可读存储介质的处理器。由上述技术方案可见，本申请在图像拼接中断之后，地面系统可以指示无人机返回已拼接图像所属区域，无人机在已拼接图像所属区域重新拍摄图像，作为当前帧。此后，将当前帧重定位，并确定当前帧在拟合平面坐标系下的位姿。由于已有关键帧是中断前拍摄到的图像，那么在已拼接图像区域重新拍摄到的图像和已有关键帧之间应该存在相似关系，可以据此重定位，即确定当前帧和已拼接图像之间的关联关系。此后，可以像中断前一样将当前帧和已拼接图像继续进行拼接。因此，利用本申请方案，在拼接中断时不需要整体重新拼接，只需要在已拼接的基础上重新定位后继续拼接即可，可以充分利用已有的资源，提高拼接工作的效率。附图说明图1是本申请方法实施例一的流程图。图2是本申请方法实施例二的流程图。图3是本申请方法实施例二中选择候选关键帧的方法流程图。图4是本申请方法实施例二中确定当前帧ORB特征点对应三维点的方法流程图。图5是本申请方法实施例二中进一步对当前帧第一次优化的方法流程图。图6是本申请方法实施例二中进一步对当前帧第二次优化的方法流程图。图7是本申请方法实施例二中进一步对当前帧位姿进行验证的方法流程图。图8是本申请方法实施例三中将当前帧位姿转换的方法流程图。图9是本申请方法实施例四中执行将当前帧进行图像拼接的方法流程图。图10是本申请装置实施例一的结构示意图。图11是本申请装置实施例二中重定位单元1002的内部结构示意图。图12是本申请装置实施例三的结构示意图。图13是本申请装置实施例三中位姿优化单元1005的内部结构示意图。图14是本申请装置实施例三中位姿验证单元1006的内部结构示意图。图15是本申请装置实施例三中位姿转换单元1003的内部结构示意图。图16是本申请装置实施例三中拼接单元1004的内部结构示意图。图17是本申请装置实施例四中的电子设备内部结构示意图。具体实施方式为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请作进一步详细说明。实际应用中，无人机通常会搭载云台相机，将云台相机拍摄获取的图像传送给地面系统，由地面系统拼接以获取全景图。这里所述的地面系统就是在地面上接收无人机航拍图像，并对这些航拍图像进行拼接的系统，在实际应用中，地面系统可能是一台或多台计算机构成的系统。本申请实施例中就是由地面系统实施，实现图像拼接中断后的恢复工作。另外，实际工作中无人机还可以搭载全球定位系统(GPS)，在传送图像时将对应的全球定位系统信息一并传送给地面系统。本申请实施例中，如果拼接中断，地面系统可以指示无人机飞回已拼接图像的区域，无人机在已拼接图像所属区域重新拍摄图像，将重新拍摄到的作为当前帧。由于已有关键帧是中断前拍摄到的图像，那么在已拼接图像区域重新拍摄到的图像和已有关键帧之间应该存在某种关联关系，根据这种关联关系对当前帧进行重定位，即确定当前帧的位姿。已有关键帧是中断前参与拼接过程的图像，比较可靠，那么，基于已有关键帧来重定位的当前帧位姿也应该是可靠的。此后，根据当前帧的位姿将当前帧和已拼接图像继续进行拼接。因此，本申请实施例在拼接中断时不需要整体重新拼接，只需要在已拼接的基础上将当前帧重新定位后继续拼接即可，可以充分利用已有的资源，提高拼接工作的效率。图1是本申请实施例一的方法流程图。如图1所示，该方法包括：步骤100：确定无人机航拍图像拼接中断时，指示所述无人机返回已拼接图像所属区域。本步骤是地面系统在确定无人机航拍图像拼接中断时执行的步骤。收到地面系统的指示，无人机将飞回已拼接图像所在区域进行拍摄。实际应用中，地面系统可以指示无人机飞回拼接中断前拍摄时的任何一个位置，只要能够返回已拼接图像所属区域即可。步骤101：获取所述无人机在已拼接图像所属区域重新拍摄的图像，将重新拍摄的图像作为当本文档来自技高网...

【技术保护点】
1.一种无人机航拍图像拼接中断的恢复方法，其特征在于，该方法包括：/n确定无人机航拍图像拼接中断时，指示所述无人机返回已拼接图像所属区域；/n获取所述无人机在已拼接图像所属区域重新拍摄的图像，将重新拍摄的图像作为当前帧；/n根据所述当前帧和已有的关键帧进行重定位以确定所述当前帧在拟合平面坐标系下的位姿，所述拟合平面由已有关键帧的定向快速旋转ORB特征点对应的三维点拟合生成；/n根据所述当前帧在拟合平面坐标系下的位姿将所述当前帧和已拼接图像继续进行拼接。/n

【技术特征摘要】
1.一种无人机航拍图像拼接中断的恢复方法，其特征在于，该方法包括：
确定无人机航拍图像拼接中断时，指示所述无人机返回已拼接图像所属区域；
获取所述无人机在已拼接图像所属区域重新拍摄的图像，将重新拍摄的图像作为当前帧；
根据所述当前帧和已有的关键帧进行重定位以确定所述当前帧在拟合平面坐标系下的位姿，所述拟合平面由已有关键帧的定向快速旋转ORB特征点对应的三维点拟合生成；
根据所述当前帧在拟合平面坐标系下的位姿将所述当前帧和已拼接图像继续进行拼接。


2.根据权利要求1所述的方法，其特征在于，所述根据当前帧和已有的关键帧进行重定位以确定所述当前帧在拟合平面坐标系下的位姿的方法包括：
将所述当前帧和关键帧集合中的每一个关键帧进行相似比对以得到相似度，将超过事先设置的相似度阈值的关键帧作为候选关键帧；
根据所述当前帧和所述候选关键帧进行匹配，以确定当前帧ORB特征点对应的三维点；
根据所述当前帧ORB特征点对应的三维点计算当前帧位姿，所述当前帧的位姿是基于第一关键帧相机坐标系下的位姿；
根据第一关键帧相机坐标系和拟合平面坐标系之间的转换关系，将所述当前帧的位姿转换到所述拟合平面坐标系下。


3.根据权利要求2所述的方法，其特征在于，将所述当前帧和关键帧集合中的每一个关键帧进行相似比对以得到相似度，将超过事先设置的相似度阈值的关键帧作为候选关键帧的方法包括：
针对关键帧集合中每一个关键帧，查找事先建立的ORB字典以确定该关键帧ORB特征点和所述当前帧ORB特征点对应的相同的特征描述符，所述特征描述符保存于所述ORB字典中；
计算所述相同的特征描述符对应的权重之和，作为该关键帧和所述当前帧的相似度，所述特征描述符对应的权重是事先设置的；
在所述关键帧集合中，将计算出的相似度超过事先设置的相似度阈值的关键帧作为候选关键帧。


4.根据权利要求2所述的方法，其特征在于，所述根据当前帧和候选关键帧进行匹配以确定当前帧ORB特征点对应的三维点的方法包括：
查找事先建立的ORB字典，确定所述候选关键帧ORB特征点对应的特征描述符，并确定对应相同特征描述符的当前帧ORB特征点；
将所述候选关键帧ORB特征点对应的三维点作为所述当前帧ORB特征点对应的三维点。


5.根据权利要求2所述的方法，其特征在于，所述根据当前帧ORB特征点对应的三维点计算当前帧位姿之后，所述根据当前帧和已有关键帧进行重定位以确定当前帧在拟合平面坐标系下的位姿的方法进一步包括第一次优化过程，所述第一次优化过程包括：
将所述当前帧ORB特征点对应的三维点投影到所述当前帧上，获得第一投影点；
计算所有所述第一投影点和对应的当前帧ORB特征点的图像坐标之间的像素距离之和，作为第一投影总误差；
根据非线性优化算法对所述当前帧位姿进行第一次优化，得到第一次优化的当前帧位姿，使得所述第一投影总误差最小。


6.根据权利要求5所述的方法，其特征在于，所述第一次优化过程之后，所述根据当前帧和已有关键帧进行重定位以确定当前帧在拟合平面坐标系下的位姿的方法进一步包括第二次优化过程，所述第二次优化过程包括：
将所述候选关键帧对应的三维点投影到所述当前帧上，在所述当前帧中形成对应的第二投影点；
在所述第二投影点的投影半径内，将当前帧ORB特征点作为待匹配ORB特征点；
计算所述待匹配ORB特征点和所述第二投影点对应的候选关键帧ORB特征点之间的特征距离，选择出特征距离最小的待匹配ORB特征点作为选中...

【专利技术属性】
技术研发人员：易雨亭，李建禹，孙元栋，
申请(专利权)人：杭州海康机器人技术有限公司，
类型：发明
国别省市：浙江;33