深度图像的稳像方法、电子设备及存储介质技术

本申请实施例涉及图像处理领域，公开了一种深度图像的稳像方法、电子设备及存储介质。深度图像的稳像方法包括：根据拍摄截止到当前帧的连续K帧中每帧深度图像的相机的原始的位姿参数，对当前帧的原始相机位姿进行平滑处理，得到当前帧的平滑后的位姿参数；根据当前帧的所述平滑后的位姿参数和当前帧的所述原始的位姿参数，将当前帧的深度图像的点云数据映射到图像坐标系，得到当前帧的稳像后的深度图像；其中，所述原始的位姿参数为相机坐标系转换到预设基准坐标系的转换参数。本申请采用包含当前帧的连续K帧深度图像对当前帧深度图像进行稳像处理，能有效滤除图像抖动的同时，还能达到较快的处理速度。还能达到较快的处理速度。还能达到较快的处理速度。

【技术实现步骤摘要】
深度图像的稳像方法、电子设备及存储介质


[0001]本申请实施例涉及图像处理领域，特别涉及一种深度图像的稳像方法、电子设备及存储介质。

技术介绍

[0002]基于二维图像的稳像算法是一种较为成熟的技术，其原理是通过陀螺仪、或基于特征的图像算法获取视频中帧间图像的运动路径，对运动路径进行平滑处理，从而消除视频图像中的随机抖动，实现稳像。
[0003]随着光电技术的发展，表达所拍摄场景的三维信息的深度图像在工业、消费电子等领域得到了广泛应用，如：三维环境感知、VR技术、人脸识别、活体检测等等应用场景。由此也催生了深度图像的防抖功能。如车载相机、户外运动相机在拍摄深度图像时，若抖动严重，极易影响图像数据的采集和操控体验；又比如在VR相关应用中，常使用深度相机来获取人体姿态、位置，若不添加抖动功能，原始图像数据中的噪声极易产生眩晕感，VR体验效果差。
[0004]然而，目前没有一种效果较好的基于深度图像的稳像算法。另外，由于二维图像在稳像处理时采用RGB颜色信息进行计算，而深度图像存储的是三维信息，两者蕴含的信息有根本差别，导致基于二维图像的稳像方法也无法用于深度图像上。

技术实现思路

[0005]本申请实施方式的目的在于提供一种深度图像的稳像方法、电子设备及存储介质，采用包含当前帧的连续K帧深度图像对当前帧深度图像进行稳像处理，能有效滤除图像抖动的同时，还能达到较快的处理速度。
[0006]为解决上述技术问题，本申请的实施方式提供了一种深度图像的稳像方法，包括：根据拍摄截止到当前帧的连续K帧中每帧深度图像的相机的原始的位姿参数，对当前帧的原始相机位姿进行平滑处理，得到当前帧的平滑后的位姿参数；根据当前帧的所述平滑后的位姿参数和当前帧的所述原始的位姿参数，将当前帧的深度图像的点云数据映射到图像坐标系，得到当前帧的稳像后的深度图像；其中，所述原始的位姿参数为相机坐标系转换到预设基准坐标系的转换参数。
[0007]本申请的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使所述至少一个处理器能够执行以上实施方式所述的深度图像的稳像方法。
[0008]本申请的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的深度图像的稳像方法。
[0009]本申请实施方式提供的深度图像的稳像方法，根据截止到当前帧的连续K帧中每帧深度图像对应的相机的原始的位姿参数，即每帧深度图像对应的相机坐标系转换到基准
坐标系的转换参数，对当前帧的相机位姿（位置和姿态）进行平滑处理，滤除随机抖动，得到平滑后的位姿参数，然后根据平滑后的位姿参数和原始的位姿参数，将当前帧深度图像的点云数据映射到图像坐标系，即可得到稳像后的深度图像。整个方法只采用包含当前帧的连续K帧深度图像进行稳像处理，在能有效滤除图像抖动的同时，还能达到较快的处理速度。
[0010]另外，本申请实施方式提供的深度图像的稳像方法，对于所述连续K帧中每帧深度图像，判断所述深度图像的空洞率是否小于第一阈值；若是，确定所述深度图像为有效深度图像；若否，确定所述深度图像为无效深度图像；获取拍摄所述连续K帧中有效深度图像的相机的所述原始的位姿参数，对当前帧的相机位姿进行平滑处理，得到所述平滑后的位姿参数。本申请通过对当前帧是否为有效深度图像进行判断，提高处理效率，减少不必要的计算。
[0011]另外，本申请实施方式提供的深度图像的稳像方法，将当前帧的深度图像的点云数据和与当前帧最临近帧的有效深度图像的点云数据进行点云匹配，确定各点云数据的一一对应关系；根据所述各点云数据的一一对应关系，计算当前帧的相机坐标系转换到与当前帧最临近帧的相机坐标系的中间位姿参数；根据所述中间位姿参数和与当前帧最临近帧的原始的位姿参数，获取当前帧的深度图像的原始的位姿参数。本申请将最临近帧的有效深度图像作为当前帧的深度图像的相机坐标系与基准坐标系之间的转换桥梁，以降低转换过程中点云匹配难度，提高处理速度。
[0012]另外，本申请实施方式提供的深度图像的稳像方法，对所述拍摄截止到当前帧的连续K帧中有效深度图像的相机的原始的位姿参数中平移矩阵进行平均计算，得到平滑后的平移矩阵；对所述拍摄截止到当前帧的连续K帧中有效深度图像的相机的原始的位姿参数中旋转矩阵进行平均计算和叉乘计算，得到平滑后的旋转矩阵，并将所述平滑后的平移矩阵和所述平滑后的旋转矩阵作为所述平滑后的位姿参数。本申请通过对原始的位姿参数中平移矩阵进行平均计算，对原始的位姿参数中旋转矩阵进行平均计算和叉乘计算获得平滑后的相机位姿，平滑方法简单有效、速度快。
附图说明
[0013]一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0014]图1是本申请实施方式提供的深度图像的稳像方法的流程图；图2是本申请实施方式提供的电子设备的结构示意图。
具体实施方式
[0015]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
[0016]下面对本实施方式的深度图像的稳像系统方法的实现细节进行举例说明。以下内
容仅为方便理解而提供的实现细节，并非实施本方案的必须。
[0017]本申请的实施方式涉及一种深度图像的稳像方法，如图1所示，包括。
[0018]步骤101，根据拍摄截止到当前帧的连续K帧中每帧深度图像的相机的原始的位姿参数，对当前帧的原始相机位姿进行平滑处理，得到当前帧的平滑后的位姿参数。
[0019]本实施例中，深度图像抖动的本质原因是运动过程中，深度感知设备位姿变换过快。因此，若要对深度图像进行稳像处理，就需要对相机的位姿或运动路径进行平滑，以滤除拍摄过程中的抖动。而由于相机在拍摄获取深度图像的过程中，相机位姿不断变化，相机坐标系也不断变化，因此，在稳像处理前需要将每一帧深度图像对应的相机坐标系统一到一个基准坐标系。原始的位姿参数就是相机坐标系转换到预设基准坐标系的转换参数。
[0020]可以理解的是，每一帧深度图像都是相机在不同相机位姿下拍摄的，因此，每一帧都对应一个原始的位姿参数，该原始的位姿参数表示拍摄该帧深度图像时的相机坐标系转换到预设基准坐标系的转换参数。
[0021]在一实施例中，步骤101包括：对于连续K帧中每帧深度图像，判断深度图像的空洞率是否小于第一阈值；若是，确定深度图像为有效深度图像；若否，确定深度图像为无效深度图像；获取拍摄所述连续K帧中有效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图像的稳像方法，其特征在于，包括：根据拍摄截止到当前帧的连续K帧中每帧深度图像的相机的原始的位姿参数，对当前帧的原始相机位姿进行平滑处理，得到当前帧的平滑后的位姿参数；根据当前帧的所述平滑后的位姿参数和当前帧的所述原始的位姿参数，将当前帧的深度图像的点云数据映射到图像坐标系，得到当前帧的稳像后的深度图像；其中，所述原始的位姿参数为相机坐标系转换到预设基准坐标系的转换参数。2.根据权利要求1所述的深度图像的稳像方法，其特征在于，所述根据拍摄截止到当前帧的连续K帧中每帧深度图像的相机的原始的位姿参数，对当前帧的原始相机位姿进行平滑处理，得到当前帧的平滑后的位姿参数，包括：对于所述连续K帧中每帧深度图像，判断所述深度图像的空洞率是否小于第一阈值；若是，确定所述深度图像为有效深度图像；若否，确定所述深度图像为无效深度图像；获取拍摄所述连续K帧中有效深度图像的相机的所述原始的位姿参数，对当前帧的相机位姿进行平滑处理，得到所述平滑后的位姿参数。3.根据权利要求2所述的深度图像的稳像方法，其特征在于，所述获取拍摄所述连续K帧中有效深度图像的相机的所述原始的位姿参数，包括：将当前帧的深度图像的点云数据和与当前帧最临近帧的有效深度图像的点云数据进行点云匹配，确定各点云数据的一一对应关系；根据所述各点云数据的一一对应关系，计算当前帧的相机坐标系转换到与当前帧最临近帧的相机坐标系的中间位姿参数；根据所述中间位姿参数和与当前帧最临近帧的原始的位姿参数，获取当前帧的深度图像的原始的位姿参数。4.根据权利要求3中所述的深度图像的稳像方法，其特征在于，在将当前帧的深度图像的点云数据和与当前帧最临近帧的有效深度图像的点云数据进行点云匹配的过程中，若点云匹配失败，则将当前帧的深度图像作为无效深度图像。5.根据权利要求1至4中任一项所述的深度图像的稳像方法，其特征在于，所述位姿参数包括：旋转矩阵和平移矩阵；所述根据拍摄截止到当前帧的连续K帧中每帧深度图像的相机的原始的位姿参数，对当前帧的相机位姿进行平滑处理，得到平滑后的位姿参数，包括：对所述拍摄截止到当前帧的连续K帧中有效深度图像的相机的原始的位姿参数中平移矩阵进行平均计算，得到平滑后的平移矩阵；对所述拍摄截止到当前帧的连续K...

【专利技术属性】
技术研发人员：户磊，曹天宇，李绪琴，季栋，雷超，陈智超，
申请(专利权)人：合肥的卢深视科技有限公司，
类型：发明
国别省市：