一种标定方法、图像处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供的一种标定方法、图像处理方法、装置、设备及存储介质，所述标定方法包括：采集第一惯性测量单元的第一三轴陀螺仪数据和第二惯性测量单元的第二三轴陀螺仪数据，获得第一三轴陀螺仪数据集合和第二三轴陀螺仪数据集合；根据n组第一三轴陀螺仪数据和第二三轴陀螺仪数据，计算第一旋转量R

【技术实现步骤摘要】
一种标定方法、图像处理方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，具体地涉及一种标定方法、图像处理方法、装置、设备及存储介质。

技术介绍

[0002]近年来，随着视频拍摄设备技术的快速发展，很多拍摄设备都已经开始支持高清甚至全高清的拍摄，例如，单反相机、卡片式相机、带拍照功能手机、视频监控设备、行车记录仪等，因此，视频的拍摄质量对于评价拍摄设备而言已变得越来越重要。
[0003]影响视频拍摄质量的因素很多，包括：分辨率、帧率、噪声、色彩饱和度、图像清晰度、视频的稳定性等。其中，视频的稳定性是很重要的影响因素。因为拍摄时一旦不稳定，会使得整体画面抖动，这样不但会造成图像不清晰，而且使得人眼很容易疲劳，主观感受很差。尤其对于目前常用的智能手机、卡片式相机来说，由于此类设备本身质量轻，又是由用户手持拍摄，很容易产生画面的抖动。针对此类抖动问题，最有效的解决方式是对拍摄得到的图像进行防抖处理，使得拍摄设备具备视频防抖功能。
[0004]多目拍摄设备是指利用多个图像采集模块采集图像的拍摄设备。具体地，以双目拍摄设备为例，双目拍摄设备包括第一图像采集模块和第二图像采集模块。其中，第一图像采集模块包括第一镜头和第一惯性测量单元，第二图像采集模块中包括第二镜头和第二惯性测量单元。通常情况下，在拍摄设备出厂前，需要对拍摄设备的参数进行标定。具体地，可以标定第一镜头和第一惯性测量单元之间的相对旋转量R
imu1_cam1
，第二镜头和第二惯性测量单元之间的相对旋转量R
imu2_cam2
，第一惯性测量单元和第二惯性测量单元之间的相对旋转量R
imu1_imu2
。
[0005]一般可以认为第一镜头和第一惯性测量单元之间刚性连接，第二镜头和第二惯性测量单元之间刚性连接。即拍摄设备长时间使用后，第一镜头和第一惯性测量单元之间的相对旋转量R
imu1_cam1
以及第二镜头和第二惯性测量单元之间的相对旋转量R
imu2_cam2
不会发生变化。但是，拍摄设备长时间使用后，第一惯性测量单元和第二惯性测量单元之间的相对旋转量R
imu1_imu2
会发生不可忽略的变化。因此，需要对第一惯性测量单元和第二惯性测量单元之间的相对旋转量R
imu1_imu2
进行更新。相反，若不考虑第一惯性测量单元和第二惯性测量单元之间的相对旋转量R
imu1_imu2
的变化，在对图像或者视频进行防抖处理时，会导致防抖效果较差。

技术实现思路

[0006]有鉴于此，本申请提供一种标定方法、图像处理方法、装置、设备及存储介质，以利于解决现有技术中拍摄设备长时间使用后，在对图像或者视频进行防抖处理时，若不考虑两个惯性测量单元之间的相对旋转情况，将导致防抖效果较差的问题。
[0007]第一方面，本申请实施例提供了一种标定方法，应用于拍摄设备，所述拍摄设备包括相互连接的第一图像采集模块和第二图像采集模块，所述第一图像采集模块包括第一惯
性测量单元，所述第二图像采集模块包括第二惯性测量单元，所述方法包括：
[0008]采集所述第一惯性测量单元的第一三轴陀螺仪数据和所述第二惯性测量单元的第二三轴陀螺仪数据，获得第一三轴陀螺仪数据集合和第二三轴陀螺仪数据集合；
[0009]根据n组所述第一三轴陀螺仪数据和所述第二三轴陀螺仪数据，计算第一旋转量R
imu1_imu2
，所述第一旋转量为所述第一惯性测量单元和所述第二惯性测量单元之间的相对旋转量，n≥3；
[0010]其中，同一组所述第一三轴陀螺仪数据和所述第二三轴陀螺仪数据对应的采集时间相同。
[0011]在本申请实施例中，拍摄设备包括第一惯性测量单元和第二惯性测量单元，分别采集第一惯性测量单元的第一三轴陀螺仪数据和第二惯性测量单元的第二三轴陀螺仪数据，基于第一三轴陀螺仪数据和第二三轴陀螺仪数据可以对第一旋转量(第一惯性测量单元和第二惯性测量单元之间的相对旋转量)进行简单、快速的标定。由于对第一旋转量进行了标定，因此，后续步骤中在对图像或视频进行防抖处理时，可以考虑第一旋转量对防抖效果的影响，即结合第一旋转量进行防抖处理，进而可以提高防抖效果。避免由于拍摄设备长时间使用后，第一惯性测量单元和第二惯性测量单元之发生相对旋转，导致防抖效果较差的问题。
[0012]在一种可能的实现方式中，所述根据n组所述第一三轴陀螺仪数据和所述第二三轴陀螺仪数据，计算第一旋转量R
imu1_imu2
，包括：
[0013]根据预设的筛选规则，在所述第一三轴陀螺仪数据集合和所述第二三轴陀螺仪数据集合中，确定n组第一目标三轴陀螺仪数据和第二目标三轴陀螺仪数据；
[0014]根据n组所述第一目标三轴陀螺仪数据和所述第二目标三轴陀螺仪数据，计算所述第一旋转量R
imu1_imu2
。
[0015]在本申请实施例中，通过预设的筛选规则，在第一三轴陀螺仪数据集合和第二三轴陀螺仪数据集合中筛选出较优的数据，进行第一旋转量的计算，可以提高计算结果的准确性。
[0016]在一种可能的实现方式中，所述筛选规则包括：
[0017]所述第一目标三轴陀螺仪数据和/或所述第二目标三轴陀螺仪数据的模长大于或等于预设的模长阈值。
[0018]由于模长较小的数据容易受零偏和噪声的影响，在本申请实施例中，选择模长较大的陀螺仪数据进行第一旋转量的计算，可以提高计算结果的准确性。
[0019]在一种可能的实现方式中，所述筛选规则还包括：
[0020]n个所述第一目标三轴陀螺仪数据分别与预设的n个参考方向相匹配；
[0021]和/或，n个所述第二目标三轴陀螺仪数据分别与预设的所述n个参考方向相匹配；
[0022]其中，所述n个参考方向中任意两个参考方向的差值大于或等于预设的参考方向差值阈值。
[0023]在本申请实施例中，采用三维空间中方向差异较大的陀螺仪数据进行第一旋转量的计算，可以提高计算结果的准确性。
[0024]在一种可能的实现方式中，所述根据预设的筛选规则，在所述第一三轴陀螺仪数据集合和所述第二三轴陀螺仪数据集合中，确定n组第一目标三轴陀螺仪数据和第二目标
三轴陀螺仪数据，包括：
[0025]根据预设的筛选规则，在所述第一三轴陀螺仪数据集合中，确定n个第一目标三轴陀螺仪数据；
[0026]根据每个所述第一目标三轴陀螺仪数据的采集时间，在所述第二三轴陀螺仪数据集合中，确定与每个所述第一目标三轴陀螺仪数据的采集时间相匹配的第二目标三轴陀螺仪数据，获得n组第一目标三轴陀螺仪数据和第二目标三轴陀螺仪数据；
[0027]其中，若所述第二三轴陀螺仪数据集合中不存在与所述第一目标三轴陀螺仪数据的采集时间相匹配的第二目标三轴陀螺仪数据，则根据所述第二三轴陀螺仪数据集合中的第二三轴陀螺仪数据进行插值计算，获得与所述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标定方法，其特征在于，应用于拍摄设备，所述拍摄设备包括相互连接的第一图像采集模块和第二图像采集模块，所述第一图像采集模块包括第一惯性测量单元，所述第二图像采集模块包括第二惯性测量单元，所述方法包括：采集所述第一惯性测量单元的第一三轴陀螺仪数据和所述第二惯性测量单元的第二三轴陀螺仪数据，获得第一三轴陀螺仪数据集合和第二三轴陀螺仪数据集合；根据n组所述第一三轴陀螺仪数据和所述第二三轴陀螺仪数据，计算第一旋转量R
imu1_imu2
，所述第一旋转量为所述第一惯性测量单元和所述第二惯性测量单元之间的相对旋转量，n≥3；其中，同一组所述第一三轴陀螺仪数据和所述第二三轴陀螺仪数据对应的采集时间相同。2.根据权利要求1所述的方法，其特征在于，所述根据n组所述第一三轴陀螺仪数据和所述第二三轴陀螺仪数据，计算第一旋转量R
imu1_imu2
，包括：根据预设的筛选规则，在所述第一三轴陀螺仪数据集合和所述第二三轴陀螺仪数据集合中，确定n组第一目标三轴陀螺仪数据和第二目标三轴陀螺仪数据；根据n组所述第一目标三轴陀螺仪数据和所述第二目标三轴陀螺仪数据，计算所述第一旋转量R
imu1_imu2
。3.根据权利要求2所述的方法，其特征在于，所述筛选规则包括：所述第一目标三轴陀螺仪数据和/或所述第二目标三轴陀螺仪数据的模长大于或等于预设的模长阈值。4.根据权利要求3所述的方法，其特征在于，所述筛选规则还包括：n个所述第一目标三轴陀螺仪数据分别与预设的n个参考方向相匹配；和/或，n个所述第二目标三轴陀螺仪数据分别与预设的所述n个参考方向相匹配；其中，所述n个参考方向中任意两个参考方向的差值大于或等于预设的参考方向差值阈值。5.根据权利要求2
‑
4任一项所述的方法，其特征在于，所述根据预设的筛选规则，在所述第一三轴陀螺仪数据集合和所述第二三轴陀螺仪数据集合中，确定n组第一目标三轴陀螺仪数据和第二目标三轴陀螺仪数据，包括：根据预设的筛选规则，在所述第一三轴陀螺仪数据集合中，确定n个第一目标三轴陀螺仪数据；根据每个所述第一目标三轴陀螺仪数据的采集时间，在所述第二三轴陀螺仪数据集合中，确定与每个所述第一目标三轴陀螺仪数据的采集时间相匹配的第二目标三轴陀螺仪数据，获得n组第一目标三轴陀螺仪数据和第二目标三轴陀螺仪数据；其中，若所述第二三轴陀螺仪数据集合中不存在与所述第一目标三轴陀螺仪数据的采集时间相匹配的第二目标三轴陀螺仪数据，则根据所述第二三轴陀螺仪数据集合中的第二三轴陀螺仪数据进行插值计算，获得与所述第一目标三轴陀螺仪数据的采集时间相匹配的第二目标三轴陀螺仪数据；或者，根据预设的筛选规则，在所述第二三轴陀螺仪数据集合中，确定n个第二目标三轴陀螺仪数据；根据每个所述第二目标三轴陀螺仪数据的采集时间，在所述第一三轴陀螺仪数据集合
中，确定与每个所述第二目标三轴陀螺仪数据的采集时间相匹配的第一目标三轴陀螺仪数据，获得n组所述第一目标三轴陀螺仪数据和所述第二目标三轴陀螺仪数据；其中，若所述第一三轴陀螺仪数据集合中，不存在与所述第二目标三轴陀螺仪数据的采集时间相匹配的第一目标三轴陀螺仪数据，则根据所述第一三轴陀螺仪数据集合中第一三轴陀螺仪数据进行插值计算，获得与所述第二目标三轴陀螺仪数据的采集时间相匹配的第一目标三轴陀螺仪数据。6.根据权利要求1所述的方法，其特征在于，所述根据n组所述第一三轴陀螺仪数据和所述第二三轴陀螺仪数据，计算所述第一旋转量R
imu1_imu2
，包括：根据n组所述第一三轴陀螺仪数据和所述第二三轴陀螺仪数据构建方程一：根据n组所述第一三轴陀螺仪数据和所述第二三轴陀螺仪数据构建方程一：其中，为t
i
时刻采集的第一三轴陀螺仪数据，为t
i
时刻采集第二三轴陀螺仪数据，0≤i≤n
‑
1；对所述方程一求解，获得所述第一旋转量R
imu1_imu2
。7.根据权利要求6所述的方法，其特征在于，所述对所述方程一求解，获得所述第一旋转量R
imu1_imu2
，包括：将所述方程一变形为方程Ax＝0的矩阵形式，其中，A为系数矩阵，A的维数为3n行9列，x为待求解的所述第一旋转量R
imu1_imu2
对应的列向量，x的维数为9行1列；求解方程Ax＝0，获得列向量x，将所述列向量x变形获得3x3的矩阵M；对所述矩阵M进行线性变换，获得与所述矩阵M对应的行列式为1的正交矩阵，所述与所述矩阵M对应的行列式为1的正交矩阵为所述第一旋转量R
imu1_imu2
。8.根据权利要求1所述的方法，其特征在于，所述采集所述第一惯性测量单元的第一三轴陀螺仪数据和所述第二惯性测量单元的第二三轴陀螺仪数据，包括：在同一时间，采集所述第一惯性测量单元的第一三轴陀螺仪数据和所述第二惯性测量单元的第二三轴陀螺仪数据。9.根据权利要求1所述的方法，其特征在于，所述采集所述第一惯性测量单元的第一三轴陀螺仪数据和所述第二惯性测量单元的第二三轴陀螺仪数据，包括：将所述拍摄设备静置一段时间，分别计算所述第一惯性测量单元的第一零偏值和所述第二惯性测量单元的第二零偏值；将采集的所述第一惯性测量单元的三轴陀螺仪数据减去所述第一零偏值，获得第一三轴陀螺仪数据；将采集的所述第二惯性测量单元的三轴陀螺仪数据减去所述第二零偏值，获得第二三轴陀螺仪数据。10.一种图像处理方法，其特征在于，应用于拍摄设备，所述拍摄设备包括相互连接的第一图像采集模块和第二图像采集模块，所述第一图像采集模块包括第一镜头和第一惯性测量单元，所述第二图像采集模块包括第二镜头和第二惯性测量单元，所述方法包括：采用权利要求1
‑
9任一项所述的方法计算所述第一旋转量R
imu1_imu2
；根据所述第一惯性测量单元、所述第一旋转量R
imu1_imu2
以及第三旋转量R
imu2_cam2
估算所述第一镜头的运动旋转量和所述第二镜头的运动旋转量；或者，根据所述第二惯性测量单元、所述第一旋转量R
imu1_imu2
以及第二旋转量R
imu1_cam1
估算所述第一镜头的运动旋转量和所述第二镜头的运动旋转量；其中，所述第二旋转量R
imu1_cam1
为所述第一镜头和所述第一惯性
测量单元之间的相对旋转量，所述第三旋转量R
imu2_cam2
为所述第二镜头和所述第二惯性测量单元之间的相对旋转量；分别对所述第一镜头的运动旋转量和所述第二镜头的运动旋转量进行平滑处理，获得所述第一镜头的平滑运动旋...

【专利技术属性】
技术研发人员：袁文亮，肖龙报，朱力，
申请(专利权)人：影石创新科技股份有限公司，
类型：发明
国别省市：