尺度确定方法、装置、存储介质及设备制造方法及图纸

本发明专利技术公开了一种尺度确定方法、装置、存储介质及设备，属于虚拟现实技术领域。包括：获取至少两个图像帧；根据至少两个图像帧，获取至少一组第一旋转参数和第一位移参数，每组第一旋转参数和第一位移参数用于表示单目相机在拍摄至少两个图像帧中相邻两个图像帧时的位置姿态变化，第一位移参数中包含视觉惯性里程计的尺度，且尺度未知；获取至少一组第二旋转参数和第二位移参数，每组第二旋转参数和第二位移参数用于表示IMU测量得到的单目相机在拍摄至少两个图像帧中相邻两个图像帧时的位置姿态变化；根据至少一组第一旋转参数和第一位移参数以及至少一组第二旋转参数和第二位移参数，确定尺度。本发明专利技术提高了尺度的确定效率。

Scale determination method, device, storage medium and equipment

The invention discloses a scale determination method, device, storage medium and equipment, belonging to the field of virtual reality technology. Including: obtaining at least two image frames; obtaining at least one set of first rotation parameters and first displacement parameters according to at least two image frames, each group of first rotation parameters and first displacement parameters are used to represent the position attitude change when the monocular camera is photographing at least two adjacent frames in at least two image frames, and the first displacement parameter is used. The scale of the visual inertial mileage is included, and the scale is unknown; at least one set of second rotation parameters and second displacement parameters are obtained, and each group of second rotation parameters and second displacement parameters are used to represent the position change of the single camera obtained by IMU measuring at least two image frames in at least two image frames; The scale is determined by reducing a set of first rotation parameters and first displacement parameters, as well as at least a set of second rotation parameters and second displacement parameters. The invention improves the determination efficiency of the scale.

【技术实现步骤摘要】
尺度确定方法、装置、存储介质及设备
本专利技术涉及虚拟现实
，特别涉及一种尺度确定方法、装置、存储介质及设备。
技术介绍
视觉惯性里程计是利用相机和IMU(InertialMeasurementUnit，惯性测量单元)实现定位追踪功能的部件，被广泛应用于诸如VR(VirtualReality，虚拟现实)或AR(AugmentedReality，增强显示)之类的产品中。在使用视觉惯性里程计的过程中需要确定视觉惯性里程计的尺度，以便于根据尺度进行定位。其中，尺度是物理量的衡量标准，比如，视觉惯性里程计的位移是1个尺度，则当尺度是1厘米这个衡量标准时，位移是1厘米；当尺度是1分米这个衡量标准时，位移是1分米。相关技术中，视觉惯性里程计中的相机为双目相机，则在确定尺度时，可以获取对双目相机中的两个相机提前标定的内参和外参，再获取世界坐标系中同一个地图点在两个相机上形成的像点的视差，利用三角测量原理根据视差、内参和外参，求解世界坐标系中该地图点距离两个相机的深度，该深度即为视觉惯性里程计的尺度。其中，内参是相机自身特性相关的参数，外参是相机相对于世界坐标系的参数。由于需要提前标定出两个相机的内参和外参，操作步骤较为复杂，导致确定尺度需要消耗较长的时间，确定尺度的效率不高。
技术实现思路
本专利技术实施例提供了一种尺度确定方法、装置、存储介质及设备，用于解决提前标定两个相机的外参和内参导致确定尺度的效率不高的问题。所述技术方案如下：一方面，提供了一种尺度确定方法，用于视觉惯性里程计中，所述视觉惯性里程计包括单目相机和IMU，所述方法包括：获取所述单目相机拍摄的至少两个图像帧；根据所述至少两个图像帧，获取至少一组第一旋转参数和第一位移参数，每组所述第一旋转参数和第一位移参数用于表示所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化，所述第一位移参数中包含所述视觉惯性里程计的尺度，且所述尺度未知；获取至少一组第二旋转参数和第二位移参数，每组所述第二旋转参数和第二位移参数用于表示所述IMU测量得到的所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化；根据所述至少一组第一旋转参数和第一位移参数以及所述至少一组第二旋转参数和第二位移参数，确定所述尺度。一方面，提供了一种尺度确定装置，其特征在于，用于视觉惯性里程计中，所述视觉惯性里程计包括单目相机和惯性测量单元IMU，所述装置包括：获取模块，用于获取所述单目相机拍摄的至少两个图像帧；所述获取模块，还用于根据所述至少两个图像帧，获取至少一组第一旋转参数和第一位移参数，每组所述第一旋转参数和第一位移参数用于表示所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化，所述第一位移参数中包含所述视觉惯性里程计的尺度，且所述尺度未知；所述获取模块，还用于获取至少一组第二旋转参数和第二位移参数，每组所述第二旋转参数和第二位移参数用于表示所述IMU测量得到的所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化；确定模块，用于根据所述获取模块得到的所述至少一组第一旋转参数和第一位移参数以及所述至少一组第二旋转参数和第二位移参数，确定所述尺度。一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的尺度确定方法。一方面，提供了一种尺度确定设备，所述尺度确定设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的尺度确定方法。本专利技术实施例提供的技术方案的有益效果是：虽然可以根据至少两个图像帧计算出至少一组第一旋转参数和第一位移参数，但是每组第一旋转参数和第一位移参数中，第一位移参数中包含视觉惯性里程计的尺度，且该尺度未知，而IMU测量得到的至少一组第二旋转参数和第二位移参数中，第二位移参数中包含的尺度已知，所以，可以根据至少一组第一旋转参数和第一位移参数以及至少一组第二旋转参数和第二位移参数来确定尺度。这样，通过一个单目相机和IMU即可确定尺度，解决了提前标定出两个相机的内参和外参来确定尺度时，确定尺度的效率不高的问题，从而提高了尺度的确定效率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据部分示例性实施例示出的一种实施环境的示意图；图2是本专利技术一个实施例提供的尺度确定方法的方法流程图；图3是本专利技术另一实施例提供的尺度确定方法的方法流程图；图4是本专利技术另一实施例提供的匹配特征点的示意图；图5是本专利技术另一实施例提供的三角测量原理的示意图；图6是本专利技术另一实施例提供的SfM模块和IMU模块的实现流程的示意图；图7是本专利技术一个实施例提供的尺度确定装置的结构框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。请参考图1，其示出了本专利技术实施例提供的实施环境的示意图。图1中以视觉惯性里程计应用于诸如VR和AR之类的头戴式显示器为例进行说明。头戴式显示器是用于佩戴在用户头部进行图像显示的显示器。头戴式显示器通常包括佩戴部和显示部，佩戴部包括用于将头戴式显示器佩戴在用户头部的眼镜腿及弹性带，显示部包括左眼显示屏和右眼显示屏。头戴式显示器能够在左眼显示屏和右眼显示屏显示不同的图像，从而为用户模拟出三维虚拟环境。头戴式显示器通过柔性电路板或硬件接口或数据线或无线网络与虚拟现实主机电性相连。虚拟现实主机用于建模三维虚拟环境、生成三维虚拟环境所对应的三维显示画面、生成三维虚拟环境中的虚拟物体等。当然，虚拟现实主机也可以建模二维虚拟环境、生成二维虚拟环境所对应的二维显示画面、生成二维虚拟环境中的虚拟物体；或者，虚拟现实主机可以建模三维虚拟环境、根据用户的视角位置生成该三维虚拟环境所对应的二维显示画面、生成三维虚拟环境中虚拟物体的二维投影画面等，本实施例对此不作限定。可选地，虚拟现实主机可以集成在头戴式显示器的内部，也可以集成在与头戴式显示器不同的其它设备中，本实施例对此不作限定。本实施例中，以虚拟现实主机集成在与头戴式显示器的内部为例进行说明。其中，其它设备可以为台式计算机或服务器等，本实施例对此不作限定。虚拟现实主机通常由设置在电路板上的处理器、存储器、视觉惯性里程计等电子器件实现。其中，视觉惯性里程计包括相机和IMU，用于采集在捕捉到用户的头部动作时采集图像，并改变头戴式显示器中的显示画面。在用户使用头戴式显示器时，先要对视觉惯性里程计进行初始化，以确定视觉惯性里程计的尺度，后续可以根据尺度实现定位追踪功能。其中，尺度是物理量的衡量标准。比如，单目相机在拍摄相邻两个图像帧时移动了5个尺度，则当尺度是1厘米这个衡量标准时，单目相机的位移是5厘米；当尺度是1分米这个衡量标准时，单目相机的位移是5分米。相关技术中，视觉惯性里程计中的相机为双目相机，即视觉惯性里程计包括两个相机，这会导致视觉惯性里程计的制作成本文档来自技高网...

【技术保护点】
1.一种尺度确定方法，其特征在于，用于视觉惯性里程计中，所述视觉惯性里程计包括单目相机和惯性测量单元IMU，所述方法包括：获取所述单目相机拍摄的至少两个图像帧；根据所述至少两个图像帧，获取至少一组第一旋转参数和第一位移参数，每组所述第一旋转参数和第一位移参数用于表示所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化，所述第一位移参数中包含所述视觉惯性里程计的尺度，且所述尺度未知；获取至少一组第二旋转参数和第二位移参数，每组所述第二旋转参数和第二位移参数用于表示所述IMU测量得到的所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化；根据所述至少一组第一旋转参数和第一位移参数以及所述至少一组第二旋转参数和第二位移参数，确定所述尺度。

【技术特征摘要】
1.一种尺度确定方法，其特征在于，用于视觉惯性里程计中，所述视觉惯性里程计包括单目相机和惯性测量单元IMU，所述方法包括：获取所述单目相机拍摄的至少两个图像帧；根据所述至少两个图像帧，获取至少一组第一旋转参数和第一位移参数，每组所述第一旋转参数和第一位移参数用于表示所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化，所述第一位移参数中包含所述视觉惯性里程计的尺度，且所述尺度未知；获取至少一组第二旋转参数和第二位移参数，每组所述第二旋转参数和第二位移参数用于表示所述IMU测量得到的所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化；根据所述至少一组第一旋转参数和第一位移参数以及所述至少一组第二旋转参数和第二位移参数，确定所述尺度。2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一组第一旋转参数和第一位移参数以及所述至少一组第二旋转参数和第二位移参数，确定所述尺度，包括：根据所述至少一组第一旋转参数和第一位移参数，获取所述单目相机在拍摄所述至少两个图像帧时位置姿态变化的第一变化轨迹；利用所述至少一组第一旋转参数和第一位移参数中的各个第一旋转参数，校正所述至少一组第二旋转参数和第二位移参数中对应的第二旋转参数，得到至少一组第三旋转参数和第二位移参数；根据所述至少一组第三旋转参数和第二位移参数，获取所述单目相机在拍摄所述至少两个图像帧时位置姿态变化的第二变化轨迹；调整所述第一变化轨迹的缩放比例，所述第一变化轨迹的缩放比例与所述尺度相关；获取使缩放后的所述第一变化轨迹和所述第二变化轨迹重合时的所述尺度。3.根据权利要求2所述的方法，其特征在于，所述利用所述至少一组第一旋转参数和第一位移参数中的各个第一旋转参数，校正所述至少一组第二旋转参数和第二位移参数中对应的第二旋转参数，得到至少一组第三旋转参数和第二位移参数，包括：获取所述至少一组第一旋转参数和第一位移参数中各个第一旋转参数，与所述至少一组第二旋转参数和第二位移参数中对应的第二旋转参数的差值，所述差值中包含陀螺仪的偏差且所述偏差未知，所述陀螺仪位于所述IMU中；计算所有的差值之和，并获取使所述差值之和最小时的偏差；根据所述偏差校正所述至少一组第二旋转参数和第二位移参数中的各个第二旋转参数，得到所述至少一组第三旋转参数和第二位移参数。4.根据权利要求1所述的方法，其特征在于，所述根据所述至少两个图像帧，获取至少一组第一旋转参数和第一位移参数，包括：根据所述至少两个图像帧，获取至少一组第一相对旋转参数和第一相对位移参数，每组所述第一相对旋转参数和第一相对位移参数用于表示所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化；根据所述至少一组第一相对旋转参数和第一相对位移参数，获取地图点的坐标，每个地图点对应于所述至少两个图像帧中的一组匹配特征点；根据优化规则对所述地图点的坐标进行优化，得到所述至少一组第一旋转参数和第一位移参数。5.根据权利要求4所述的方法，其特征在于，所述根据所述至少两个图像帧，获取至少一组第一相对旋转参数和第一相对位移参数，包括：删除所述至少两个图像帧中误匹配的各组匹配特征点；对于每相邻两个图像帧，从所述相邻两个图像帧中剩余的匹配特征点中选择至少两组匹配特征点，根据所述至少两组匹配特征点获取一组所述第一相对旋转参数和第一相对位移参数。6.根据权利要求4所述的方法，其特征在于，所述根据优化规则对所述地图点的坐标进行优化，得到所述至少一组第一旋转参数和第一位...

【专利技术属性】
技术研发人员：陈宗豪，肖泽东，郑远力，顾照鹏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44