图像处理方法、电子设备及存储介质技术

本申请提供一种图像处理方法、电子设备及存储介质，方法包括：获取多个时间等间隔的图像帧；对每一个图像帧进行特征提取，确定当前图像帧的特征点，其中，特征点的特征点数据包括描述特征点周围图像区域的描述子；将每一特征点和上一图像帧的所有特征点进行特征匹配，确定和特征点匹配的上一图像帧特征点；将匹配关系数据和图像数据发送到终端，使得终端基于匹配关系数据与图像数据确定目标的三维模型，其中，匹配关系数据包括已匹配的特征点、上一图像帧特征点的特征点ID和特征点数据，图像数据包括当前图像帧的图像数据。本申请能够得到参数精确的三维模型，从而提高三维影像的生成效果，提高用户体验。提高用户体验。提高用户体验。

【技术实现步骤摘要】
图像处理方法、电子设备及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种图像处理方法、电子设备及存储介质。

技术介绍

[0002]智能头戴设备(例如AR眼镜、VR眼镜或者MR眼镜等)发展迅速，应用越来越广泛。智能头戴设备具有三维内容显示与交互功能，但目前三维内容的生产还主要依靠专业的设备和专业的人员。对三维影像的拍摄和分享还不能像二维影像那样方便，配备了摄像头的智能头戴设备在拍摄方面比手持终端(例如手机)更加自然和方便。

技术实现思路

[0003]第一方面，本申请实施例提供一种图像处理方法，应用于智能穿戴设备，包括：
[0004]获取多个时间等间隔的图像帧；
[0005]对每一个所述图像帧进行特征提取，确定当前图像帧的特征点，其中，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
[0006]将每一所述特征点和上一图像帧的所有特征点进行特征匹配，确定和所述特征点匹配的上一图像帧特征点；
[0007]将匹配关系数据和图像数据发送到终端，使得所述终端基于所述匹配关系数据与所述图像数据确定目标的三维模型，其中，所述匹配关系数据包括已匹配的所述特征点、所述上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据。
[0008]在一些实施例中，还包括：
[0009]对每一所述特征点和所述上一图像帧的所有特征点进行特征匹配，确定每一所述特征点和所述上一图像帧的所有特征点的欧氏距离；
[0010]基于各所述欧氏距离确定和所述特征点匹配的所述上一图像帧特征点；
[0011]或，基于快速近邻匹配算法对每一所述特征点和所述上一图像帧的所有特征点进行特征匹配，确定和所述特征点匹配的所述上一图像帧特征点。
[0012]在一些实施例中，还包括：
[0013]确定所述特征点和所述上一图像帧的所有特征点不匹配，舍弃所述特征点；
[0014]确定每一所述特征点和所述上一图像帧的所有特征点不匹配，舍弃所述当前图像帧。
[0015]在一些实施例中，还包括：
[0016]确定所述特征点和所述上一图像帧的所有特征点不匹配，保留所述特征点；
[0017]确定每一所述特征点和所述上一图像帧的所有特征点不匹配，保留所述当前图像帧，舍弃所述上一图像帧。
[0018]第二方面，本申请实施例提供一种图像处理方法，应用于终端，包括：
[0019]接收智能穿戴设备发送的匹配关系数据和图像数据，其中，所述匹配关系数据是所述智能穿戴设备基于当前图像帧的每一特征点和上一图像帧的所有特征点进行特征匹配确定的，所述匹配关系数据包括已匹配的所述特征点、上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
[0020]基于所述匹配关系数据、所述当前图像帧以及所述上一图像帧，确定所述当前图像帧的相机位姿和三维空间点；
[0021]对所有已确定的所述相机位姿和所述三维空间点进行BA优化；
[0022]确定未接收到新的图像帧，对所有已确定的所述相机位姿和所述三维空间点进行BA优化，得到最终的相机位姿和三维空间点；
[0023]基于接收到的所有图像帧，所述所有图像帧最终的相机位姿、相机内参以及三维空间点，确定三维模型。
[0024]在一些实施例中，还包括：
[0025]将所述当前图像帧的相机位姿设定为单位矩阵，并基于所述单位矩阵和所述匹配关系数据确定目标矩阵；
[0026]将所述目标矩阵分解获得所述当前图像帧的相机位姿；
[0027]基于所述当前图像帧的相机位姿、所述上一图像帧的相机位姿以及所述匹配关系数据进行三角测量，确定所述三维空间点。
[0028]在一些实施例中，还包括：
[0029]将接收到的所有图像帧，所述所有图像帧最终的相机位姿、相机内参以及三维空间点输入至目标算法中，输出所述三维模型，其中，所述目标算法为MVS算法或NeRF算法。
[0030]在一些实施例中，还包括：
[0031]基于所述三维模型输出多视角渲染视频或者三维数据文件。
[0032]第三方面，本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像处理方法。
[0033]第四方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像处理方法。
[0034]第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像处理方法。
附图说明
[0035]为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1是本申请一个实施例提供的智能穿戴设备的结构示意图
[0037]图2是本申请一个实施例提供的图像处理方法的流程示意图之一；
[0038]图3是本申请一个实施例提供的图像处理方法的流程示意图之二；
[0039]图4是本申请一个实施例提供的图像处理方法的流程示意图之三；
[0040]图5是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
[0041]为使本申请的技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0042]本申请实施例提供的一些图像处理方法可以应用于可穿戴设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备等智能穿戴设备上，本申请实施例对智能穿戴设备的具体类型不作任何限制。
[0043]示例性地，图1为本申请一个实施例提供的智能穿戴设备的结构示意图，如图1所示，智能穿戴设备100可以包括处理器110，内部存储器121，通用串行总线(universalserial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，无线通信模块160，传感器模块180、按键190、发光二极管(light emitting diode，LED)灯191、摄像头193、显示部件194和光机195等；其中，传感器模块180包括触摸传感器180K；光机195包括镜头和显示屏。
[0044]可以理解的是，本申请实施例示意的结构并不构成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于智能穿戴设备，包括：获取多个时间等间隔的图像帧；对每一个所述图像帧进行特征提取，确定当前图像帧的特征点，其中，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；将每一所述特征点和上一图像帧的所有特征点进行特征匹配，确定和所述特征点匹配的上一图像帧特征点；将匹配关系数据和图像数据发送到终端，使得所述终端基于所述匹配关系数据与所述图像数据确定目标的三维模型，其中，所述匹配关系数据包括已匹配的所述特征点、所述上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据。2.根据权利要求1所述的图像处理方法，其特征在于，还包括：对每一所述特征点和所述上一图像帧的所有特征点进行特征匹配，确定每一所述特征点和所述上一图像帧的所有特征点的欧氏距离；基于各所述欧氏距离确定和所述特征点匹配的所述上一图像帧特征点；或，基于快速近邻匹配算法对每一所述特征点和所述上一图像帧的所有特征点进行特征匹配，确定和所述特征点匹配的所述上一图像帧特征点。3.根据权利要求1所述的图像处理方法，其特征在于，还包括：确定所述特征点和所述上一图像帧的所有特征点不匹配，舍弃所述特征点；确定每一所述特征点和所述上一图像帧的所有特征点不匹配，舍弃所述当前图像帧。4.根据权利要求1所述的图像处理方法，其特征在于，还包括：确定所述特征点和所述上一图像帧的所有特征点不匹配，保留所述特征点；确定每一所述特征点和所述上一图像帧的所有特征点不匹配，保留所述当前图像帧，舍弃所述上一图像帧。5.一种图像处理方法，其特征在于，应用于终端，包括：接收智能穿戴设备发送的匹配关系数据和图像数据，其中，所述匹配关系数据是所述智能穿戴设备基于当前图像帧的每一特征点和上一图像帧的所有特征点进行特征匹配确定的，所述匹配关系数据包括已匹配的所述特征点、上一图像帧特征点的特征点ID和特...

【专利技术属性】
技术研发人员：顾晓光，
申请(专利权)人：湖北星纪魅族科技有限公司，
类型：发明
国别省市：