一种图像特征优化方法、装置、终端设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种图像特征优化方法、装置、终端设备及计算机可读存储介质，所述方法通过从现实场景中获取三个特征点并构建一组摄像装置运动方程，根据等距分布假设构建出摄像装置运动参数表达式，继而通过混合粒子群算法计算出摄像装置运动参数。根据摄像装置运动参数和第一特征点在第一全景图像的方位角实际值，计算第一特征点的实际匹配特征点在第二全景图像的方位角估算值；再由得到的方位角的估算值与第二特征点在第二全景图像的方位角实际值进行比对，最终判断出第一特征点和第二特征点是否匹配。通过实施本发明专利技术实施例能在不知道全景相机的结构及设备参数的情况下，消除两全景图像中匹配错误的特征点对，且不易受环境条件的影响。

An Image Feature Optimization Method, Device, Terminal Equipment and Readable Storage Media

【技术实现步骤摘要】
一种图像特征优化方法、装置、终端设备及可读存储介质
本专利技术涉及计算机视觉
，尤其涉及一种图像特征优化方法、装置、终端设备及计算机可读存储介质。
技术介绍
基于折反射全景图像的特征匹配在很多计算机视觉相关的任务中是很重要的一个步骤，例如图像拼接、目标识别及运动估计等。RANSAC(RandomSampleandConsensus)是一种应用广泛的消除误匹配方法。这种方法采用大量匹配特征点样本进行实验找到最适合的参数，并通过这些参数建立两幅图像间的转换矩阵。该矩阵一般描述平移、旋转及尺度等变换。利用转换矩阵，可以根据一个特征点在图像中的位置坐标来估计其匹配点的坐标，进而判断特征点匹配对是否正确。在折反射全景图像中，由于其投影关系较为复杂且存在成像畸变，因此在两幅图像中的特征点之间难以建立统一的转换矩阵。即RANSAC方法难以直接应用于未处理的折反射全景图像上，其一般需要先将全景图像展开后才能处理，但在全景图像的展开过程中，不仅会增加额外的计算量还会丢失部分图像信息。因此现有专利CN106709942A,公开了一种基于特征方位角的全景图像误匹配消除方法，能够在不展开全景图像的情况下，消除误全景图像中误匹配的特征点对，但是其仍存在如下缺点：1.需要预先知道全景相机的结构及设备参数(如反射镜的长短轴a、b及相机焦距f)，才可以在图像中计算出horizon圆的位置；2.现有专利CN106709942A，是根据两幅图像中horizon圆区域相应像素间灰度值的差异来确定相机的最优运动参数ρ、ψ和α的，而图像的像素灰度值容易受拍摄环境中光照亮度等因素的影响，导致上述相机运动参数的计算准确度受环境条件影响较大。
技术实现思路
为解决上述两个问题，本专利技术实施例提供一种图像特征优化方法、装置、终端设备以及计算机可读存储介质，所述方法能在不知道全景相机的结构及设备参数的情况下，消除两全景图像中匹配错误的特征点对，且不易受环境条件的影响。本专利技术一实施例提供一种图像特征优化方法，包括：获取待检测特征点对；其中，所述待检测特征点对，包括从第一全景图像获取的第一特征点，以及从第二全景图像获得的第二特征点，所述第一全景图像和所述第二全景图像均基于同一现实场景生成；根据摄像装置运动参数和所述第一特征点在所述第一全景图像的方位角实际值，计算所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值；计算所述方位角估算值与所述第二特征点在所述第二全景图像的方位角实际值的差值，若所述差值超过预设阈值，则判断所述待检测特征点对匹配错误并剔除；其中，所述摄像装置运动参数的生成方法包括:从所述现实场景中，获取至少三个特征点，分别为点A、B和C，并构建如下至少一组摄像装置运动方程：其中，所述θc1、θc2、θc3分别为所述点A、B、C在所述第一全景图像中的方位角实际值，θH1、θH2、θH3分别为所述点A、B、C在所述第二全景图像中的方位角实际值，所述α为所述摄像装置从所述第二全景图像的拍摄位置，移动至所述第一全景图像的拍摄位置的平移运动的方向角，Ψ为所述摄像装置在所述第一全景图像的拍摄位置时，相对与所述第二全景图像的拍摄位置的自身旋转角度，ρ1＝d1/r1；ρ2＝d2/r2；ρ3＝d3/r3；d1、d2、d3，为所述第一全景图像的拍摄位置与第二全景图像的拍摄位置之间的距离；r1、r2、r3分别为所述点A、B、C与所述第二全景图像的拍摄位置的距离；根据等距分布假设，将ρ1、ρ2、ρ3均作为ρ，继而根据(1)式可得，摄像装置运动参数表达式：根据通过混合粒子群算法获得f(ρ,Ψ,α)取最小值时对应的ρ、Ψ、α的值，获得到所述摄像装置运动参数。进一步的，所述通过混合粒子群算法获得f(ρ,Ψ,α)取最小值时对应的ρ、Ψ、α的值，具体为：初始化所述摄像装置运动参数，并进行粒子个体编码，获得若干粒子个体；其中，每一粒子个体采用实数编码方式进行编码，编码长度为3，每一所述粒子个体随机生成，用于表示一组参数解k1、k2、k3，且k1、k2、k3分别与所述摄像装置运动参数ρ、Ψ、α，一一对应；以f(ρ,Ψ,α)为适应度函数，计算每一所述粒子个体的适应度值；将所述粒子个体进行参数粒子交叉，及参数粒子变异后，获得最优个体粒子；其中，所述最优个体粒子为适应度值最小的个体粒子；将所述最优个体粒子的参数解，作为所述摄像装置运动参数。进一步的，所述摄像装置运动参数的生成方法还包括：以三个特征点为一特征点组，从所述现实场景中获取多组特征点组；根据每一所述特征点组，构建对应的摄像装置运动参数表达式，获得多项摄像装置运动参数表达式；通过所述混合粒子群算法，获得每一摄像运动参数表达式取最小值时对应的ρ、Ψ、α的取值；分别计算所有ρ、所有Ψ、所有α的离差平方和，获得和将和作为所述摄像装置运动参数。进一步的，通过以下公式计算所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值：其中，所述为所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值，所述θC所述第一特征点在所述第一全景图像的方位角实际值。在上述方法项实施例的基础上，本专利技术对应提供了装置项实施例；本专利技术一实施例提供了一种图像特征优化装置，包括待检测特征点获取模块、方位角估算值计算模块和待检测特征点判断模块；其中，所述方位角估算值计算模块包括运动方程构建单元、运动参数表达式构建单元以及运动参数计算单元；所述待检测特征点获取模块，用于获取待检测特征点对；其中，所述待检测特征点对，包括从第一全景图像获取的第一特征点，以及从第二全景图像获得的第二特征点，所述第一全景图像和所述第二全景图像均基于同一现实场景生成；所述方位角估算值计算模块，用于根据摄像装置运动参数和所述第一特征点在所述第一全景图像的方位角实际值，计算所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值；所述待检测特征点判断模块，用于计算所述方位角估算值与所述第二特征点在所述第二全景图像的方位角实际值的差值，若所述差值超过预设阈值，则判断所述待检测特征点对匹配错误并剔除；所述运动方程构建单元，用于从所述现实场景中，获取至少三个特征点，分别为点A、B和C，并构建如下至少一组摄像装置运动方程：其中，所述θc1、θc2、θc3分别为所述点A、B、C在所述第一全景图像中的方位角实际值，θH1、θH2、θH3分别为所述点A、B、C在所述第二全景图像中的方位角实际值，所述α为所述摄像装置从所述第二全景图像的拍摄位置，移动至所述第一全景图像的拍摄位置的平移运动的方向角，Ψ为所述摄像装置在所述第一全景图像的拍摄位置时，相对与所述第二全景图像的拍摄位置的自身旋转角度，ρ1＝d1/r1；ρ2＝d2/r2；ρ3＝d3/r3；d1、d2、d3，为所述第一全景图像的拍摄位置与第二全景图像的拍摄位置之间的距离；r1、r2、r3分别为所述点A、B、C与所述第二全景图像的拍摄位置的距离；所述运动参数表达式构建单元，用于根据等距分布假设，将ρ1、ρ2、ρ3均作为ρ，继而根据(1)式可得，摄像装置运动参数表达式：所述运动参数计算单元，用于根据通过混合粒子群算法获得f(ρ,Ψ,α)取最小值时对应的ρ、Ψ、α的值，获得到所述摄像装置运动参数。在本专利技术方法项实施例的基础上提供本文档来自技高网...

【技术保护点】
1.一种图像特征优化方法，其特征在于，包括：获取待检测特征点对；其中，所述待检测特征点对，包括从第一全景图像获取的第一特征点，以及从第二全景图像获得的第二特征点，所述第一全景图像和所述第二全景图像均基于同一现实场景生成；根据摄像装置运动参数和所述第一特征点在所述第一全景图像的方位角实际值，计算所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值；计算所述方位角估算值与所述第二特征点在所述第二全景图像的方位角实际值的差值，若所述差值超过预设阈值，则判断所述待检测特征点对匹配错误并剔除；其中，所述摄像装置运动参数的生成方法包括:从所述现实场景中，获取至少三个特征点，分别为点A、B和C，并构建如下至少一组摄像装置运动方程：

【技术特征摘要】
1.一种图像特征优化方法，其特征在于，包括：获取待检测特征点对；其中，所述待检测特征点对，包括从第一全景图像获取的第一特征点，以及从第二全景图像获得的第二特征点，所述第一全景图像和所述第二全景图像均基于同一现实场景生成；根据摄像装置运动参数和所述第一特征点在所述第一全景图像的方位角实际值，计算所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值；计算所述方位角估算值与所述第二特征点在所述第二全景图像的方位角实际值的差值，若所述差值超过预设阈值，则判断所述待检测特征点对匹配错误并剔除；其中，所述摄像装置运动参数的生成方法包括:从所述现实场景中，获取至少三个特征点，分别为点A、B和C，并构建如下至少一组摄像装置运动方程：其中，所述θc1、θc2、θc3分别为所述点A、B、C在所述第一全景图像中的方位角实际值，θH1、θH2、θH3分别为所述点A、B、C在所述第二全景图像中的方位角实际值，所述α为所述摄像装置从所述第二全景图像的拍摄位置，移动至所述第一全景图像的拍摄位置的平移运动的方向角，ψ为所述摄像装置在所述第一全景图像的拍摄位置时，相对与所述第二全景图像的拍摄位置的自身旋转角度，ρ1＝d1/r1；ρ2＝d2/r2；ρ3＝d3/r3；d1、d2、d3为所述第一全景图像拍摄位与第二全景图像中的拍摄位置之间的距离，r1、r2、r3分别为所述点A、B、C与所述第二全景图像的拍摄位置的距离；根据等距分布假设，将ρ1、ρ2、ρ3均作为ρ，继而根据(1)式可得，摄像装置运动参数表达式：根据通过混合粒子群算法获得f(ρ,ψ,α)取最小值时对应的ρ、ψ、α的值，获得到所述摄像装置运动参数。2.如权利要求1所述的图像特征优化方法，其特征在于，所述通过混合粒子群算法获得f(ρ,ψ,α)取最小值时对应的ρ、ψ、α的值，具体为：初始化所述摄像装置运动参数，并进行粒子个体编码，获得若干粒子个体；其中，每一粒子个体采用实数编码方式进行编码，编码长度为3，每一所述粒子个体随机生成，用于表示一组参数解k1、k2、k3，且k1、k2、k3分别与所述摄像装置运动参数ρ、ψ、α，一一对应；以f(ρ,ψ,α)为适应度函数，计算每一所述粒子个体的适应度值；将所述粒子个体进行参数粒子交叉，及参数粒子变异后，获得最优个体粒子；其中，所述最优个体粒子为适应度值最小的个体粒子；将所述最优个体粒子的参数解，作为所述摄像装置运动参数。3.如权利要求1所述的图像特征优化方法，其特征在于，所述摄像装置运动参数的生成方法还包括：以三个特征点为一特征点组，从所述现实场景中获取多组特征点组；根据每一所述特征点组，构建对应的摄像装置运动参数表达式，获得多项摄像装置运动参数表达式；通过所述混合粒子群算法，获得每一摄像运动参数表达式取最小值时对应的ρ、ψ、α的取值；分别计算所有ρ、所有ψ、所有α的离差平方和，获...

【专利技术属性】
技术研发人员：刘传家，赵常均，李博，林贞琼，
申请(专利权)人：广州智能装备研究院有限公司，
类型：发明
国别省市：广东,44