基于计算机视觉的虚拟现实场景三维目标检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于计算机视觉的虚拟现实场景三维目标检测方法及装置，涉及虚拟现实技术领域，该方法包括对虚拟现实场景中的图像进行灰度化处理，并利用虚拟现实技术，定位处理后图像中的目标；基于孪生网络获取得到对图像中目标进行标框处理后得到的虚拟现实图像；基于神经网络对标框内的目标进行特征提取，以实现对标框内目标的分类；将提取的特征输入至分类器，基于分类器对标框内目标的分类结果进行检测。本发明专利技术能够有效避免神经网络参数寻优时容易陷入局部最优的情况，同时，还能够避免传统梯度下降算法中的梯度消失和梯度爆炸现象。爆炸现象。爆炸现象。

【技术实现步骤摘要】
基于计算机视觉的虚拟现实场景三维目标检测方法及装置


[0001]本专利技术涉及虚拟现实
，具体涉及一种基于计算机视觉的虚拟现实场景三维目标检测方法及装置。

技术介绍

[0002]计算机技术的进步也带来了更多现代化的设计辅助方式，其中虚拟现实技术具有全新可视化效果和独特的交互方式，虚拟现实技术的主要原理是利用计算机仿真技术创建虚拟的世界，用户可以沉浸在其中，并获得身临其境的体验。
[0003]随着虚拟现实技术的发展而衍生出来的增强现实技术则是将计算机生成出来的虚拟信息叠加到真实世界当中，从而实现对现实世界的增强。增强现实的优势是用户所体验的空间并非完全脱离于现实，而是建立在现实世界之上，因此可以实现信息增强、导航等功能，目前在教育培训、工业检测、游戏娱乐等行业得到了快速的发展和应用。虚拟现实应用必须理解自身所处的环境，其中的关键技术就是对现实中的三维物体进行检测和位姿估计。三维目标检测，指的是在图像中检测出特定的物体并给出物体的三维空间信息。
[0004]目前，针对虚拟现实的三维目标检测还处在初步发展阶段，大多数虚拟现实系统中仅仅检测简单平面和特定二维图像。虽然也存在一些技术能够进行三维目标识别与检测，但检测精度有待进一步提升。同时，现有的基于深度学习的检测方法中，在神经网络模型进行参数寻优时，容易陷入局部最优解的情况，且容易产生梯度消失和梯度爆炸现象。

技术实现思路

[0005]针对现有技术中存在的缺陷，本专利技术的目的在于提供一种基于计算机视觉的虚拟现实场景三维目标检测方法及装置，能够有效避免神经网络参数寻优时容易陷入局部最优的情况，同时，还能够避免传统梯度下降算法中的梯度消失和梯度爆炸现象。
[0006]为达到以上目的，本专利技术提供的一种基于计算机视觉的虚拟现实场景三维目标检测方法，具体包括以下步骤：
[0007]对虚拟现实场景中的图像进行灰度化处理，并利用虚拟现实技术，定位处理后图像中的目标；
[0008]基于孪生网络获取得到对图像中目标进行标框处理后得到的虚拟现实图像；
[0009]基于神经网络对标框内的目标进行特征提取，以实现对标框内目标的分类；
[0010]将提取的特征输入至分类器，基于分类器对标框内目标的分类结果进行检测。
[0011]在上述技术方案的基础上，所述对虚拟现实场景中的图像进行灰度化处理，具体步骤包括：
[0012]基于灰度模型与彩色图像模型间的对应关系，对虚拟现实场景中的图像进行灰度化处理；
[0013]采用均值滤波法对灰度化处理完成的图像进行抑制噪声处理，将图像划分为多个尺寸相同的模板。
[0014]在上述技术方案的基础上，所述基于灰度模型与彩色图像模型间的对应关系，对虚拟现实场景中的图像进行灰度化处理，具体为：
[0015]将灰度模型中的G(r,r,r)，与彩色图像模型中的RGB(R,G,B)对应，并进行灰度的取值范围划分；
[0016]根据加权平均法，得到三原色所涉权值以计算RGB的加权平均值，具体为：
[0017]R＝G＝B＝(Q
r
R+Q
g
G+Q
b
B)
[0018]其中，Q
r
表示R的所在比重，Q
g
表示G的所在比重，Q
b
表示B的所在比重；
[0019]通过加权平均计算得到灰度Gray，计算方式为：
[0020]Gray＝0.3R+0.59G+0.11B。
[0021]在上述技术方案的基础上，所述采用均值滤波法对灰度化处理完成的图像进行抑制噪声处理，具体的计算过程为：
[0022][0023]其中，k(a,b)表示采用均值滤波法处理后得到的滤波图像，ES表示模板中所有像素点的集合，N表示集合内像素点的总数，j(x,y)表示灰度化处理完成后的图像，x和y表示灰度化处理完成后图像的分辨率。
[0024]在上述技术方案的基础上，
[0025]所述孪生网络的主干网络采用VGG
‑
Net的前三层；
[0026]当采用孪生网络对图像进行处理时，取每一层的侧输出均对应训练一滤波器，进行滤波计算得到置信图，通过线性加权融合方法将三个置信图得到图像，进行图像中目标的标框处理。
[0027]在上述技术方案的基础上，
[0028]所述滤波器为判别式滤波器，在孪生网络每一层侧输出目标特征块上训练滤波器，理想输出y∈R
M
×
N
是在中心位置突起的高斯函数，R表示数据的空间，M
×
N
×
H表示尺寸为M
×
N
×
H的三维空间，M
×
N表示尺寸为M
×
N的二维空间；
[0029]所述滤波器通过最小化输出岭回归得到：
[0030][0031]其中，w
l
表示滤波器w的第l通道，*表示循环卷积，λ表示正则化参数，ε表示滤波器的输出，D表示数据的通道数，表示第l通道的输出目标特征块。
[0032]在上述技术方案的基础上，
[0033]对灰度化处理后的图像进行搜索，通过孪生网络进行特征提取，提取特征为通过滤波计算得到的置信图g的最大值位置作为分类器预测的目标位置：
[0034][0035]其中，表示w1的离散傅里叶变换，表示第l通道的输出目标特征块，F
‑1表
示函数的
‑
1次方；
[0036]将进行灰度化处理后图像的真值图像和孪生网络输出的图像进行比对，并进行更新，具体为：
[0037]φ(Z
t
)＝a
×
φ(Z1)+(1
‑
a)
×
φ(Z
t
‑1)
[0038]其中，φ(Z
t
)表示下一次将要更新的真值图像，a表示模板更新学习率，φ(Z1)表示更新后的真值图像，φ(Z
t
‑1)输入的真值图像。
[0039]在上述技术方案的基础上，
[0040]所述神经网络包括三层，第一层为输入层，且输入层的神经元个数与输入样本的像素值维度相同，第二层和第三次的神经元个数与第一层相同；
[0041]所述神经网络中神经元的参数w
ne
和参数b
ne
通过搜索算子算法进行优化，参数w
ne
表示神经元的权重，参数b
ne
表示神经元的阈值；
[0042]优化步骤具体包括：
[0043]定义搜索算子并设置搜索条件，其中，搜索算子的个体状态表示为，
[0044]X＝[x1,x2,
…
,x
n
][0045]其中，X表示搜索算子的个体状态集合，x
n
表示第n个搜索算子的个体状态，n表示搜索算子种群中的搜本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的虚拟现实场景三维目标检测方法，其特征在于，具体包括以下步骤：对虚拟现实场景中的图像进行灰度化处理，并利用虚拟现实技术，定位处理后图像中的目标；基于孪生网络获取得到对图像中目标进行标框处理后得到的虚拟现实图像；基于神经网络对标框内的目标进行特征提取，以实现对标框内目标的分类；将提取的特征输入至分类器，基于分类器对标框内目标的分类结果进行检测。2.如权利要求1所述的一种基于计算机视觉的虚拟现实场景三维目标检测方法，其特征在于，所述对虚拟现实场景中的图像进行灰度化处理，具体步骤包括：基于灰度模型与彩色图像模型间的对应关系，对虚拟现实场景中的图像进行灰度化处理；采用均值滤波法对灰度化处理完成的图像进行抑制噪声处理，将图像划分为多个尺寸相同的模板。3.如权利要求2所述的一种基于计算机视觉的虚拟现实场景三维目标检测方法，其特征在于，所述基于灰度模型与彩色图像模型间的对应关系，对虚拟现实场景中的图像进行灰度化处理，具体为：将灰度模型中的G(r,r,r)，与彩色图像模型中的RGB(R,G,B)对应，并进行灰度的取值范围划分；根据加权平均法，得到三原色所涉权值以计算RGB的加权平均值，具体为：R＝G＝B＝(Q
r
R+Q
g
G+Q
b
B)其中，Q
r
表示R的所在比重，Q
g
表示G的所在比重，Q
b
表示B的所在比重；通过加权平均计算得到灰度Gray，计算方式为：Gray＝0.3R+0.59G+0.11B。4.如权利要求2所述的一种基于计算机视觉的虚拟现实场景三维目标检测方法，其特征在于，所述采用均值滤波法对灰度化处理完成的图像进行抑制噪声处理，具体的计算过程为：其中，k(a,b)表示采用均值滤波法处理后得到的滤波图像，ES表示模板中所有像素点的集合，N表示集合内像素点的总数，j(x,y)表示灰度化处理完成后的图像，x和y表示灰度化处理完成后图像的分辨率。5.如权利要求2所述的一种基于计算机视觉的虚拟现实场景三维目标检测方法，其特征在于：所述孪生网络的主干网络采用VGG
‑
Net的前三层；当采用孪生网络对图像进行处理时，取每一层的侧输出均对应训练一滤波器，进行滤波计算得到置信图，通过线性加权融合方法将三个置信图得到图像，进行图像中目标的标框处理。6.如权利要求5所述的一种基于计算机视觉的虚拟现实场景三维目标检测方法，其特
征在于：所述滤波器为判别式滤波器，在孪生网络每一层侧输出目标特征块上训练滤波器，理想输出y∈R
M
×
N
是在中心位置突起的高斯函数，R表示数据的空间，M
×
N
×
H表示尺寸为M
×
N
×
H的三维空间，M
×
N表示尺寸为M
×
N的二维空间；所述滤波器通过最小化输出岭回归得到：其中，w
l
表示滤波器w的第l通道，*表示循环卷积，λ表示正则化参数，ε表示滤波器的输出，D表示数据的通道数，表示第l通道的输出目标特征块。7.如权利要求6所述的一种基于计算机视觉的虚拟现实场景三维目标检测方法，其特征在于：对灰度化处理后的图像进行搜索，通过孪生网络进行特征提取，提取特征为通过滤波计算得到的置信图g的最大值位置作为分类器预测的目标位置：其中，表示w1的离散傅里叶变换，表示第l通道的输出目标特征块，F
‑1表示函数的
‑
1次方；将进行灰度化处理后图像的真值图像和孪生网络输出的图像进行比对，并进行更新，具体为：φ(Z
t
)＝a
×
φ(Z1)+(1
‑
a)
×
φ(Z
t
‑1)其中，φ(Z
t
)表示下一次将要更新的真值图像，a表示模板更新学习率，φ(Z1)表示更新后的真值图像，φ(Z
t
‑1)输入的真值图像。8.如权利要求1所述的一种基于计算机视觉的虚拟现实场景三维目标检测方法，其特征在于：所述神经网络包括三层，第一层为输入层，且输...

【专利技术属性】
技术研发人员：曹晟，刘文彬，贾全，何政，
申请(专利权)人：中国铁塔股份有限公司湖北省分公司，
类型：发明
国别省市：