基于神经网络的增强现实跟踪方法技术

本发明专利技术公开了一种基于神经网络的增强现实跟踪方法，包括：S1、建立神经网络结构；S2、用图像序列中目标对象的运动数据作为训练数据训练神经网络，调整神经网络中各层的权重；S3、提取视频中首帧图像的角点特征；S4、通过神经网络预测，得到目标对象的运动趋势；S5、在目标对象的运动趋势方向上在后续图像序列中对目标对象进行跟踪。本发明专利技术通过神经网络预测目标对象的运动趋势，减小了搜索范围和计算过程中的迭代次数，从而缩减了跟踪计算时间，提高了跟踪效率。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种，包括：S1、建立神经网络结构；S2、用图像序列中目标对象的运动数据作为训练数据训练神经网络，调整神经网络中各层的权重；S3、提取视频中首帧图像的角点特征；S4、通过神经网络预测，得到目标对象的运动趋势；S5、在目标对象的运动趋势方向上在后续图像序列中对目标对象进行跟踪。本专利技术通过神经网络预测目标对象的运动趋势，减小了搜索范围和计算过程中的迭代次数，从而缩减了跟踪计算时间，提高了跟踪效率。【专利说明】
本专利技术涉及增强现实
，尤其涉及一种基于神经网络的增强现实跟踪方 法。
技术介绍
增强现实是通过计算机产生虚拟三维模型并将虚拟模型叠加在现实世界中的展 示，以达到增强现实的技术，也称作混合现实。 目前，很多增强现实系统是基于标记的增强现实系统，需事先准备标记并且提取 标记的特征信息将其存于数据库中，当摄像头再次捕获到标记的时候进行识别、跟踪、定位 并叠加模型。基于标记的增强现实系统中标记可以使二维码、圆形等，腾讯科技（深圳） 有限公司在2014年公开了一种二维码的增强现实实现方法和装置（中国专利申请号： 201310031075. 1)。基于标记的增强现实系统易于实现，然而由于要事先准备标记，使得其 应用场景大大受限。 然而，现有基于标记的增强现实系统由于要事先准备标记，存在应用场景受限的 缺点；现有跟踪方法没有对目标对象的运动做运动趋势预测，因此跟踪计算时间较长。 无标记的增强现实系统图像提取自然特征并在后续图像序列中对这些自然特征 进行跟踪，再进一步定位并叠加模型。无标记的增强现实系统克服了基于标记增强现实系 统应用场景受限的缺点，能够实时应用于未知场景中。 因此，针对上述技术问题，有必要提供一种。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种，通过 神经网络预测平面目标的运动趋势，将预测位置作为跟踪初始位置做跟踪，提高对目标跟 踪的准确性和实时性。 为了达到上述目的，本专利技术实施例提供的技术方案如下： 一种，所述方法包括： S1、建立神经网络结构； S2、用图像序列中目标对象的运动数据作为训练数据训练神经网络，调整神经网 络中各层的权重； S3、提取视频中首帧图像的角点特征； S4、通过神经网络预测，得到目标对象的运动趋势； S5、在目标对象的运动趋势方向上在后续图像序列中对目标对象进行跟踪。 作为本专利技术的进一步改进，所述神经网络结构包括1个输入层、1个隐藏层及1个 输出层，输入层的神经元个数为K，隐藏层的神经元个数为M，输出层神经元个数为1，其中 上一层神经元与下一层各神经元之间的权重为 Wij，初始权重取随机常量Wij e ， 激活函数选取Sigmoid函数 【权利要求】1. 一种，其特征在于，所述方法包括： 51、 建立神经网络结构； 52、 用图像序列中目标对象的运动数据作为训练数据训练神经网络，调整神经网络中 各层的权重； 53、 提取视频中首帧图像的角点特征； 54、 通过神经网络预测，得到目标对象的运动趋势； 55、 在目标对象的运动趋势方向上在后续图像序列中对目标对象进彳丁跟示。2. 根据权利要求1所述的方法，其特征在于，所述神经网络结构包括1个输入层、1 个隐藏层及1个输出层，输入层的神经元个数为K，隐藏层的神经元个数为M，输出层神经 元个数为1，其中上一层神经元与下一层各神经元之间的权重为wu，初始权重取随机常量 Wij e ，激活函数选取Sigmoid函数供⑴=3. 根据权利要求2所述的方法，其特征在于，所述步骤S2具体为： 521、 准备训练数据； 522、 对训练数据进行归范化处理； 523、 通过规范化处理后的训练数据训练神经网络，调整神经网络中各层的权重，从而 训练出最优的神经网络。4. 根据权利要求3所述的方法，其特征在于，所述步骤S21具体为： 获得目标对象在每帧中的坐标值Pi (Xi，yi)，（i = 1，...，N)，N为视频帧数； 计算相邻两帧之间目标对象位移的变化量AUi(AXi，Ayi)，（i = 1，...N)，AXi为目 标对象沿X轴方向的变化量，Λ yi为目标对象沿Y轴方向的变化量，图像的左上角为坐标原 点，首帧图像的变化量为Λ Ul (0, 0)。5. 根据权利要求3所述的方法，其特征在于，所述步骤S22中规范化处理为最小-最大 规范化处理：V=，其中，Vi为原始数据，v/为归范化后的数据，min为原始数 据的最小值，max为原始数据的最大值。6. 根据权利要求3所述的方法，其特征在于，所述步骤S23具体为： 将规范化后的训练数据AXi(i = 1，...K)输入神经网络输入层，在神经网络输出 层得到第Κ+1个位移变化量的预测值，即第Κ+1帧与第Κ帧中目标对象的位移变化量 Διι(Δχ\+1, Ay\+1); 对比真实值Λ Ui ( Λ xk，Λ yk)与预测值Λ u ( Λ x'k+1，Λ y'k+1)之差，调整隐藏层与输出层 之间的权重；再向前传递误差，调整输入层与隐藏层之间的误差；反复多次训练直到训练 出最优的神经网络。7. 根据权利要求1所述的方法，其特征在于，所述步骤S3中的角点特征具体为： 若图像灰度强度的二阶导数矩阵3矩阵Η两个特征值中较小的一 个大于设定的阈值，则认为该点特征为角点特征。8. 根据权利要求1所述的方法，其特征在于，所述步骤S4具体为： 得到目标对象在图像中的坐标Pi(Xi, yi), (i = 1，·…，K); 在得到的坐标序列中计算相邻巾贞目标对象的位移偏移量Διι^Δχρ Ayi), (i = 1,... K)； 将前Κ帧图像目标对象位移偏移量输入已训练好的神经网络预测得到第Κ+1个位移偏 移量 Au(Ax'k+1, Ay'k+1); 在第Κ+l帧跟踪之前计算该帧目标对象的估计位置： P'k+i (χ'k+i, y'w) = (χ^Δχ\+ι, υ^δυ\+ι)； 将得到的估计位置p' k+1 (X' k+1，y' k+1)作为跟踪的初始位置。9. 根据权利要求8所述的方法，其特征在于，所述步骤S5具体为： 将估计位置P' k+1 (X' k+1，y' k+1)作为初始位置在原始图像上采用KLT算法跟踪目标对象。【文档编号】G06N3/02GK104299245SQ201410539449【公开日】2015年1月21日 申请日期:2014年10月13日 优先权日:2014年10月13日 【专利技术者】樊春玲, 姜青山 申请人:深圳先进技术研究院本文档来自技高网...

【技术保护点】
一种基于神经网络的增强现实跟踪方法，其特征在于，所述方法包括：S1、建立神经网络结构；S2、用图像序列中目标对象的运动数据作为训练数据训练神经网络，调整神经网络中各层的权重；S3、提取视频中首帧图像的角点特征；S4、通过神经网络预测，得到目标对象的运动趋势；S5、在目标对象的运动趋势方向上在后续图像序列中对目标对象进行跟踪。

【技术特征摘要】

【专利技术属性】
技术研发人员：樊春玲，姜青山，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东;44