人工智能设备、视觉定位方法、装置及可读存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，提供一种人工智能设备、视觉定位方法、装置及可读存储介质。本发明专利技术通过取自然场景中的文字信息，进而获取到场景中的平面信息，在此基础上基于文字平面信息的重投影误差和光度误差进行视觉定位。一方面为视觉系统增加了一种更高级语义特征，在点线特征缺乏但存在文字信息的区域视觉系统仍然可以稳定定位，提高了视觉定位系统的场景适应性和鲁棒性。另一方面，文字信息特征相比于传统点、线特征而言，对于弱纹理、快速运动、运动模糊的情况具备更好的抵抗力，因此引入文字信息有助于提高定位系统对于运动模糊、快速运动的稳定性。动的稳定性。动的稳定性。

【技术实现步骤摘要】
人工智能设备、视觉定位方法、装置及可读存储介质


[0001]本专利技术涉及人工智能领域，尤其涉及一种人工智能设备、视觉定位方法、装置及可读存储介质。

技术介绍

[0002]随着人工智能技术的爆发，各种可自动行驶的人工智能设备的研发与落地也得到了广泛的关注。定位技术作为人工智能设备的核心技术，其相关的学术研究与实践落地也得到了广泛的研究与挖掘。
[0003]近年来，基于视觉的室内定位技术取得了较大的进展。视觉定位技术也由于其采用的相机传感器价格相对低廉，采集的数据信息量大可以较为鲁棒的完成感知、重定位等工作需求的原因，迅速得到学术界和产业界的广泛研究与运用。但是基于纯视觉的定位方案一般都主要提取视觉点特征、线特征等低级别的视觉特征来进行定位，这类低级别的视觉特征在用于对弱纹理、快速运动、模糊运动定位时的稳定性比较差。

技术实现思路

[0004]本专利技术所要解决的技术问题为如何提升对于弱纹理、快速运动、模糊运动的准确定位。
[0005]第一方面，本专利技术实施例提供了一种人工智能设备，所述人工智能设备可自动行进，包括相机、存储器和处理器；所述相机用于拍摄所述人工智能设备当前所处场景的图像组；所述存储器存储有可执行程序代码；所述处理器用于调用并运行所述可执行程序代码来实现视觉定位方法；所述视觉定位方法包括：通过所述相机所拍摄的图像组得到所述人工智能设备的位姿信息；当检测到所述图像组中有图像包含文字信息时，建立所述文字信息所在区域的初始平面方程，所述初始平面方程中包含平面参数；利用所述平面参数对所述文字信息所在区域中的地图点特征进行投影预测，并计算投影预测过程中所产生的重投影误差；对所述文字信息所在区域进行投影预测，并于所述文字信息所在区域中选取若干角点，利用所述若干角点构造出所述文字信息所在区域的光度误差；将所述重投影误差与所述光度误差以各自对应的权重系数进行加权运算得到约束残差，利用所述约束残差优化所述位姿信息，并使用优化后的位姿信息进行视觉定位。
[0006]第二方面，本专利技术实施例还提供了一种视觉定位装置，所述视觉定位装置应用于可自动行进的人工智能设备中，所述人工智能设备包括相机，所述相机用于拍摄所述人工智能设备当前所处场景的图像组；所述视觉定位装置包括：位姿计算模块，用于通过所述相机所拍摄的图像组计算得到所述人工智能设备的位姿信息；文字信息检测模块，用于检测到所述图像组中是否有图像包含文字信息；
平面方程建立模块，用于当所述文字信息检测模块检测到所述图像组中有图像包含文字信息时，建立所述文字信息所在区域的初始平面方程，所述初始平面方程中包含平面参数；重投影误差计算模块，用于利用所述平面参数对所述文字信息所在区域中的地图点特征进行投影预测，并得到投影预测过程中所产生的重投影误差；光度误差计算模块，用于对所述文字信息所在区域进行投影预测，并于所述文字信息所在区域中选取若干角点，利用所述若干角点构造出所述文字信息所在区域的光度误差；定位模块，用于将所述重投影误差与所述光度误差以各自对应的权重系数进行加权运算得到约束残差，利用所述约束残差优化所述位姿信息，并使用优化后的位姿信息进行视觉定位。
[0007]第三方面，本专利技术实施例还提供了一种视觉定位方法，所述视觉定位方法应用于可自动行进的人工智能设备中，所述人工智能设备包括相机，所述相机用于拍摄所述人工智能设备当前所处场景的图像组；所述视觉定位方法包括：通过所述相机所拍摄的图像组得到所述人工智能设备的位姿信息；当检测到所述图像组中有图像包含文字信息时，建立所述文字信息所在区域的初始平面方程，所述初始平面方程中包含平面参数；利用所述平面参数对所述文字信息所在区域中的地图点特征进行投影预测，并计算投影预测过程中所产生的重投影误差；对所述文字信息所在区域进行投影预测，并于所述文字信息所在区域中选取若干角点，利用所述若干角点构造出所述文字信息所在区域的光度误差；将所述重投影误差与所述光度误差以各自对应的权重系数进行加权运算得到约束残差，利用所述约束残差优化所述位姿信息，并使用优化后的位姿信息进行视觉定位。
[0008]第四方面，本专利技术实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现第三方面所述的视觉定位方法。
[0009]从上述本专利技术各实施例可知，本专利技术通过取自然场景中的文字信息，进而获取到场景中的平面信息，在此基础上基于文字平面信息的重投影误差和光度误差得到约束残差，进而进行视觉定位。一方面为视觉系统增加了一种更高级语义特征，在点线特征缺乏的区域如果存在文字信息，系统仍然可以稳定定位，提高了视觉定位系统的场景适应性和鲁棒性。另一方面，文字信息特征相比于传统点、线特征而言，对于弱纹理、快速运动、运动模糊的情况具备更好的抵抗力，因此引入文字信息有助于提高定位系统对于运动模糊、快速运动的稳定性。
附图说明
[0010]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0011]图1为本专利技术第一实施例提供的人工智能设备的结构示意图；
图2为本专利技术第一实施例提供的视觉定位方法的实现流程图；图3为本专利技术第二实施例提供的视觉定位装置的模块结构图。
具体实施方式
[0012]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0013]参见图1，本专利技术第一实施例提供的人工智能设备的结构示意图。为了便于说明，仅示出了与本专利技术实施例相关的部分。该人工智能设备1具有自动行进的能力，可以是机器人，例如酒店/餐厅等场所内的迎宾机器人，在酒店、物流园区等固定场所内运行的送货机器人、扫地机器人等，甚至是无人驾驶的汽车等，只要是有自动行进能力且需要实时定位的人工智能设备均可适用。该人工智能设备可包括：存储器11、处理器12和相机13。存储器11中存储有可执行程序代码，可以采用硬盘驱动存储器、非易失性存储器（例如闪存或用于形成固态驱动器的其它电子可编程限制删除的存储器等）、易失性存储器（例如静态或动态随机存取存储器等）等，本专利技术实施例不作限制。相机13用于拍摄所述人工智能设备当前所处场景的图像组，其中，“图像组”是指一组图像，一般情况下为至少两帧图像，所拍摄的图像组可用于后续获得人工智能设备的位姿信息。
[0014]处理器12为人工智能设备的运算和控制核心，是信息处理、程序运行的最终执行单元，与存储器11耦合/连接，用于调用存储器11中存储的所述可执行程序代码，执行如下视觉定位方法。
[0015]参见图2，该视觉定位方法包括如下步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人工智能设备，其特征在于，所述人工智能设备可自动行进，包括相机、存储器和处理器；所述相机用于拍摄所述人工智能设备当前所处场景的图像组；所述存储器存储有可执行程序代码；所述处理器用于调用并运行所述可执行程序代码来实现视觉定位方法；所述视觉定位方法包括：通过所述相机所拍摄的图像组得到所述人工智能设备的位姿信息；当检测到所述图像组中有图像包含文字信息时，建立所述文字信息所在区域的初始平面方程，所述初始平面方程中包含平面参数；利用所述平面参数对所述文字信息所在区域中的地图点特征进行投影预测，并计算投影预测过程中所产生的重投影误差；对所述文字信息所在区域进行投影预测，并于所述文字信息所在区域中选取若干角点，利用所述若干角点构造出所述文字信息所在区域的光度误差；将所述重投影误差与所述光度误差以各自对应的权重系数进行加权运算得到约束残差，利用所述约束残差优化所述位姿信息，并使用优化后的位姿信息进行视觉定位。2.如权利要求1所述的人工智能设备，其特征在于，所述图像组包括两帧图像；所述建立所述文字信息所在区域的初始平面方程，包括：根据所述两帧图像中所述文字信息所在区域内的特征点在图像坐标系下的位置参数，以及相机在拍摄所述两帧图像时的人工智能设备位姿的相对关系，来建立所述文字信息所在区域的初始平面方程。3.如权利要求2所述的人工智能设备，其特征在于，所述根据所述两帧图像中所述文字信息所在区域内的特征点在图像坐标系下的位置参数，以及相机在拍摄所述两帧图像时的人工智能设备位姿的相对关系，来建立所述文字信息所在区域的初始平面方程，包括：根据下述公式建立所述文字信息所在区域的初始平面方程：；其中，是图像坐标系下特征点的齐次坐标，和分别表示前后两帧图像中的同一个特征点，表示前一帧图像的特征点，表示后一帧图像的特征点，T为矩阵转置符号，R表示从所述图像组选取的两帧图像之间的旋转矩阵，t表示所述两帧图像之间的平移矩阵，θ表示世界坐标系中的所述文字信息所在区域的平面参数，θ=(θ1,θ2,θ3)
T
=n/d，n是文字所在区域的平面的法向量，d是文字所在区域的平面到所述相机的光心的距离，θ1、θ2、θ3分别表示文字所在区域的平面的法向量n的3个方向。4.根据权利要求3所述的人工智能设备，其特征在于，所述利用所述平面参数对所述文字信息所在区域中的地图点特征进行投影预测，并计算投影预测过程中所产生的重投影误差，包括：采用下述公式对所述文字信息所在区域中的地图点特征进行投影预测，得到各地图点特征的预测坐标：；
；其中，和分别表示地图点特征的预测坐标，为地图点特征投影的x方向像素，为地图点特征投影的y方向像素；r1表示旋转矩阵R的第一行行向量，r2表示旋转矩阵R的第二行行向量，r3表示旋转矩阵R的第三行行向量；t1表示平移矩阵t的第一行行向量，t2表示平移矩阵t的第二行行向量，t3表示平移矩阵t的第三行行向量；将各地图点特征的预测坐标与各自对应的角点坐标作差，得到所述重投影误差。5.根据权利要求1所述的人工智能设备，其特征在于，所述图像组包括两帧图像；所述对所述文字信息所在区域进行投影预测，并于所述文字信息所在区域中选取若干角点，利用所述若干角点构造出所述文字信息所在区域的光度误差，包括：对所述文字信息所在区域的四个顶点进行投影，确定出区域范围；从所述区域范围内选取若干角点；计算各角点分别在所述两帧图像中对应坐标处的像素的灰度值之差，并作为各角点的光度误差；将所述若干角点的光度误差之和作为所述文字信息所在区域的光度误差。6.根据权利要求1所述的人工智能设备，其特征在于，所述利用所述约束残差优化所述位姿信息，并使用优化后的位姿信息进行视觉定位包括：利用所述约束残差对所述位姿信息、所述文字信息所在区域的初始平面方程进行优化；根据优化后的位姿信息，以及优化后的所述平面参数进一步三角化地图点的逆深度；根据三角化后的逆深度进行视觉定位。7.一种视觉定位装置，其特征在于，所述视觉定位装置应用于可自动行进的人工智能设备中，所述人工智能设备包括相机，所述相机用于拍摄所述人工智能设备当前所处场景的图像组；所述视觉定位装置包括：位姿计算模块，用于通过所述相机所拍摄的图像组计算得到所述人工智能设备的位姿信息；文字信息检测模块，用于检测到所述图像组中是否有图像包含文字信息；平面方程建立模块，用于当所述文字信息检测模块检测到所述图像组中有图像包含文字信息时，建立所述文字信息所在区域的初始平面方程，所述初始平面方程中包含平面参数；重投影...

【专利技术属性】
技术研发人员：刘运航，闫瑞君，谭嘉豪，周阳，陈美文，
申请(专利权)人：深圳市普渡科技有限公司，
类型：发明
国别省市：