【技术实现步骤摘要】
一种图像的处理方法、网络的训练方法以及相关设备
[0001]本申请涉及人工智能领域，尤其涉及一种图像的处理方法、网络的训练方法以及相关设备。
技术介绍
[0002]人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。
[0003]自动驾驶是人工智能领域的一种主流应用。目前，在自动驾驶领域中，自车在采集到周围车辆的完整图像之后，可以通过神经网络根据图像中完整的车辆，输出车辆在车体坐标系下的朝向角和尺寸等信息，进而可以定位到车辆的3D外包络盒。
[0004]但若自车采集到周围车辆的图像中的车辆是不完整的，则神经网络输出的信息会存在较大误差，导致定位到的3D外包络盒准确率较低，因此，一种提高获取到的3D外包络盒的准确度的方案亟待推出。
技术实现思路
[0005]本申请实施例提供了一种图像的处理方法、网络的训练方法以及相关设备，根据第二车辆的二维包络框的位置信息、车轮的坐标和第一角度这三种参数，生成第一车辆的三维3D外包络盒的位置信息，提高...
【技术保护点】
【技术特征摘要】
1.一种图像的处理方法，其特征在于，所述方法包括：获取第一图像，所述第一图像中包括第一车辆；将所述第一图像输入图像处理网络中，得到所述图像处理网络输出的第一结果，在所述第一车辆在所述第一图像中漏出侧面的情况下，所述第一结果包括所述第一车辆的二维2D包络框的位置信息、所述第一车辆的车轮的坐标和所述第一车辆的第一角度，所述第一车辆的第一角度指示所述第一车辆的侧边线与所述第一图像的第一轴线之间夹角的角度，所述第一车辆的侧边线为所述第一车辆漏出的侧面与所述第一车辆所在地平面之间的交线，所述第一图像的第一轴线与所述第一图像的一个边平行；根据所述第一车辆的2D包络框的位置信息、所述车轮的坐标和所述第一角度，生成所述第一车辆的三维3D外包络盒的位置信息，所述第一车辆的3D外包络盒的位置信息包括至少两个第一点的坐标，所述至少两个第一点均位于所述第一车辆的3D外包络盒的边上，所述至少两个第一点中两个第一点定位所述第一车辆的3D外包络盒的边，所述至少两个第一点的坐标用于定位所述第一车辆的3D外包络盒。2.根据权利要求1所述的方法，其特征在于，在所述第一车辆在所述第一图像中仅漏出侧面的情况下，所述至少两个第一点包括所述第一车辆的侧边线与所述第一车辆的2D包络框的两个交点。3.根据权利要求2所述的方法，其特征在于，所述根据所述2D包络框的位置信息、所述车轮的坐标和所述第一角度，生成所述第一车辆的3D外包络盒的位置信息，包括：根据所述第一车辆的车轮的坐标和所述第一车辆的第一角度，生成所述第一车辆的侧边线的位置信息；根据所述第一车辆的侧边线的位置信息和所述第一车辆的2D包络框的位置信息，执行坐标生成操作，以得到所述至少两个第一点的坐标。4.根据权利要求1所述的方法，其特征在于，在所述第一车辆在所述第一图像中漏出侧面和主面的情况下，所述第一结果中还包括所述第一车辆的分界线的位置信息和所述第一车辆的第二角度，所述分界线为侧面与主面之间的分界线，所述第一车辆的主面为所述第一车辆的前面或后面，所述第一车辆的第二角度指示所述第一车辆的主边线与所述第一图像的第一轴线之间夹角的角度，所述第一车辆的主边线为所述第一车辆漏出的主面与所述第一车辆所在的地平面之间的交线；所述至少两个第一点包括第一交点、第二交点和第三交点，所述第一交点为所述第一车辆的侧边线与所述第一车辆的分界线的交点，所述第一交点为所述第一车辆的3D外包络盒的一个顶点，所述第二交点为所述第一车辆的侧边线与所述第一车辆的2D包络框的交点，所述第三交点为所述第一车辆的主边线与所述第一车辆的2D包络框的交点。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一车辆的2D包络框的位置信息、所述车轮的坐标和所述第一角度，生成所述第一车辆的三维3D外包络盒的位置信息，包括：根据所述第一车辆的车轮的坐标和所述第一车辆的第一角度，生成所述第一车辆的侧边线的位置信息；根据所述第一车辆的侧边线的位置信息和所述第一车辆的分界线的位置信息，生成所述第一交点的坐标；
根据所述第一车辆的侧边线的位置信息和所述第一车辆的2D包络框的位置信息，生成所述第二交点的坐标；根据所述第一交点的坐标和所述第一车辆的第二角度，生成所述第一车辆的主边线的位置信息；根据所述第一车辆的主边线的位置信息和所述第一车辆的2D包络框的位置信息，生成所述第三交点的坐标。6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：在所述第一车辆在所述第一图像中漏出侧面的情况下，根据所述第一点的坐标，生成所述第一车辆相对于自车的朝向角。7.根据权利要求6所述的方法，其特征在于，所述根据所述第一点的坐标，生成所述朝向角之前，所述方法还包括：根据所述第一点的坐标和地平面假设原理，生成所述第一点与自车之间的距离；所述根据所述第一点的坐标，生成所述朝向角，包括：在根据所述第一点与自车之间的距离确定所述第一车辆与自车之间的距离未超过预设阈值的情况下，通过第一计算规则，根据所述第一点的坐标，生成所述朝向角；在根据所述第一点与自车之间的距离确定所述第一车辆与自车之间的距离超过预设阈值的情况下，通过第二计算规则，根据所述第一点的坐标，生成所述朝向角，所述第二计算规则和所述第一计算规则为不同的计算规则。8.根据权利要求7述的方法，其特征在于，当至少两个第一点中任一个第一点与自车之间的距离未超过所述预设阈值时，视为所述第一车辆与自车之间的距离未超过所述预设阈值；或者，当至少两个第一点中任一个第一点与自车之间的距离超过所述预设阈值时，视为所述第一车辆与自车之间的距离超过所述预设阈值。9.根据权利要求7所述的方法，其特征在于，所述通过第一计算规则，根据所述第一点的坐标，生成所述朝向角，包括：根据所述第一点的坐标和地平面假设原理，生成所述第一点在所述车体坐标系下的三维坐标，所述车体坐标系的坐标系原点位于自车内；根据所述第一点的三维坐标，生成所述朝向角。10.根据权利要求7所述的方法，其特征在于，所述通过第二计算规则，根据所述第一点的坐标，生成所述朝向角，包括：根据所述第一点的坐标和所述第一车辆的第一角度，生成所述第一车辆的侧边线的位置信息，根据所述第一车辆的侧边线的位置信息和所述第一图像的消失线的位置信息，生成消失点的坐标，所述消失点为所述第一车辆的侧边线与所述第一图像的消失线之间的交点；根据所述消失点的坐标和两点透视原理，生成所述朝向角。11.根据权利要求7所述的方法，其特征在于，所述通过第二计算规则，根据所述第一点的坐标，生成所述朝向角，包括：根据所述第一点的坐标、所述第一车辆的第一角度和小孔成像原理，生成所述第一车辆的第一角度和所述朝向角之间的映射关系；
根据所述映射关系和所述第一车辆的第一角度，生成所述朝向角。12.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：从所述至少两个第一点的坐标中获取所述第一车辆的3D外包络盒的顶点的坐标；根据所述第一车辆的3D外包络盒的顶点的坐标和地平面假设原理，生成所述第一车辆的质心点在车体坐标系下的三维坐标，所述车体坐标系的坐标系原点位于自车内。13.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：从所述至少两个第一点的坐标中获取第一顶点的坐标，所述第一顶点为所述第一车辆的3D外包络盒的一个顶点；根据所述第一顶点的坐标和地平面假设原理，生成所述第一顶点在车体坐标系下的三维坐标；若所述至少两个第一点中包括至少两个第一顶点，根据第一顶点在车体坐标系下的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高，所述车体坐标系的坐标系原点位于自车内。14.根据权利要求13所述的方法，其特征在于，所述方法还包括：若所述至少两个第一点中包括一个第一顶点，获取第二图像，所述第二图像中包括所述第一车辆，所述第二图像和所述第一图像的图像采集角度不同；根据所述第二图像，通过所述图像处理网络，得到至少两个第二点的坐标，所述至少两个第二点均位于所述第一车辆的三维3D外包络盒的边上，所述至少两个第二点中两个第二点定位所述第一车辆的3D外包络盒的边，所述至少两个第二点的坐标用于定位所述第一车辆的3D外包络盒；根据所述第二点的坐标和地平面假设原理，生成第二顶点在所述车体坐标系下的三维坐标，所述第二顶点为所述第一车辆的3D外包络盒的一个顶点，所述第二顶点与所述第一顶点为不同的顶点；根据所述第一顶点的三维坐标和所述第二顶点的三维坐标，生成以下中的一项或多项：第一车辆的长、第一车辆的宽和第一车辆的高。15.一种图像的处理方法，其特征在于，所述方法包括：获取第三图像，所述第三图像中包括第一刚体，所述第一刚体为立方体；将所述第三图像输入图像处理网络中，得到所述图像处理网络输出的第二结果，在所述第一刚体在所述第三图像中漏出侧面的情况下，所述第二结果包括所述第一刚体的2D包络框的位置信息和所述第一刚体的第一角度，所述第一刚体的第一角度指示所述第一刚体的侧边线与所述第三图像的第一轴线之间夹角的角度，所述第一刚体的侧边线为所述第一刚体漏出的侧面与所述第一刚体所在平面之间的交线，所述第三图像的第一轴线与所述第三图像的一个边平行；根据所述第一刚体的2D包络框的位置信息和所述第一角度，生成所述第一刚体的三维3D外包络盒的位置信息，所述第一刚体的3D外包络盒的位置信息包括至少两个第三点的坐标，所述至少两个第三点均位于所述第一刚体的3D外包络盒的边上，所述至少两个第三点中两个第三点定位所述第一刚体的3D外包络盒的边，所述至少两个第三点的坐标用于定位所述第一刚体的3D外包络盒。16.根据权利要求15中所述的方法，其特征在于，在所述第一刚体在所述第三图像中仅
漏出侧面的情况下，所述至少两个第三点中包括所述第一刚体的侧边线与所述第一刚体的2D包络框的两个交点。17.根据权利要求15中所述的方法，其特征在于，在所述第一刚体在所述第三图像中漏出侧面和主面的情况下，所述第一结果中还包括所述第一刚体的分界线的位置信息和所述第一刚体的第二角度，所述分界线为侧面与主面之间的分界线，所述第一刚体的主面为所述第一刚体的前面或后面，所述第一刚体的第二角度指示所述第一刚体的主边线与所述第三图像的第一轴线之间夹角的角度，所述第一刚体的主边线为所述第一刚体漏出的主面与所述第一刚体所在的地平面之间的交线；所述至少两个第三点包括第一交点、第二交点和第三交点，所述第一交点为所述第一刚体的侧边线与所述第一刚体的分界线的交点，所述第一交点为所述第一刚体的3D外包络盒的一个顶点，所述第二交点为所述第一刚体的侧边线与所述第一刚体的2D包络框的交点，所述第三交点为所述第一刚体的主边线与所述第一刚体的2D包络框的交点。18.根据权利要求15至17任一项所述的方法，其特征在于，所述方法还包括：根据所述至少两个第三点的坐标，生成所述第一刚体的三维特征信息，所述第一刚体的三维特征信息包括以下中的一项或多项：所述第一刚体相当于自车的朝向角、所述第一刚体的质心点的位置信息和所述第一刚体的尺寸。19.一种网络的训练方法，其特征在于，所述方法包括：获取训练图像和所述训练图像的标注数据，所述训练图像中包括第二车辆，在所述第二车辆在所述训练图像中漏出侧面的情况下，所述标注数据包括所述第二车辆的车轮的标注坐标和所述第二车辆的标注第一角度，所述第二车辆的第一角度指示所述第二车辆的侧边线与所述训练图像的第一轴线之间夹角的角度，所述第二车辆的侧边线为所述第二车辆漏出的侧面与所述第二车辆所在地平面之间的交线，所述训练图像的第一轴线与所述训练图像的一个边平行；将所述训练图像输入图像处理网络中，得到所述图像输入网络输出的第三结果，所述第三结果包括所述第二车辆的车轮的生成坐标和所述第二车辆的生成第一角度；根据所述标注数据和所述第三结果，利用损失函数对所述图像处理网络进行训练，直至满足所述损失函数的收敛条件，输出训练后的所述图像处理网络，所述损失函数用于拉近所述生成坐标与所述标注坐标之间的相似度，且拉近所述生成第一角度和所述标注第一角度之间的相似度。20.根据权利要求19所述的方法，其特征在于，在所述第二车辆在所述训练图像中漏出侧面和主面的情况下，所述标注数据还包括所述第二车辆的分界线的标注位置信息和所述第二车辆的标注第二角度，所述第三结果还包括所述第二车辆的分界线的生成位置信息和所述第二车辆的生成第二角度，所述损失函数还用于拉近所述生成位置信息和所述标注位置信息之间的相似度，且拉近所述生成第二角度与所述标注第二角度之间的相似度；其中，所述第二车辆的主面为所述第二车辆的前面或后面，所述分界线为侧面与主面之间的分界线，所述第二车辆的第二角度指示所述第二车辆的主边线与所述训练图像的第一轴线之间夹角的角度，所述第二车辆的主边线为所述第二车辆漏出的主面与所述第二车辆所在的地平面之间的交线。21.根据权利要求19或20所述的方法，其特征在于，所述图像处理网络包括二阶段目标
检测网络和三维特征提取网络，所述二阶段目标检测网络包括区域生成网络RPN；所述将所述训练图像输入图像处理网络中，得到所述图像输入网络输出的第三结果，包括：将所述训练图像输入所述二阶段目标检测网络中，得到所述二阶段目标检测网络中的所述RPN输出的所述第二车辆的2D包络框的位置信息；将第一特征图输入所述三维特征提取网络，得到所述三维特征提取网络输出的所述第三结果，所述第一特征图为所述训练图像的特征图中位于所述RPN输出的所述2D包络框内的特征图；所述输出训练后的所述图像处理网络，包括：输出包括所述二阶段目标检测网络和三维特征提取网络的图像处理网络。22.一种图像处理装置，其特征在于，所述装置包括：获取模块，用于获取第一图像，所述第一图像中包括第一车辆；输入模块，用于将所述第一图像输入图像处理网络中，得到所述图像处理网络输出的第一结果，在所述第一车辆在所述第一图像中漏出侧面的情况下，所述第一结果包括所述第一车辆的二维2D包络框的位置信息、所述第一车辆的车轮的坐标和所述第一车辆的第一角度，所述第一车辆的第一角度指示所述第一车辆的侧边线与所述第一图像的第一轴线之间夹角的角度，所述第一车辆的侧边线为所述第一车辆漏出的侧面与...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。