一种车道线拟合方法、装置、电子设备和介质制造方法及图纸

本公开提供了一种车道线拟合方法、装置、电子设备、计算机可读存储介质和计算机程序产品，涉及人工智能领域，尤其涉及图像处理、计算机视觉和深度学习等技术领域，可应用于智慧城市、智能交通场景。实现方案为：获取包括待拟合车道线的图像；将图像输入经训练的神经网络模型的第一采样网络进行第一预设倍数的下采样获得第一图像特征；将第一图像特征输入第二采样网络进行第二预设倍数的上采样获得第二图像特征；将第二图像特征与下采样过程中所生成相同尺寸的图像特征输入第一融合网络获得图像掩码特征；将图像掩码特征和第一图像特征输入预测网络，以预测得到待拟合车道线所对应的函数参数值，函数参数值为待拟合车道线所对应预设函数的参数值。预设函数的参数值。预设函数的参数值。

【技术实现步骤摘要】
一种车道线拟合方法、装置、电子设备和介质


[0001]本公开涉及人工智能领域，尤其涉及图像处理、计算机视觉和深度学习等
，可应用于智慧城市、智能交通等场景，具体涉及一种车道线拟合的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]随着人工智能相关技术的发展与应用，越来越多的领域显露出对智能化、自动化技术的强烈需求，其中自动驾驶和AR导航领域就是其中非常有代表性的领域。无论是自动驾驶还是AR导航，通常需要完成实时的车道线识别。因此，如何完成实例级别的通用车道线的拟合成为关键。
[0004]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0005]本公开提供了一种车道线拟合的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0006]根据本公开的一方面，提供了一种车道线拟合方法，包括：获取包括待拟合车道线的图像；将所述图像输入经训练的神经网络模型的第一采样网络进行第一预设倍数的下采样，以获得第一图像特征，其中，所述经训练的神经网络模型还包括：第二采样网络、第一融合网络以及预测网络；将所述第一图像特征输入所述第二采样网络进行第二预设倍数的上采样，以获得第二图像特征，其中，所述第二预设倍数小于所述第一预设倍数；将所述第二图像特征与所述第一预设倍数的下采样过程中所生成的与所述第二图像特征具有相同尺寸的图像特征输入所述第一融合网络，以获得图像掩码特征；以及将所述图像掩码特征和所述第一图像特征输入所述预测网络，以预测得到所述待拟合车道线所对应的函数参数值，其中，所述函数参数值为所述待拟合车道线所对应的预设函数形式的参数值。
[0007]根据本公开的另一方面，还提供了一种神经网络模型训练方法，包括：初始化待训练的神经网络模型，其中，所述神经网络模型包括第一采样网络、第二采样网络、第一融合网络以及预测网络；获取包括待拟合车道线的样本图像以及所述样本图像所对应的标签数据，其中所述标签数据包括所述待拟合车道线上的一组点所对应的坐标；将所述样本图像输入所述第一采样网络以进行第一预设倍数的下采样，获得第一图像特征；将所述第一图
像特征输入所述第二采样网络以进行第二预设倍数的上采样，获得第二图像特征，其中，所述第二预设倍数小于所述第一预设倍数；将所述第二图像特征与所述第一预设倍数的下采样过程中所生成的与所述第二图像特征具有相同尺寸的图像特征输入所述第一融合网络，以获得图像掩码特征；将所述图像掩码特征和所述第一图像特征输入所述预测网络，以预测得到所述待拟合车道线所对应的函数参数值；以及基于拟合得到的函数参数值以及所述标签数据调节所述神经网络模型的参数。
[0008]根据本公开的另一方面，还提供了一种车道线拟合装置，包括：第一获取单元，配置为获取包括待拟合车道线的图像；下采样单元，配置为将所述图像输入经训练的神经网络模型的第一采样网络进行第一预设倍数的下采样，以获得第一图像特征，其中，所述经训练的神经网络模型还包括：第二采样网络、第一融合网络以及预测网络；上采样单元，配置为将所述第一图像特征输入所述第二采样网络进行第二预设倍数的上采样，以获得第二图像特征，其中，所述第二预设倍数小于所述第一预设倍数；融合单元，配置为将所述第二图像特征与所述第一预设倍数的下采样过程中所生成的与所述第二图像特征具有相同尺寸的图像特征输入所述第一融合网络，以获得图像掩码特征；以及预测单元，配置为将所述图像掩码特征和所述第一图像特征输入所述第预测网络，以预测得到所述待拟合车道线所对应的函数参数值，其中，所述函数参数值为所述待拟合车道线所对应的预设函数形式的参数值。
[0009]根据本公开的另一方面，还提供了一种神经网络模型训练装置，包括：初始化单元，配置为初始化待训练的神经网络模型，其中，所述神经网络模型包括第一采样网络、第二采样网络、第一融合网络以及预测网络；第二获取单元，配置为获取包括待拟合车道线的样本图像以及所述样本图像所对应的标签数据，其中所述标签数据包括所述待拟合车道线上的一组点所对应的坐标；第一输入单元，配置为将所述样本图像输入所述第一采样网络以进行第一预设倍数的下采样，获得第一图像特征；第二输入单元，配置为将所述第一图像特征输入所述第二采样网络以进行第二预设倍数的上采样，获得第二图像特征，其中，所述第二预设倍数小于所述第一预设倍数；第三输入单元，配置为将所述第二图像特征与所述第一预设倍数的下采样过程中所生成的与所述第二图像特征具有相同尺寸的图像特征输入所述第一融合网络，以获得图像掩码特征；第四输入单元，配置为将所述图像掩码特征和所述第一图像特征输入所述预测网络，以预测得到所述待拟合车道线所对应的函数参数值；以及训练单元，配置为基于拟合得到的函数参数值以及所述标签数据调节所述神经网络模型的参数。
[0010]根据本公开的另一方面，还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。
[0011]根据本公开的另一方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机程序被处理器执行时实现上述方法的步骤。
[0012]根据本公开的另一方面，还提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述方法的步骤。
[0013]根据本公开的一个或多个实施例，完全通过神经网络模型即实现了车道线的拟
合，不再需要复杂的后处理操作，从而满足实时性要求、节省了计算量，并且可移植性强，可适用于多种场景。
[0014]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0015]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0016]图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0017]图2示出了了根据本公开的实施例的车道线拟合方法的流程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车道线拟合方法，包括：获取包括待拟合车道线的图像；将所述图像输入经训练的神经网络模型的第一采样网络进行第一预设倍数的下采样，以获得第一图像特征，其中，所述经训练的神经网络模型还包括：第二采样网络、第一融合网络以及预测网络；将所述第一图像特征输入所述第二采样网络进行第二预设倍数的上采样，以获得第二图像特征，其中，所述第二预设倍数小于所述第一预设倍数；将所述第二图像特征与所述第一预设倍数的下采样过程中所生成的与所述第二图像特征具有相同尺寸的图像特征输入所述第一融合网络，以获得图像掩码特征；以及将所述图像掩码特征和所述第一图像特征输入所述预测网络，以预测得到所述待拟合车道线所对应的函数参数值，其中，所述函数参数值为所述待拟合车道线所对应的预设函数形式的参数值。2.如权利要求1所述的方法，其中，所述经训练的神经网络模型还包括空洞卷积网络，并且其中，在将所述第一图像特征输入所述第二采样网络之前，将所述第一图像特征输入所述空洞卷积网络，以获得增强后的所述第一图像特征。3.如权利要求1所述的方法，其中，所述第二采样网络包括第三采样子网络、第二融合子网络以及第四采样子网络，并且其中，将所述第一图像特征输入所述第二采样网络进行第二预设倍数的上采样包括：将所述第一图像特征输入所述第三采样子网络进行第三预设倍数的上采样，以获得第三图像特征，其中所述第三预设倍数小于所述第二预设倍数；将所述第二图像特征以及所述第一预设倍数的下采样过程中所生成的与所述第三图像特征具有相同尺寸的图像特征输入所述第二融合子网络，以获得第一融合图像特征；以及将所述第一融合图像特征输入所述第四采样子网络进行相应倍数的上采样，以获得第二图像特征。4.如权利要求3所述的方法，其中，所述第一融合网络和所述第二融合子网络可以执行以下项中的任意一项：相对应的像素点的相加操作、Concat融合操作、以及池化操作。5.如权利要求1所述的方法，其中，所述预测网络包括第五采样子网络、第三融合子网络和全连接层，并且其中，将所述图像掩码特征和所述第一图像特征输入所述预测网络以预测得到所述待拟合车道线所对应的函数参数值包括：将所述图像掩码特征输入所述第五采样子网络进行相应倍数的下采样，获得与所述第一图像特征相同尺寸的图像掩码特征；将与所述第一图像特征相同尺寸的图像掩码特征以及所述第一图像特征输入第三融合子网络，以获得第二融合图像特征；以及将所述第二融合图像特征输入所述全连接层，以预测得到所述待拟合车道线所对应的函数参数值。6.如权利要求5所述的方法，其中，将与所述第一图像特征相同尺寸的图像掩码特征以及所述第一图像特征输入第三融合子网络包括：将与所述第一图像特征相同尺寸的图像掩码特征中的每个像素点均加上预设值，其中
所述预设值为正数；以及将所述加上预设值后的图像掩码特征以及所述第一图像特征输入所述第三融合子网络进行相对应像素点之间的相乘操作，以获得第二融合图像特征。7.一种神经网络模型训练方法，包括：初始化待训练的神经网络模型，其中，所述神经网络模型包括第一采样网络、第二采样网络、第一融合网络以及预测网络；获取包括待拟合车道线的样本图像以及所述样本图像所对应的标签数据，其中所述标签数据包括所述待拟合车道线上的一组点所对应的坐标；将所述样本图像输入所述第一采样网络以进行第一预设倍数的下采样，获得第一图像特征；将所述第一图像特征输入所述第二采样网络以进行第二预设倍数的上采样，获得第二图像特征，其中，所述第二预设倍数小于所述第一预设倍数；将所述第二图像特征与所述第一预设倍数的下采样过程中所生成的与所述第二图像特征具有相同尺寸的图像特征输入所述第一融合网络，以获得图像掩码特征；将所述图像掩码特征和所述第一图像特征输入所述预测网络，以预测得到所述待拟合车道线所对应的函数参数值；以及基于拟合得到的函数参数值以及所述标签数据调节所述神经网络模型的参数。8.如权利要求7所述的方法，其中，所述神经网络模型还包括空洞卷积网络，并且其中，在将所述第一图像特征输入所述第二采样网络之前，将所述第一图像特征输入所述空洞卷积网络，以获得增强后的所述第一图像特征。9.如权利要求7所述的方法，其中，所述第二采样网络包括第三采样子网络、第二融合子网络以及第四采样子网络，并且其中，将所述第一图像特征输入所述第二采样网络进行第二预设倍数的上采样包括：将所述第一图像特征输入所述第三采样子网络进行第三预设倍数的上采样，以获得第三图像特征，其中所述第三预设倍数小于所述第二预设倍数；将所述第二图像特征以及所述第一预设倍数的下采样过程中所生成的与所述第三图像特征具有相同尺寸的图像特征输入所述第二融合子网络，以获得第一融合图像特征；以及将所述第一融合图像特征输入所述第四采样子网络进行相应倍数的上采样，以获得第二图像特征。10.如权利要求9所述的方法，其中，所述第一融合网络和所述第二融合子网络可以执行以下项中的任意一项：相对应的像素点的相加操作、Concat融合操作、以及池化操作。11.如权利要求7所述的方法，其中，所述预测网络包括第五采样子网络、第三融合子网络和全连接层，并且其中，将所述图像掩码特征和所述第一图像特征输入所述预测网络以预测得到所述待拟合车道线所对应的函数参数值包括：将所述图像掩码特征输入所述第五采样子网络进行相应倍数的下采样，获...

【专利技术属性】
技术研发人员：韩文华，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：