【技术实现步骤摘要】
本公开涉及人工智能，尤其涉及计算机视觉和深度学习等，可应用于自动驾驶等场景。
技术介绍
1、随着人工智能和自动驾驶技术的快速发展，端到端的自动驾驶系统因其简化的系统架构、减少的误差累积以及全局优化的能力等而备受关注。
2、例如，自动驾驶系统可以通过对感知数据进行分析，来预测针对车辆的控制信号。车辆可以根据预测的控制信号控制制动系统，实现车辆的自动行驶。通过该自动驾驶系统的设置，可以在一定程度上满足便利出行的需求。
技术实现思路
1、本公开旨在提供一种可以无需依赖大规模精确的标注数据即可实现控制信息预测的信息预测方法和自动驾驶模型的训练方法、装置、设备、介质、程序产品和自动驾驶车辆。
2、根据本公开的第一个方面，提供了一种信息预测方法，包括：获取感知数据，该感知数据包括车辆中的传感器采集的图像数据和车辆的驾驶数据；对图像数据进行编码，得到与图像数据对应的图像令牌序列；对驾驶数据进行编码，得到与驾驶数据对应的驾驶特征；以及基于驾驶特征和图像令牌序列，采用生成模型生成与图像令牌序列对应的预测令牌序列和针对车辆的控制信息。
3、根据本公开的第二个方面，提供了一种自动驾驶模型的训练方法，自动驾驶模型包括编码层和生成模型；编码层包括序列编码网络和驾驶数据编码网络，训练方法包括：采用序列编码网络对样本感知数据中的图像数据进行编码，得到与图像数据对应的图像令牌序列；采用驾驶数据编码网络对样本感知数据中的驾驶数据进行编码，得到与驾驶数据对应的驾驶特征；基于驾驶特征
4、根据本公开的第三个方面，提供了一种信息预测装置，包括：数据获取模块，用于获取感知数据，该感知数据包括车辆中的传感器采集的图像数据和车辆的驾驶数据；第一编码模块，用于对图像数据进行编码，得到与图像数据对应的图像令牌序列；第二编码模块，用于对驾驶数据进行编码，得到与驾驶数据对应的驾驶特征；以及生成模块，用于基于驾驶特征和图像令牌序列，采用生成模型生成与图像令牌序列对应的预测令牌序列和针对车辆的控制信息。
5、根据本公开的第四个方面，提供了一种自动驾驶模型的训练装置，其中，自动驾驶模型包括编码层和生成模型；编码层包括序列编码网络和驾驶数据编码网络。训练装置包括：第一编码模块，用于采用序列编码网络对样本感知数据中的图像数据进行编码，得到与图像数据对应的图像令牌序列；第二编码模块，用于采用驾驶数据编码网络对样本感知数据中的驾驶数据进行编码，得到与驾驶数据对应的驾驶特征；生成模块，用于基于驾驶特征和图像令牌序列，采用生成模型生成与图像令牌序列对应的预测令牌序列和针对车辆的预测控制信息；以及训练模块，用于根据预测令牌序列与图像令牌序列，对自动驾驶模型进行训练。
6、根据本公开的第五个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的信息预测方法。
7、根据本公开的第六个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的自动驾驶模型的训练方法。
8、根据本公开的第七个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的信息预测方法或自动驾驶模型的训练方法。
9、根据本公开的第八个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现本公开提供的信息预测方法或自动驾驶模型的训练方法。
10、根据本公开的第九个方面，提供了一种自动驾驶车辆，包括本公开第五个方面提供的电子设备。
11、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种信息预测方法，包括：
2.根据权利要求1所述的方法，其中，所述图像令牌序列为所述图像数据的离散特征；所述方法还包括：
3.根据权利要求1或2所述的方法，其中，所述驾驶数据包括所述车辆的行驶参数和所述车辆的导航数据；所述对所述驾驶数据进行编码，得到与所述驾驶数据对应的驾驶特征包括：
4.根据权利要求3所述的方法，其中，所述导航数据包括导航路径上至少两个目标点的位置；所述采用第二卷积网络对所述导航数据进行编码，得到表征所述导航数据的第二特征向量包括：
5.根据权利要求1所述的方法，其中，所述对所述图像数据进行编码，得到与所述图像数据对应的图像令牌序列包括：
6.根据权利要求1所述的方法，其中，所述基于所述驾驶特征和所述图像令牌序列，采用生成模型生成与所述图像令牌序列对应的预测令牌序列和针对所述车辆的控制信息包括：
7.一种自动驾驶模型的训练方法，其中，所述自动驾驶模型包括编码层和生成模型；所述编码层包括序列编码网络和驾驶数据编码网络；所述方法包括：
8.根据权利要求7所述的方法，其中，所述样本
9.根据权利要求7或8所述的方法，其中，对所述自动驾驶模型进行训练包括：
10.根据权利要求7所述的方法，其中，所述编码层还包括第一卷积网络；所述方法还包括：
11.根据权利要求7或10所述的方法，其中，所述驾驶数据包括车辆的历史行驶参数和所述车辆的历史导航数据；所述驾驶数据编码网络包括第二卷积网络和多层感知器；所述采用所述驾驶数据编码网络对所述样本感知数据中的驾驶数据进行编码，得到与所述驾驶数据对应的驾驶特征包括：
12.根据权利要求7所述的方法，其中，所述序列编码网络包括编码器和量化器；所述采用所述序列编码网络对样本感知数据中的图像数据进行编码，得到与所述图像数据对应的图像令牌序列包括：
13.根据权利要求7所述的方法，其中，所述基于所述驾驶特征和所述图像令牌序列，采用所述生成模型生成与所述图像令牌序列对应的预测令牌序列和针对车辆的预测控制信息包括：
14.一种信息预测装置，包括：
15.根据权利要求14所述的装置，其中，所述图像令牌序列为所述图像数据的离散特征；所述装置还包括：
16.根据权利要求14或15所述的装置，其中，所述驾驶数据包括所述车辆的行驶参数和所述车辆的导航数据；所述第二编码模块包括：
17.根据权利要求16所述的装置，其中，所述导航数据包括导航路径上至少两个目标点的位置；所述第一编码子模块包括：
18.根据权利要求14所述的装置，其中，所述第一编码模块包括：
19.根据权利要求14所述的装置，其中，所述生成模块包括：
20.一种自动驾驶模型的训练装置，其中，所述自动驾驶模型包括编码层和生成模型；所述编码层包括序列编码网络和驾驶数据编码网络；所述装置包括：
21.根据权利要求20所述的装置，其中，所述样本感知数据还包括真实控制信息；所述训练模块还用于：
22.根据权利要求20或21所述的装置，其中，所述训练模块用于：
23.根据权利要求20所述的装置，其中，所述编码层还包括第一卷积网络；所述装置还包括：
24.根据权利要求20或21所述的装置，其中，所述驾驶数据包括车辆的历史行驶参数和所述车辆的历史导航数据；所述驾驶数据编码网络包括第二卷积网络和多层感知器；所述第二编码模块包括：
25.根据权利要求20所述的装置，其中，所述序列编码网络包括编码器和量化器；所述第一编码模块包括：
26.根据权利要求20所述的装置，其中，所述生成模块包括：
27.一种电子设备，包括：
28.一种电子设备，包括：
29.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1~13中任一项所述的方法。
30.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现根据权利要求1~13中任一项所述方法的步骤。
31.一种自动驾驶车辆，包括根据权利要求27所述的电子设备。
...【技术特征摘要】
1.一种信息预测方法，包括：
2.根据权利要求1所述的方法，其中，所述图像令牌序列为所述图像数据的离散特征；所述方法还包括：
3.根据权利要求1或2所述的方法，其中，所述驾驶数据包括所述车辆的行驶参数和所述车辆的导航数据；所述对所述驾驶数据进行编码，得到与所述驾驶数据对应的驾驶特征包括：
4.根据权利要求3所述的方法，其中，所述导航数据包括导航路径上至少两个目标点的位置；所述采用第二卷积网络对所述导航数据进行编码，得到表征所述导航数据的第二特征向量包括：
5.根据权利要求1所述的方法，其中，所述对所述图像数据进行编码，得到与所述图像数据对应的图像令牌序列包括：
6.根据权利要求1所述的方法，其中，所述基于所述驾驶特征和所述图像令牌序列，采用生成模型生成与所述图像令牌序列对应的预测令牌序列和针对所述车辆的控制信息包括：
7.一种自动驾驶模型的训练方法，其中，所述自动驾驶模型包括编码层和生成模型；所述编码层包括序列编码网络和驾驶数据编码网络；所述方法包括：
8.根据权利要求7所述的方法，其中，所述样本感知数据还包括真实控制信息；所述方法还包括：
9.根据权利要求7或8所述的方法，其中，对所述自动驾驶模型进行训练包括：
10.根据权利要求7所述的方法，其中，所述编码层还包括第一卷积网络；所述方法还包括：
11.根据权利要求7或10所述的方法，其中，所述驾驶数据包括车辆的历史行驶参数和所述车辆的历史导航数据；所述驾驶数据编码网络包括第二卷积网络和多层感知器；所述采用所述驾驶数据编码网络对所述样本感知数据中的驾驶数据进行编码，得到与所述驾驶数据对应的驾驶特征包括：
12.根据权利要求7所述的方法，其中，所述序列编码网络包括编码器和量化器；所述采用所述序列编码网络对样本感知数据中的图像数据进行编码，得到与所述图像数据对应的图像令牌序列包括：
13.根据权利要求7所述的方法，其中，所述基于所述驾驶特征和所述图像令牌序列，采用所述生成模型生成与所述图像令牌序列对应的预测令牌序列和针对车辆的预测控制信息包括：
1...
【专利技术属性】
技术研发人员：龚石，叶晓青，谭啸，丁二锐，王井东，吴甜，王海峰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。