【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种驾驶场景的识别方法、装置、设备、存储介质和产品。
技术介绍
1、在汽车自动驾驶领域中，驾驶场景的准确识别是确保行车安全和提升自动驾驶用户体验的关键技术之一。由于驾驶环境的多样性和复杂性，如何精确地识别不同的驾驶场景是一个极具挑战性的问题。
2、目前，将驾驶场景识别任务拆分为多个任务，例如分类任务、检测任务、分割任务等，多个任务共同组成一个复杂系统。通过不同的模型分别实现不同任务的识别，例如通过卷积神经网络模型实现道路识别，通过循环卷积神经网络模型实现路面情况识别等。
3、然而，各个模型均需要标注大量的数量后进行训练，模型训练比较复杂，需要花费较多时间，导致车辆的驾驶场景的识别效率较低。
4、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种驾驶场景的识别方法、装置、设备、存储介质和产品，旨在解决车辆的驾驶场景的识别效率低的技术问题。
2、为实现上述目的，本申请提出一种驾驶场景的识别方法，所述方法包括：
3、将待识别图像输入视觉语言模型，得到所述待识别图像与各预设驾驶场景描述语句之间的相似度，其中，所述视觉语言模型根据预设驾驶场景图像样本和预设驾驶场景描述语句样本之间的映射关系训练得到，所述预设驾驶场景描述语句通过对应的提示信息对相应的预设文本标签扩充得到；
4、根据所述待识别图像与各预设驾驶场景描述语句之间的相
5、将所述待识别图像与各预设驾驶场景描述语句之间的相似度输入多标签分类模型，得到所述待识别图像对应的目标文本标签；
6、根据所述目标文本标签，确定车辆的驾驶场景。
7、在一实施例中，所述视觉语言模型包括文本编码器和视觉编码器，所述将待识别图像输入视觉语言模型，得到所述待识别图像与各预设驾驶场景描述语句之间的相似度的步骤包括：
8、将所述待识别图像输入所述视觉编码器，得到所述待识别图像对应的图像特征向量；
9、以及，将各个所述预设驾驶场景描述语句输入所述文本编码器，得到各个所述预设驾驶场景描述语句对应的文本特征向量；
10、通过耦合函数将所述文本编码器前k层的每一层对应的提示信息映射至所述视觉编码器的对应层中，以使所述图像特征向量和各个所述文本特征向量在同一空间进行语义对齐，其中，所述耦合函数包括第一全连接层和激活函数；
11、根据语义对齐后的所述图像特征向量和各个所述文本特征向量，得到所述待识别图像与各预设驾驶场景描述语句之间的相似度。
12、在一实施例中，所述根据语义对齐后的所述图像特征向量和各个所述文本特征向量，得到所述待识别图像与各预设驾驶场景描述语句之间的相似度的步骤包括：
13、确定语义对齐后的图像特征向量与各个所述文本特征向量之间的余弦相似度；
14、根据所述余弦相似度，得到所述待识别图像与各预设驾驶场景描述语句之间的相似度。
15、在一实施例中，多标签分类模型包括第二全连接层、第三全连接层和sigmod激活函数，所述将所述待识别图像与各预设驾驶场景描述语句之间的相似度输入多标签分类模型，得到所述待识别图像对应的目标文本标签的步骤包括：
16、根据所述待识别图像与各预设驾驶场景描述语句之间的相似度，得到所述待识别图像与各预设文本标签之间的相似度；
17、将所述待识别图像与各预设文本标签之间的相似度依次经过所述多标签分类模型的第二全连接层、所述第三全连接层，并通过所述sigmod激活函数进行计算，得到每个预设文本标签对应的置信度；
18、根据每个所述预设文本标签对应的置信度，得到所述待识别图像对应的目标文本标签。
19、在一实施例中，所述根据每个所述预设文本标签对应的置信度，得到所述待识别图像对应的目标文本标签的步骤包括：
20、对每个所述预设文本标签基于对应的置信度进行排序，选取置信度最高的前预设数量的预设文本标签；
21、对所述预设数量的预设文本标签按照预设的过滤方式进行过滤，将过滤后剩余的预设文本标签确定为所述目标文本标签。
22、在一实施例中，所述方法，还包括：
23、根据各预设文本标签对应的置信度分别与标准置信度之间的损失值，确定整体损失值；
24、根据所述整体损失值，确定所述视觉语言模型对应的提示信息的第一修正值和所述多标签分类模型对应的模型参数的第二修正值，其中，所述模型参数包括所述第二全连接层和所述第三全连接层各自的权重和/或偏置；
25、采用所述第一修正值对所述视觉语言模型进行更新，以及采用所述第二修正值对所述多标签分类模型进行更新。
26、在一实施例中，所述根据各预设文本标签对应的置信度分别与标准置信度之间的损失值，确定整体损失值的步骤包括：
27、通过交叉熵损失函数，分别计算各预设文本标签对应的置信度与标准置信度之间的损失值；
28、对各个所述损失值进行求和后求平均值，得到所述整体损失值。
29、此外，为实现上述目的，本申请还提出一种驾驶场景的识别装置，所述驾驶场景的识别装置包括：
30、相似度确定模块，用于将待识别图像输入视觉语言模型，得到所述待识别图像与各预设驾驶场景描述语句之间的相似度，其中，所述视觉语言模型根据预设驾驶场景图像样本和预设驾驶场景描述语句样本之间的映射关系训练得到，所述预设驾驶场景描述语句通过对应的提示信息对相应的预设文本标签扩充得到；
31、多标签分类模块，用于将所述待识别图像与各预设驾驶场景描述语句之间的相似度输入多标签分类模型，得到所述待识别图像对应的目标文本标签；
32、驾驶场景确定模块，用于根据所述目标文本标签，确定车辆的驾驶场景。
33、此外，为实现上述目的，本申请还提出一种驾驶场景的识别设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的驾驶场景的识别方法的步骤。
34、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的驾驶场景的识别方法的步骤。
35、此外，为实现上述目的，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的驾驶场景的识别方法的步骤。
36、本申请提出的一个或多个技术方案，至少具有以下技术效果：
37、由于使用了视觉语言模型对待识别图像进行处理，得到该待识别图像与各预设驾驶场景描述语句之间的相似度，进而确定待识别图像与各预设文本标签之间的相似度，基于该相似度可以识别得到本文档来自技高网...
【技术保护点】
1.一种驾驶场景的识别方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述视觉语言模型包括文本编码器和视觉编码器，所述将待识别图像输入视觉语言模型，得到所述待识别图像与各预设驾驶场景描述语句之间的相似度的步骤包括：
3.如权利要求2所述的方法，其特征在于，所述根据语义对齐后的所述图像特征向量和各个所述文本特征向量，得到所述待识别图像与各预设驾驶场景描述语句之间的相似度的步骤包括：
4.如权利要求1所述的方法，其特征在于，多标签分类模型包括第二全连接层、第三全连接层和sigmod激活函数，所述将所述待识别图像与各预设驾驶场景描述语句之间的相似度输入多标签分类模型，得到所述待识别图像对应的目标文本标签的步骤包括：
5.如权利要求4所述的方法，其特征在于，所述根据每个所述预设文本标签对应的置信度，得到所述待识别图像对应的目标文本标签的步骤包括：
6.如权利要求4所述的方法，其特征在于，所述方法，包括：
7.如权利要求6所述的方法，其特征在于，所述根据各预设文本标签对应的置信度分别与标准置信
8.一种驾驶场景的识别装置，其特征在于，所述装置包括：
9.一种驾驶场景的识别设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至7中任一项所述的驾驶场景的识别方法的步骤。
10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的驾驶场景的识别方法的步骤。
11.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的驾驶场景的识别方法的步骤。
...【技术特征摘要】
1.一种驾驶场景的识别方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述视觉语言模型包括文本编码器和视觉编码器，所述将待识别图像输入视觉语言模型，得到所述待识别图像与各预设驾驶场景描述语句之间的相似度的步骤包括：
3.如权利要求2所述的方法，其特征在于，所述根据语义对齐后的所述图像特征向量和各个所述文本特征向量，得到所述待识别图像与各预设驾驶场景描述语句之间的相似度的步骤包括：
4.如权利要求1所述的方法，其特征在于，多标签分类模型包括第二全连接层、第三全连接层和sigmod激活函数，所述将所述待识别图像与各预设驾驶场景描述语句之间的相似度输入多标签分类模型，得到所述待识别图像对应的目标文本标签的步骤包括：
5.如权利要求4所述的方法，其特征在于，所述根据每个所述预设文本标签对应的置信度，得到所述待识别图像对应的目标文本标签的步骤包括：
6.如权利要...
【专利技术属性】
技术研发人员：田灿，梁振宝，褚诚，江典龙，万雷鸣，
申请(专利权)人：浙江吉利控股集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。