System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种车辆控制方法、装置、设备及介质制造方法及图纸_技高网

一种车辆控制方法、装置、设备及介质制造方法及图纸

技术编号:43196386 阅读:3 留言:0更新日期:2024-11-01 20:16
本申请涉及图像处理领域,提供了一种车辆控制方法、装置、设备及介质。方法包括:响应于车辆在驻车状态下播放影像,将影像的影像数据作为输入,持续输入至场景分类模型;基于场景分类模型,对持续输入的影像数据进行场景分类,得到场景分类模型输出的影像数据所属的场景类型;按照匹配场景类型的控制方式,对车辆的悬架进行联动控制;场景分类模型是训练影像集训练得到的,训练影像集中包括多个影像、多个影像中每个影像的场景分类结果和对每个影像进行场景分类所使用的场景分类参考信息,场景分类参考信息为悬架动作相关的动作场景视频。通过本申请可以在车辆播放影像的场景下,提升用户的观影体验。

【技术实现步骤摘要】

本申请涉及图像处理领域,具体而言,涉及一种车辆控制方法、装置、设备及介质


技术介绍

1、随着用户需求的日益增进,智能座舱交互技术也在不断更新迭代,目前衍生出了在车辆基于车机播放影像时进行感知交互升级的全新方案。例如,可以根据车机播放的影像控制车辆主体或部分进行运动控制,以使用户在观看影像时获得触觉体验,实现感官体验的升级。其中,车辆基于影像播放进行控制的部分包括车辆的主动式悬架。

2、相关技术中,针对主动式悬架联动的方法,主要有基于传统图像的方法和基于目标检测的方法,以上方法能够很好的定位出运动主体,并通过一些光流估计方法来判定出运动主体的运动状态,进而达到跟汽车的四轴悬架进行联动的目的,达到让用户在观影过程中能够在座舱中身临其境的效果。然而,相关技术中的方法在实际项目落地的过程中,给用户所带来的沉浸式体验是远远不够的,而且在运动估计方面也未能保持很好的准确性,与人类对于视频场景的主观理解存在偏差。


技术实现思路

1、本申请的目的在于提供一种车辆控制方法、装置、设备及介质,能够解决上述提到的至少一个技术问题。具体方案如下:

2、根据本申请的具体实施方式,第一方面,本申请提供一种车辆控制方法,包括:

3、响应于所述车辆在驻车状态下播放影像,将所述影像的影像数据作为输入,持续输入至场景分类模型;基于所述场景分类模型,对持续输入的影像数据进行场景分类,得到所述场景分类模型输出的所述影像数据所属的场景类型;按照匹配所述场景类型的控制方式,对所述车辆的悬架进行联动控制;所述场景分类模型是训练影像集训练得到的,所述训练影像集中包括多个影像、所述多个影像中每个影像的场景分类结果和对所述每个影像进行场景分类所使用的场景分类参考信息,所述场景分类参考信息为悬架动作相关的动作场景视频。

4、一种实施方式中,所述场景类型包括平缓场景类型、坎坷场景类型、以及刺激场景类型;其中,匹配所述平缓场景类型的控制方式包括控制所述车辆的悬架行程小于或等于第一悬架行程阈值,匹配所述坎坷场景类型的控制方式包括控制所述车辆的悬架行程小于或等于第二悬架行程阈值,匹配所述刺激场景类型的控制方式包括控制所述车辆的悬架行程小于或等于第三悬架行程阈值,所述第一悬架行程阈值小于所述第二悬架行程阈值,所述第二悬架行程阈值小于所述第三悬架行程阈值。所述场景类型还包括爆炸场景类型、失重场景类型、以及倾斜场景类型;其中,匹配所述爆炸场景类型的控制方式包括控制接近爆炸点侧的悬架拉伸并控制远离爆炸点侧的悬架收缩,匹配所述失重场景类型的控制方式包括控制各个悬架同步收缩,匹配所述倾斜场景类型的控制方式包括控制接近高侧的悬架拉伸并控制接近低侧的悬架收缩。

5、一种实施方式中,所述场景分类模型包括特征提取模块和分类模块;所述基于所述场景分类模型,对持续输入的影像数据进行场景分类,得到所述场景分类模型输出的所述影像数据所属的场景类型,包括:基于所述特征提取模块,对持续输入的所述影像数据进行特征提取,得到特征数据;将所述特征数据输入至分类模块,得到所述分类模块输出的场景分类结果;其中,所述场景分类结果用于作为所述场景分类模型输出的所述影像数据所属的场景类型。

6、一种实施方式中,所述特征提取模块按照数据处理顺序依次包括第一网络层、第二网络层、第三网络层、第四网络层、和第五网络层,所述第一网络层、所述第二网络层、所述第三网络层、所述第四网络层、和所述第五网络层分别满足倒置颈结构;所述第四网络层与第五网络层分别满足通用倒置颈结构;其中,所述通用倒置颈结构由可选深度卷积、逐点卷积、深度卷积、逐点卷积依次连接组成;所述第一网络层、第二网络层、以及第三网络层分别满足第一倒置颈结构至第五倒置颈结构中的其中一种结构;其中,所述第一倒置颈结构由可分离深度卷积、逐点卷积、可分离深度卷积、逐点卷积依次连接组成,第二倒置颈结构由逐点卷积、可分离深度卷积、逐点卷积依次连接组成,第三倒置颈结构由可分离深度卷积、逐点卷积、逐点卷积依次连接组成,第四倒置颈结构由逐点卷积与逐点卷积依次连接组成,所述第五倒置颈结构由二维卷积与逐点卷积依次连接组成。

7、一种实施方式中,所述基于所述特征提取模块,对持续输入的所述影像数据进行特征提取,得到特征数据,包括:输入所述影像数据,经由所述第一网络层、所述第二网络层、所述第三网络层、所述第四网络层、直至输出所述第五网络层,得到所述第二网络层输出的第一特征数据、所述第三网络层输出的第二特征数据、所述第四网络层输出的第三特征数据、所述第五网络层输出的第四特征数据;所述将所述特征数据输入至分类模块,包括:将所述第一特征数据、所述第二特征数据、所述第三特征数据、以及所述第四特征数据,输入至所述分类模块。

8、一种实施方式中,采用如下方式将所述特征数据输入至分类模块,得到所述分类模块输出的场景分类结果:基于所述分类模块的多尺度特征融合模块,按照由所述第四特征数据至所述第一特征数据的顺序进行多尺度特征融合,得到融合后的特征数据;对所述融合后的特征数据进行最大池化处理,得到池化处理后的特征数据;基于所述分类模块的两个输出分类头,为池化处理后的特征数据设置并输出为两种不同的场景分类标签;其中,针对所述两种不同的场景分类标签,一种所述场景分类标签包括平缓场景标签、坎坷场景标签、以及刺激场景标签,另一种所述场景分类标签包括爆炸场景标签、失重场景标签、以及倾斜场景标签。

9、一种实施方式中,所述第四网络层以及所述第五网络层的通用倒置颈结构,分别配置有注意力模块,所述注意力模块基于如下公式表示:

10、mobile_mqa(x)=concat(attention1,...,attentionn)wo;

11、

12、其中,attention1至attentionn表示n个自注意力头,concat(attention1,...,attentionn)wo表示对n个自注意力头进行的通道维度处理,mobile_mqa(x)表示注意力模块的结果值,x为mobile_mqa模块的输入,wq、wk、wv、wo分别为用于查询、键、值和输出变换的权重矩阵,sr为空间缩减函数,dk为尺度缩放系数,j为取值范围由1至n的自注意力头标识attentionj表示第j个自注意力头,wqj表示第j个自注意力头用于查询的权重矩阵。

13、根据本申请的具体实施方式,第二方面,本申请提供一种车辆控制装置,包括:

14、输入单元,响应于所述车辆在驻车状态下播放影像,将所述影像的影像数据作为输入,持续输入至场景分类模型;处理单元,用于基于所述场景分类模型,对持续输入的影像数据进行场景分类,得到所述场景分类模型输出的所述影像数据所属的场景类型;所述场景分类模型是训练影像集训练得到的,所述训练影像集中包括多个影像、所述多个影像中每个影像的场景分类结果和对所述每个影像进行场景分类所使用的场景分类参考信息,所述场景分类参考信息为悬架动作相关的动作场景视频;控制单元,用于按照匹配所述场本文档来自技高网...

【技术保护点】

1.一种车辆控制方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,

3.根据权利要求2所述的方法,其特征在于,所述场景分类模型包括特征提取模块和分类模块;

4.根据权利要求3所述的方法,其特征在于,所述特征提取模块按照数据处理顺序依次包括第一网络层、第二网络层、第三网络层、第四网络层、和第五网络层,所述第一网络层、所述第二网络层、所述第三网络层、所述第四网络层、和所述第五网络层分别满足倒置颈结构;

5.根据权利要求4所述的方法,其特征在于,所述基于所述特征提取模块,对持续输入的所述影像数据进行特征提取,得到特征数据,包括:

6.根据权利要求5所述的方法,其特征在于,采用如下方式将所述特征数据输入至分类模块,得到所述分类模块输出的场景分类结果:

7.根据权利要求4至6中任一项所述的方法,其特征在于,所述第四网络层以及所述第五网络层的通用倒置颈结构,分别配置有注意力模块,所述注意力模块基于如下公式表示:

8.一种车辆控制装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法步骤。

...

【技术特征摘要】

1.一种车辆控制方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,

3.根据权利要求2所述的方法,其特征在于,所述场景分类模型包括特征提取模块和分类模块;

4.根据权利要求3所述的方法,其特征在于,所述特征提取模块按照数据处理顺序依次包括第一网络层、第二网络层、第三网络层、第四网络层、和第五网络层,所述第一网络层、所述第二网络层、所述第三网络层、所述第四网络层、和所述第五网络层分别满足倒置颈结构;

5.根据权利要求4所述的方法,其特征在于,所述基于所述特征提取模块,对持续输入的所述影像数据进行特征提取,得到特征数据...

【专利技术属性】
技术研发人员:曾鑫何浩段文平黄勇波伍海银冯长苏军杨超张保林仁义梁甲琛钟家润肖顺利
申请(专利权)人:重庆赛力斯新能源汽车设计院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1