道路车辆三维视觉模型构建方法、装置及电子设备制造方法及图纸

本申请公开了一种道路车辆三维视觉模型构建方法、装置及电子设备，其中，道路车辆三维视觉模型构建方法包括：获取道路车辆的目标图像和点云数据；将目标图像和点云数据输入三维智能视觉模型中，得到道路车辆的三维视觉模型，三维智能视觉模型是经过三维节点特征重用变换处理、三维节点邻域查找变换处理、时空冗余感知增量计算变换处理、内容感知的点云裁剪处理及三维结构感知的动态量化处理的模型。该方法通过对原始三维智能视觉模型进行设计和优化减少计算量、提高模型的效率和准确性，同时避免了重新计算特征的时间和资源开销，并且对原始三维智能视觉模型进行压缩和量化以减少模型参数和计算量，进一步提高模型的处理效率。率。率。

【技术实现步骤摘要】
道路车辆三维视觉模型构建方法、装置及电子设备


[0001]本申请属于三维建模
，具体涉及一种道路车辆三维视觉模型构建方法、装置及电子设备。

技术介绍

[0002]随着自动驾驶技术越来越普及，并在城市智能交通系统中发挥越来越重要的作用，安全已成为首要问题。
[0003]通过使用3D目标跟踪来更好地了解车辆周围环境，并了解和预测周围目标的轨迹，车辆可以更安全地驾驶。
[0004]由于真实交通场景下需要实时的监控路面的交通状况，现有的3D目标跟踪算法难以满足跟踪任务的高精度、低延迟的应用需求。

技术实现思路

[0005]本申请的目的是提供一种道路车辆三维视觉模型构建方法、装置及电子设备以满足跟踪任务的高精度、低延迟的应用需求。
[0006]根据本申请实施例的第一方面，提供了一种道路车辆三维视觉模型构建方法，该方法可以包括：
[0007]获取道路车辆的目标图像和点云数据；
[0008]将目标图像和点云数据输入三维智能视觉模型中，得到道路车辆的三维视觉模型，三维智能视觉模型是经过三维节点特征重用变换处理、三维节点邻域查找变换处理、时空冗余感知增量计算变换处理、内容感知的点云裁剪处理及三维结构感知的动态量化处理的模型。
[0009]在本申请的一些可选实施例中，三维节点特征重用变换处理，包括：
[0010]将原始三维智能视觉模型的点云的邻居划分为公共微分聚合组和特定邻居；
[0011]在道路车辆三维视觉模型构建过程中，对目标点的公共微分聚合组进行聚合输出第一结果，同时对目标点的特定邻居进行聚合输出第二结果；
[0012]将第一结果和第二结果聚合得到更新后的特征。
[0013]在本申请的一些可选实施例中，三维节点邻域查找变换处理，包括：
[0014]对原始三维智能视觉模型的三维节点邻域查找设定邻居数量阈值；
[0015]在道路车辆三维视觉模型构建过程中，基于每个点从近区域到远区域进行邻居的搜索；
[0016]当邻居的数量达到邻居数量阈值，停止搜索。
[0017]在本申请的一些可选实施例中，时空冗余感知增量计算变换处理，包括：
[0018]对原始三维智能视觉模型的特征更新增加增量感知；
[0019]在道路车辆三维视觉模型构建过程中，在DUG
V
中计算找到微分组的网格中心，将DUG
V
中最接近网格中心的点作为微分基点；
[0020]通过差值计算得到微分组内其余点相对于微分基点的增量。
[0021]在本申请的一些可选实施例中，内容感知的点云裁剪处理，包括：
[0022]保留原始三维智能视觉模型的中重要性等于或者高于预设值的节点，裁减掉重要性低于预设值的节点。
[0023]在本申请的一些可选实施例中，原始三维智能视觉模型的节点重要性判断过程，包括：
[0024]给定输入的特征向量每个节点的重要性的计算公式为：
[0025][0026]其中，t
i
表示可学习的权重参数，表示节点i的重要程度。
[0027]在本申请的一些可选实施例中，三维结构感知的动态量化处理，包括：
[0028]在原始三维智能视觉模型的量化感知训练中，对输入的参数通过仿射变换离散化为可反向传播的浮点数；
[0029]在原始三维智能视觉模型的部署推理阶段，将浮点数的降尺度到低精度定点数后再进行运算；
[0030]在原始三维智能视觉模型的溢出感知中，对降尺度步长引入自适应缩放因子，当检测到输出特征图出现溢出时，调整自适应缩放因子，以使量化后的整数范围缩小。
[0031]根据本申请实施例的第二方面，提供一种道路车辆三维视觉模型构建装置，该装置可以包括：
[0032]获取模块，用于获取道路车辆的目标图像和点云数据；
[0033]输入模块，用于将目标图像和点云数据输入三维智能视觉模型中，得到道路车辆的三维视觉模型，三维智能视觉模型是经过三维节点特征重用变换处理、三维节点邻域查找变换处理、时空冗余感知增量计算变换处理、内容感知的点云裁剪处理及三维结构感知的动态量化处理的模型。
[0034]根据本申请实施例的第三方面，提供一种电子设备，该电子设备可以包括：
[0035]处理器；
[0036]用于存储处理器可执行指令的存储器；
[0037]其中，处理器被配置为执行指令，以实现如第一方面的任一项实施例中所示的道路车辆三维视觉模型构建方法。
[0038]根据本申请实施例的第四方面，提供一种存储介质，当存储介质中的指令由信息处理装置或者服务器的处理器执行时，以使信息处理装置或者服务器实现如第一方面的任一项实施例中所示的道路车辆三维视觉模型构建方法。
[0039]本申请的上述技术方案具有如下有益的技术效果：
[0040]本申请实施例方法通过对原始三维智能视觉模型进行设计和优化减少计算量、提高模型的效率和准确性，同时避免了重新计算特征的时间和资源开销，并且对原始三维智能视觉模型进行压缩和量化以减少模型参数和计算量，进一步提高模型的处理效率。
附图说明
[0041]图1是本申请一示例性实施例中道路车辆三维视觉模型构建方法流程图；
[0042]图2是本申请一示例性实施例中邻居聚合模块中边更新时与权重重复点乘示意图；
[0043]图3是本申请一示例性实施例中改进后特征更新模块点乘示意图；
[0044]图4是本申请一示例性实施例中聚合所有的邻居点示意图；
[0045]图5是本申请一示例性实施例中三维节点特征重用策略的整体流程图；
[0046]图6是本申请一示例性实施例中空间划分及空间感知邻域搜索示意图；
[0047]图7是本申请一示例性实施例中时空冗余感知增量计算与通信优化的整体流程图；
[0048]图8是本申请一示例性实施例中增量计算过程示意图；
[0049]图9是本申请一示例性实施例中具有量化感知与溢出感知的动态混合精度量化方法流程图；
[0050]图10是本申请一示例性实施例中道路车辆三维视觉模型构建装置结构示意图；
[0051]图11是本申请一示例性实施例中电子设备结构示意图；
[0052]图12是本申请一示例性实施例中电子设备的硬件结构示意图。
具体实施方式
[0053]为使本申请的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本申请进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。
[0054]在附图中示出了根据本申请实施例的层结构示意图。这些图并非是按比例绘制的，其中为了清楚的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种道路车辆三维视觉模型构建方法，其特征在于，包括：获取道路车辆的目标图像和点云数据；将所述目标图像和所述点云数据输入三维智能视觉模型中，得到道路车辆的三维视觉模型，所述三维智能视觉模型是经过三维节点特征重用变换处理、三维节点邻域查找变换处理、时空冗余感知增量计算变换处理、内容感知的点云裁剪处理及三维结构感知的动态量化处理的模型。2.根据权利要求1所述的道路车辆三维视觉模型构建方法，其特征在于，所述三维节点特征重用变换处理，包括：将原始三维智能视觉模型的点云的邻居划分为公共微分聚合组和特定邻居；在道路车辆三维视觉模型构建过程中，对目标点的所述公共微分聚合组进行聚合输出第一结果，同时对目标点的所述特定邻居进行聚合输出第二结果；将所述第一结果和所述第二结果聚合得到更新后的特征。3.根据权利要求1所述的道路车辆三维视觉模型构建方法，其特征在于，所述三维节点邻域查找变换处理，包括：对原始三维智能视觉模型的三维节点邻域查找设定邻居数量阈值；在道路车辆三维视觉模型构建过程中，基于每个点从近区域到远区域进行邻居的搜索；当所述邻居的数量达到所述邻居数量阈值，停止搜索。4.根据权利要求1所述的道路车辆三维视觉模型构建方法，其特征在于，所述时空冗余感知增量计算变换处理，包括：对原始三维智能视觉模型的特征更新增加增量感知；在道路车辆三维视觉模型构建过程中，在DUG
V
中计算找到微分组的网格中心，将DUG
V
中最接近所述网格中心的点作为微分基点；通过差值计算得到所述微分组内其余点相对于所述微分基点的增量。5.根据权利要求1所述的道路车辆三维视觉模型构建方法，其特征在于，所述内容感知的点云裁剪处理，包括：保留原始三维智能视觉模型的中重要性等于或者高于预设值的节点，裁减...

【专利技术属性】
技术研发人员：陈岑，邹骁锋，
申请(专利权)人：湖南大学深圳研究院，
类型：发明
国别省市：