【技术实现步骤摘要】
本专利技术涉及一种动态物体分割方法，尤其涉及一种基于三维激光点云数据流的动态物体分割方法。
技术介绍
1、目前，随着社会的发展和人口的增长，人类对于出行、生活、工作等方面的需求和期望也不断提高，这促使了智能装备的研究和发展，以提高人类的效率和安全。智能装备需要能够感知周围的环境，以便能够适应不同的场景和任务，例如，机器人需要能够识别和避开障碍物，自动驾驶汽车需要能够检测和跟踪其他车辆和行人，无人机需要能够定位和导航等。因此，环境感知是智能装备的基础和前提，也是智能装备的核心竞争力和创新点。
2、动态物体分割（mos）是环境感知中的一项非常重要的任务，基于激光雷达的mos任务通过分割当前移动的物体（如行人和骑自行车的人）来解决交通环境中的不确定性感知，同时区分静止的车辆和移动的车辆。
3、动态物体分割技术的发展受到了人工智能技术的快速发展的推动，特别是深度学习技术的突破，使得物体分割的性能和效率得到了显著的提升。许多研究集中在利用基于学习的方法在线消除动态对象，这些方法将连续帧点云作为输入，以预测当前帧中的移动对象。然而，这些方法通常专注于在单个推理中传递时间线索，并认为每个预测都是独立的。这可能会导致不同帧中同一对象的分割结果不一致。
4、中国专利“cn115861957a”提出了一种基于传感器融合的新型动态物体分割方法，融合了两种传感器的优点，通过优势互补去克服传感器本身性质带来的局限性。但是该技术方案过于简单，且没有给出具体的技术指标，仅仅是将三维激光点云投影到二维图像上，缺乏进一步的细化
5、中国专利“cn117611626a”提出了一种基于深度学习的运动目标数据制作和检测方法，所述的方法仅使用图像进行运动物体的分割，无法实现对三维坐标的精确定位。这意味着在实际应用中，无法准确地确定物体在空间中的位置和运动轨迹，限制了方法的精确性和可靠性。其次，该技术方案使用的是专用数据集，泛化性很差。这意味着该方法在处理现实环境中的复杂情况时可能表现不佳。由于专用数据集可能无法涵盖所有可能的场景和变化，该方法可能无法适应不同环境下的运动物体数据制作和检测需求。此外，该技术方案的网络结构过于简单，无法处理复杂的真实环境。复杂的真实环境中可能存在各种干扰因素，如光照变化、背景干扰等，需要更强大和灵活的网络结构来应对这些挑战。简单的网络结构可能无法提供足够的复杂性和表达能力，从而无法同时保证处理速度和精确性。故而，该技术方案存在着一些限制和不足。
6、因此有必要设计一种新的基于三维激光点云数据流的动态物体分割方法，以克服上述问题。
技术实现思路
1、本专利技术的目的在于克服现有技术之缺陷，提供了一种基于三维激光点云数据流的动态物体分割方法，可提高分割结果的连续性和完整性，并在时间和空间上保持了一致性；还实现了端到端的动态物体分割方法，比以往的方法网络结构更加简单、效果更好、速度更快，能够更好地应对边界模糊问题，有利于安全的自动驾驶，以促进自动驾驶产品快速落地并带来客观的经济效益。
2、本专利技术是这样实现的：
3、本专利技术提供一种基于三维激光点云数据流的动态物体分割方法，包括以下步骤：
4、步骤一，点云特征提取：通过深度学习方法对多帧点云数据进行特征提取，并将点云特征投影到鸟瞰图，再经过多层感知机对鸟瞰图特征进行聚合和进一步提取，以获得鸟瞰图的时间和空间高层次语义特征；
5、步骤二，特征时序融合：采用自注意力机制来聚合步骤一中得到的鸟瞰图数据特征和上一次推理得到的历史特征，以利用时间上的相关性来增强分割效果和捕捉动态物体的运动信息；
6、步骤三，多尺度解码器：通过双线性插值和辅助头来处理步骤二和步骤一中的多尺度特征，并将鸟瞰图特征映射到点云特征，实现对静态点和动态点的区分，并额外预测点的可移动物体和背景概率，用于后续投票阶段的细化；
7、步骤四，动态修正机制：采用基于体素和实例的投票机制，用于纠正网络预测中的错误，并通过长时记忆更新保持历史结果，以提高推理质量和减少不一致性。
8、进一步地，在步骤一中，利用深度学习的特征编码能力，对多帧点云数据进行编码；首先对多帧点云数据进行特征提取，然后将点云特征映射到鸟瞰图，深度学习网络通过数据驱动的方式，用真值标签来调节网络中的神经元权重和偏置参数，把点云的特征从三维升到高维；再利用多层感知机对鸟瞰图特征进行聚合和进一步提取，以获得鸟瞰图的时间和空间高层次语义特征。
9、进一步地，在步骤二中，为了利用时间上的相关性增强分割效果和捕捉动态物体的运动信息，采用了自注意力机制来聚合步骤一中得到的鸟瞰图数据特征和上一次推理得到的历史特征；此注意力机制可自适应地学习特征之间的关系，使网络能够更好地理解不同时间步之间的语义信息，并有效地将历史特征引入到当前推断中。
10、进一步地，在步骤三中，为了区分静态点和动态点，使用双线性插值和辅助头处理步骤二和步骤一中的多尺度特征；首先利用双线性插值将多尺度特征与历史特征的大小转换为统一的高度和宽度；然后通过引入辅助头，预测鸟瞰图中的运动对象，并利用辅助损失来约束特征的对齐和解码过程，确保多尺度特征被有效地解码和利用；继而将鸟瞰图特征映射到点云特征。
11、进一步地，在步骤四中，采用基于体素和实例的投票机制，用于纠正网络预测中的错误，并通过长时记忆更新保持历史结果，以提高推理质量和减少不一致性；
12、基于体素的投票机制将历史预测和当前预测投影到点云的坐标系中，并选择每个体素中最频繁出现的标签作为运动状态；
13、基于实例的投票机制利用解码器的预测概率，将点云中的前景点聚类并计算边界框，然后从当前预测和历史预测中提取实例级别的预测；使用长时记忆库保存历史结果，并在输出新的精化预测时更新记忆。
14、进一步地，在步骤一中，利用深度学习的特征编码能力，对多帧点云数据进行编码，其中为历史帧数量；通过点网结构对多帧点云数据进行特征提取得到点云特征，其中为单帧点云数量和通道维度；并将点云特征投影到鸟瞰图得到鸟瞰图特征，、分别为鸟瞰图特征的长和宽，然后再经过多层感知机对鸟瞰图特征进行聚合和进一步提取，深度学习网络可以通过数据驱动的方式，用真值标签来调节网络中的神经元权重和偏置参数，从而把鸟瞰图的特征从二维升到高维；在这个阶段，鸟瞰图中的局部信息和全局信息都会被融合，参与到每个点的高维特征计算中，最终获得鲁棒的鸟瞰图特征。
15、进一步地，在步骤二中，为了利用时间上的相关性本文档来自技高网...
【技术保护点】
1.一种基于三维激光点云数据流的动态物体分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于三维激光点云数据流的动态物体分割方法，其特征在于：在步骤一中，利用深度学习的特征编码能力，对多帧点云数据进行编码；首先对多帧点云数据进行特征提取，然后将点云特征映射到鸟瞰图，深度学习网络通过数据驱动的方式，用真值标签来调节网络中的神经元权重和偏置参数，把点云的特征从三维升到高维；再利用多层感知机对鸟瞰图特征进行聚合和进一步提取，以获得鸟瞰图的时间和空间高层次语义特征。
3.如权利要求1所述的基于三维激光点云数据流的动态物体分割方法，其特征在于：在步骤二中，为了利用时间上的相关性增强分割效果和捕捉动态物体的运动信息，采用了自注意力机制来聚合步骤一中得到的鸟瞰图数据特征和上一次推理得到的历史特征；此注意力机制可自适应地学习特征之间的关系，使网络能够更好地理解不同时间步之间的语义信息，并有效地将历史特征引入到当前推断中。
4.如权利要求1所述的基于三维激光点云数据流的动态物体分割方法，其特征在于：在步骤三中，为了区分静态点和动态点，使用双线性插值和
5.如权利要求1所述的基于三维激光点云数据流的动态物体分割方法，其特征在于：在步骤四中，采用基于体素和实例的投票机制，用于纠正网络预测中的错误，并通过长时记忆更新保持历史结果，以提高推理质量和减少不一致性；
6.如权利要求1所述的基于三维激光点云数据流的动态物体分割方法，其特征在于：在步骤一中，利用深度学习的特征编码能力，对多帧点云数据进行编码，其中为历史帧数量；通过点网结构对多帧点云数据进行特征提取得到点云特征，其中为单帧点云数量和通道维度；并将点云特征投影到鸟瞰图得到鸟瞰图特征，、分别为鸟瞰图特征的长和宽，然后再经过多层感知机对鸟瞰图特征进行聚合和进一步提取，深度学习网络可以通过数据驱动的方式，用真值标签来调节网络中的神经元权重和偏置参数，从而把鸟瞰图的特征从二维升到高维；在这个阶段，鸟瞰图中的局部信息和全局信息都会被融合，参与到每个点的高维特征计算中，最终获得鲁棒的鸟瞰图特征。
7.如权利要求6所述的基于三维激光点云数据流的动态物体分割方法，其特征在于：在步骤二中，为了利用时间上的相关性增强分割效果和捕捉动态物体的运动信息，采用自注意力机制来聚合步骤一中得到的鸟瞰图数据特征和上一次推理得到的历史特征；由于和不在同一个坐标系中，利用可变形注意力中的可学习偏移来自适应地找到两个特征之间的关系，并通过注意力权重将它们组合起来；将输入两个线性层，以产生K个注意力权重和采样偏移；然后基于中参考点的偏移和坐标，采用双线性插值从中得到；最后，对进行相应的加权，得到更新的特征；上述过程可表示为：
8.如权利要求7所述的基于三维激光点云数据流的动态物体分割方法，其特征在于：在步骤三中，为了区分静态点和动态点，首先采用双线性插值将多尺度特征和的大小转换为统一的高度和宽度；对于每个上采样特征，采用辅助头来预测鸟瞰图中的运动对象，并利用辅助损失作为约束，确保来自多尺度的特征被很好地对齐和解码；此后，使用鸟瞰图映射点云的方法B2P将上采样的特征逐个映射到点特征，并将它们串联起来，以获得，其中表示通道维度；最后，除了解码点云特征的粗略运动状态之外，逐点解码器额外预测点属于可移动物体和背景的概率，可用于在后续投票阶段细化运动估计结果；逐点解码器的过程如下：
9.如权利要求8所述的基于三维激光点云数据流的动态物体分割方法，其特征在于：在步骤四中，采用基于体素的投票VBV和基于实例的投票IBV组成的投票机制，可以被视为一种后处理，通过使用历史预测来纠正当前预测标签中的错误，其中表示投票机制所利用的历史帧数量；历史帧点云的运动估计结果，将通过姿态变换被投影到的坐标系中并得到；
...【技术特征摘要】
1.一种基于三维激光点云数据流的动态物体分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于三维激光点云数据流的动态物体分割方法，其特征在于：在步骤一中，利用深度学习的特征编码能力，对多帧点云数据进行编码；首先对多帧点云数据进行特征提取，然后将点云特征映射到鸟瞰图，深度学习网络通过数据驱动的方式，用真值标签来调节网络中的神经元权重和偏置参数，把点云的特征从三维升到高维；再利用多层感知机对鸟瞰图特征进行聚合和进一步提取，以获得鸟瞰图的时间和空间高层次语义特征。
3.如权利要求1所述的基于三维激光点云数据流的动态物体分割方法，其特征在于：在步骤二中，为了利用时间上的相关性增强分割效果和捕捉动态物体的运动信息，采用了自注意力机制来聚合步骤一中得到的鸟瞰图数据特征和上一次推理得到的历史特征；此注意力机制可自适应地学习特征之间的关系，使网络能够更好地理解不同时间步之间的语义信息，并有效地将历史特征引入到当前推断中。
4.如权利要求1所述的基于三维激光点云数据流的动态物体分割方法，其特征在于：在步骤三中，为了区分静态点和动态点，使用双线性插值和辅助头处理步骤二和步骤一中的多尺度特征；首先利用双线性插值将多尺度特征与历史特征的大小转换为统一的高度和宽度；然后通过引入辅助头，预测鸟瞰图中的运动对象，并利用辅助损失来约束特征的对齐和解码过程，确保多尺度特征被有效地解码和利用；继而将鸟瞰图特征映射到点云特征。
5.如权利要求1所述的基于三维激光点云数据流的动态物体分割方法，其特征在于：在步骤四中，采用基于体素和实例的投票机制，用于纠正网络预测中的错误，并通过长时记忆更新保持历史结果，以提高推理质量和减少不一致性；
6.如权利要求1所述的基于三维激光点云数据流的动态物体分割方法，其特征在于：在步骤一中，利用深度学习的特征编码能力，对多帧点云数据进行编码，其中为历史帧数量；通过点网结构对多帧点云数据进行特征提取得到点云特征，其中为单帧点云数量和通道维度；并将点云特征投影到鸟瞰...
【专利技术属性】
技术研发人员：王翰，池贤士，徐壮，黄杰，凌杰，
申请(专利权)人：西部侨银数智科技重庆有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。