一种点云语义解析方法和装置制造方法及图纸

本发明专利技术公开了一种点云语义解析方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：输入目标场景的激光点云数据；依序对各帧点云进行语义解析，其中，对每帧点云的语义解析包括：对该帧点云提取高维特征和具有时空一致性的全局特征，利用具有时空一致性的全局特征和高维特征，得到该帧点云的融合特征；对融合特征进行全连接层转换和概率归一化，从而得到该帧点云的点云标识信息；输出时间序列上的多帧点云的点云标识信息。该实施方式能够不受运动物体和领域帧间同一场景点错位影响，提高后一帧和前一帧解析结果的一致性，从而得到具有时空一致性解析结果，且不存在重复计算问题，并且解析结果有较强的准确性和鲁棒性。

【技术实现步骤摘要】
一种点云语义解析方法和装置
本专利技术涉及计算机
，尤其涉及一种点云语义解析方法和装置。
技术介绍
点云语义解析是对激光点云进行语义解析，即标记每个点云点属于哪个类别，例如解析出街景点云下的车辆、行人等区域，或者区分动态和非动态物体，或者区分前景物体和背景场景。点云语义解析技术是街景智能感知和环境可视化领域中不可或缺的技术，也是计算机视觉中的研究难点，一方面现实场景丰富多样，物体姿态各异；另一方面，点云是由单帧点云拼合而成，受设备精度和运动物体影响在同一位置下的相邻帧点云存在高程或辐射度差异，导致拼合后点云具有厚度和噪声区域(如图1所示)，直接对其解析存在精度不足的问题。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：同一场景点在不同单帧点云存在差异性，拼合结果存在时空不一致问题；存在重复计算问题，解析结果准确性和鲁棒性不足。
技术实现思路
有鉴于此，本专利技术实施例提供一种点云语义解析方法和装置，能够不受运动物体和领域帧间同一场景点错位影响，提高后一帧和前一帧解析结果的一致性，从而得到具有时空一致性解析结果，且不存在重复计算问题，并且解析结果有较强的准确性和鲁棒性。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种点云语义解析方法。一种点云语义解析方法，包括：输入目标场景的激光点云数据，所述激光点云数据包括时间序列上的多帧点云；依序对各帧点云进行语义解析，其中，对每帧点云的语义解析包括：对该帧点云提取高维特征和具有时空一致性的全局特征，利用所述具有时空一致性的全局特征和所述高维特征，得到该帧点云的融合特征；对所述融合特征进行全连接层转换和概率归一化，从而得到该帧点云的点云标识信息，所述点云标识信息表示该帧点云中每个点属于所述目标场景中各类别目标的概率；输出所述时间序列上的多帧点云的所述点云标识信息。可选地，对该帧点云提取高维特征和具有时空一致性的全局特征，利用所述具有时空一致性的全局特征和所述高维特征，得到该帧点云的融合特征的步骤，包括：通过卷积神经网络的特征提取子网络提取该帧点云的高维特征；将该帧点云的高维特征通过所述卷积神经网络的全连接层、池化层处理后，输入到循环神经网络进行转换，以得到该帧点云的具有时空一致性的全局特征；经由所述卷积神经网络的通道级联层，将所述高维特征和所述高维特征通过所述全连接层处理后得到的特征，与所述具有时空一致性的全局特征级联，以得到该帧点云的融合特征。可选地，对该帧点云提取高维特征和具有时空一致性的全局特征，利用所述具有时空一致性的全局特征和所述高维特征，得到该帧点云的融合特征的步骤，包括：通过卷积神经网络的特征提取子网络提取该帧点云的高维特征；将该帧点云的高维特征输入所述卷积神经网络的数据切分层，以按照激光线编号进行切分，得到与各激光线编号对应的各线点云的高维特征；将所述各线点云的高维特征通过所述卷积神经网络的全连接层、池化层处理后，输入到循环神经网络进行转换，以得到所述各线点云的具有时空一致性的全局特征；经由所述卷积神经网络的通道级联层，将所述各线点云的高维特征和该高维特征通过所述全连接层处理后得到的特征，与对应的各线点云的具有时空一致性的全局特征级联，以得到各线点云的融合特征；通过所述卷积神经网络的数据级联层，将所述各线点云的融合特征合并，得到该帧点云的融合特征。可选地，所述循环神经网络为嵌入到所述卷积神经网络的以下其中一种网络：单层单向长短时记忆网络、双向长短时记忆网络、多层长短时记忆网络、门循环神经网络。根据本专利技术实施例的另一方面，提供了一种点云语义解析装置。一种点云语义解析装置，包括：点云数据输入模块，用于输入目标场景的激光点云数据，所述激光点云数据包括时间序列上的多帧点云；点云语义解析模块，用于依序对各帧点云进行语义解析，其中，对每帧点云的语义解析包括：对该帧点云提取高维特征和具有时空一致性的全局特征，利用所述具有时空一致性的全局特征和所述高维特征，得到该帧点云的融合特征；对所述融合特征进行全连接层转换和概率归一化，从而得到该帧点云的点云标识信息，所述点云标识信息表示该帧点云中每个点属于所述目标场景中各类别目标的概率；点云标识信息输出模块，用于输出所述时间序列上的多帧点云的所述点云标识信息。可选地，所述点云语义解析模块包括第一解析处理单元，用于：通过卷积神经网络的特征提取子网络提取该帧点云的高维特征；将该帧点云的高维特征通过所述卷积神经网络的全连接层、池化层处理后，输入到循环神经网络进行转换，以得到该帧点云的具有时空一致性的全局特征；经由所述卷积神经网络的通道级联层，将所述高维特征和所述高维特征通过所述全连接层处理后得到的特征，与所述具有时空一致性的全局特征级联，以得到该帧点云的融合特征。可选地，所述点云语义解析模块包括第二解析处理单元，用于：通过卷积神经网络的特征提取子网络提取该帧点云的高维特征；将该帧点云的高维特征输入所述卷积神经网络的数据切分层，以按照激光线编号进行切分，得到与各激光线编号对应的各线点云的高维特征；将所述各线点云的高维特征通过所述卷积神经网络的全连接层、池化层处理后，输入到循环神经网络进行转换，以得到所述各线点云的具有时空一致性的全局特征；经由所述卷积神经网络的通道级联层，将所述各线点云的高维特征和该高维特征通过所述全连接层处理后得到的特征，与对应的各线点云的具有时空一致性的全局特征级联，以得到各线点云的融合特征；通过所述卷积神经网络的数据级联层，将所述各线点云的融合特征合并，得到该帧点云的融合特征。可选地，所述循环神经网络为嵌入到所述卷积神经网络的以下其中一种网络：单层单向长短时记忆网络、双向长短时记忆网络、多层长短时记忆网络、门循环神经网络。根据本专利技术实施例的又一方面，提供了一种电子设备。一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本专利技术提供的点云语义解析方法。根据本专利技术实施例的又一方面，提供了一种计算机可读介质。一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术提供的点云语义解析方法。上述专利技术中的一个实施例具有如下优点或有益效果：依序对各帧点云进行语义解析，其中，对每帧点云的语义解析包括：对该帧点云提取高维特征和具有时空一致性的全局特征，利用具有时空一致性的全局特征和高维特征，得到该帧点云的融合特征；对融合特征进行全连接层转换和概率归一化，从而得到该帧点云的点云标识信息；输出时间序列上的多帧点云的点云标识信息。能够不受运动物体和领域帧间同一场景点错位影响，提高后一帧和前一帧解析结果的一致性，从而得到具有时空一致性解析结果，且不存在重复计算问题，并且解析结果有较强的准确性和鲁棒性。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是根据现有技术的序列单帧本文档来自技高网...

【技术保护点】
1.一种点云语义解析方法，其特征在于，包括：/n输入目标场景的激光点云数据，所述激光点云数据包括时间序列上的多帧点云；/n依序对各帧点云进行语义解析，其中，对每帧点云的语义解析包括：对该帧点云提取高维特征和具有时空一致性的全局特征，利用所述具有时空一致性的全局特征和所述高维特征，得到该帧点云的融合特征；对所述融合特征进行全连接层转换和概率归一化，从而得到该帧点云的点云标识信息，所述点云标识信息表示该帧点云中每个点属于所述目标场景中各类别目标的概率；/n输出所述时间序列上的多帧点云的所述点云标识信息。/n

【技术特征摘要】
1.一种点云语义解析方法，其特征在于，包括：
输入目标场景的激光点云数据，所述激光点云数据包括时间序列上的多帧点云；
依序对各帧点云进行语义解析，其中，对每帧点云的语义解析包括：对该帧点云提取高维特征和具有时空一致性的全局特征，利用所述具有时空一致性的全局特征和所述高维特征，得到该帧点云的融合特征；对所述融合特征进行全连接层转换和概率归一化，从而得到该帧点云的点云标识信息，所述点云标识信息表示该帧点云中每个点属于所述目标场景中各类别目标的概率；
输出所述时间序列上的多帧点云的所述点云标识信息。


2.根据权利要求1所述的方法，其特征在于，对该帧点云提取高维特征和具有时空一致性的全局特征，利用所述具有时空一致性的全局特征和所述高维特征，得到该帧点云的融合特征的步骤，包括：
通过卷积神经网络的特征提取子网络提取该帧点云的高维特征；
将该帧点云的高维特征通过所述卷积神经网络的全连接层、池化层处理后，输入到循环神经网络进行转换，以得到该帧点云的具有时空一致性的全局特征；
经由所述卷积神经网络的通道级联层，将所述高维特征和所述高维特征通过所述全连接层处理后得到的特征，与所述具有时空一致性的全局特征级联，以得到该帧点云的融合特征。


3.根据权利要求1所述的方法，其特征在于，对该帧点云提取高维特征和具有时空一致性的全局特征，利用所述具有时空一致性的全局特征和所述高维特征，得到该帧点云的融合特征的步骤，包括：
通过卷积神经网络的特征提取子网络提取该帧点云的高维特征；
将该帧点云的高维特征输入所述卷积神经网络的数据切分层，以按照激光线编号进行切分，得到与各激光线编号对应的各线点云的高维特征；
将所述各线点云的高维特征通过所述卷积神经网络的全连接层、池化层处理后，输入到循环神经网络进行转换，以得到所述各线点云的具有时空一致性的全局特征；
经由所述卷积神经网络的通道级联层，将所述各线点云的高维特征和该高维特征通过所述全连接层处理后得到的特征，与对应的各线点云的具有时空一致性的全局特征级联，以得到各线点云的融合特征；
通过所述卷积神经网络的数据级联层，将所述各线点云的融合特征合并，得到该帧点云的融合特征。


4.根据权利要求2或3所述的方法，其特征在于，所述循环神经网络为嵌入到所述卷积神经网络的以下其中一种网络：
单层单向长短时记忆网络、双向长短时记忆网络、多层长短时记忆网络、门循环神经网络。


5.一种点云语义解析装置，其特征在于，包括：
点云数据输入模块，用于输入目标场景的激光点云数据，所述激光点云数据包括时间序列上...

【专利技术属性】
技术研发人员：李艳丽，贾魁，崔丽华，赫桂望，蔡金华，
申请(专利权)人：北京京东叁佰陆拾度电子商务有限公司，
类型：发明
国别省市：北京;11