基于深度学习的时序点云数据增强方法技术

本发明专利技术公开了一种基于深度学习的时序点云数据增强方法，包括：1)按采集的时间顺序对点云进行排序；2)抽取k个点云作为原始样本，并指定网络的总共迭代次数为T，网络包含增强器和分类器；3)将原始样本输入到增强器中进行数据增强，得到增强样本；4)将原始样本与增强样本输入到分类器中，利用分类器的分类结果得到分类损失值与增强损失值；5)利用分类损失值与增强损失值，采用反向传播算法更新增强器与分类器的参数，若网络的迭代次数t小于网络的总共迭代次数T，则跳转至步骤2)，否则终止训练，得到最终的分类器参数。本发明专利技术为使用时序点云作为输入样本的深度学习模型提供一种数据增强方法，缓解深度学习模型的过拟合情况，协助对点云进行分类的任务。对点云进行分类的任务。对点云进行分类的任务。

【技术实现步骤摘要】
基于深度学习的时序点云数据增强方法


[0001]本专利技术涉及三维点云与数据增强的
，尤其是指一种基于深度学习的时序点云数据增强方法。

技术介绍

[0002]点云是由反映目标表面特征的点构成的集合，在自动驾驶、三维重建、虚拟现实等领域中有着广泛的应用。点云中的点通常包含三维坐标信息，还可能包含信噪比、多普勒或颜色等信息。目前，深度学习方法是进行点云的分类等工作的主流方法之一，但是这种方法一般需要大量的点云样本。受限于样本采集造成的人力物力的消耗，人们经常会遇到样本不足的问题。在训练深度学习网络模型时，样本不足会使得模型发生过拟合的现象，降低模型的泛化能力。因此，有必要采取措施缓解模型过拟合。增加训练样本是一种有效的对抗过拟合的方法，通过让模型学习尽可能多的样本，使模型能够更好地理解现实中的数据分布，提高模型的泛化能力。但是采集、清洗、标注大量样本往往需要耗费人力物力，有些样本还有采集或标注上的困难。为解决这个问题，我们需要对点云数据进行数据增强。
[0003]数据增强是一种从现有的、真实的样本生成新样本的方法，能够增加训练样本，在一定程度上提升模型的泛化能力。随着深度学习的发展，自动数据增强方法被应用到点云的数据增强领域中。PointAugment是首个在点云上应用自动数据增强方法的深度学习模型。
[0004]由于真实应用场景下所采集的点云很多是处于运动状态中的目标生成的，本专利的出发点是利用运动状态的时序性对点云进行数据增强。本专利结合了基于深度学习的自动数据增强方法，利用时序点云的时序性，提出了一种基于深度学习的时序点云数据增强方法。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习的时序点云数据增强方法，将数据增强首次拓展到具有时序性的点云数据上，为使用时序点云作为输入样本的深度学习模型提供一种数据增强方法，缓解深度学习模型的过拟合情况，协助对点云进行分类的任务，操作简单、适应性强，具有广阔的应用前景。
[0006]为实现上述目的，本专利技术所提供的技术方案为：基于深度学习的时序点云数据增强方法，包括以下步骤：
[0007]1)按采集的时间顺序对点云进行排序，形成具有时间顺序的点云，指定点云点数数目为n，并将每个点云的点数固定为n，对每个点云中的点进行排序；
[0008]2)从步骤1)得到的具有时间顺序的点云中，抽取k个点云作为原始样本，并指定网络的总共迭代次数为T，其中所述网络包含增强器和分类器；
[0009]3)将步骤2)得到的原始样本输入到增强器中，设定增强器对样本中的每个点云进行数据增强的概率为p
aug
，使增强器对样本中的每个点云以p
aug
的概率进行数据增强，得到
的样本称为增强样本；
[0010]4)将步骤3)得到的增强样本与对应的原始样本输入到分类器中，利用分类器的分类结果得到分类损失值L
C
与增强损失值L
A
；
[0011]5)利用步骤4)得到的分类损失值L
C
与增强损失值L
A
，采用反向传播算法更新增强器与分类器的参数，若网络的迭代次数t小于网络的总共迭代次数T，则跳转至步骤2)，否则，终止训练，得到最终的分类器参数。
[0012]进一步，在步骤1)中，固定点云的点数的方法为：若点云点数大于n，则用最远点采样算法在该点云中采集n个点；若点云点数小于n，则随机选取该点云中的点填充点云，使点云点数等于n；若点云点数等于n，直接保留该点云中的所有点；
[0013]点云中的点，表示为：
[0014]π
i
＝[σ
i1
,σ
i2
,...,σ
ir
],i＝1,2,...,n
[0015]式中，π
i
是指点云中第i个点，σ
i1
,σ
i2
,...,σ
ir
是π
i
的第1,2,...,r种特征，每个点都有r种特征，每个点云有n个点；
[0016]对每个点云中的点进行排序的方法为：根据点云中点的特征对点进行排序，使得点云中的点的特征满足字典序。
[0017]进一步，在步骤2)中，抽取k个点云作为样本的方法为：从步骤1)得到的具有时间顺序的点云中，抽取k个点云，使得在时间上相邻的两个点云之间的时间间隔小于或等于指定的阈值δ，且时间顺序上最后一个点云与第一个点云之间的时间间隔等于指定的阈值ε，表示为：
[0018]u
q
,q＝1,2,...,k
[0019]0＜time(u
q+1
)
‑
time(u
q
)≤δ,q＝1,2,...,k
‑1[0020]time(u
k
)
‑
time(u1)＝ε
[0021]式中，u
q
是指第q个点云，共有k个点云；time(u
q
)time(u
q
)是指点云u
q
对应的采集时间，time(u
q+1
)是指点云u
q+1
对应的采集时间，time(u
k
)是指点云u
k
即最后一个点云对应的采集时间，time(u1)是指点云u1即第一个点云对应的采集时间。
[0022]进一步，在步骤3)中，将一维卷积操作标记为Conv(
·
)，批归一化操作标记为BN(
·
)、线性整流函数标记为ReLU(
·
)，全连接层标记为FC(
·
)，最大池化操作标记为MaxPool(
·
)，预先设定对点云进行旋转的概率为p
m
，对点云进行逐点位移的概率为p
d
；
[0023]利用增强器对样本中的每个点云进行数据增强，具体过程如下：
[0024]3.1)提取点云中每个点的特征：提取点云的三维坐标，得到尺寸为n
×
3的张量Π，进行以下操作，得到尺寸为n
×
64的张量Π1与尺寸为n
×
64的张量П2：
[0025]П1＝ReLU(BN(Conv(Π)))
[0026]Π2＝ReLU(BN(Conv(Π1)))
[0027]以上两个一维卷积操作的卷积核大小分别为1
×
3、1
×
64，步长均为1；
[0028]3.2)提取点云的全局特征：进行以下操作，得到尺寸为n
×
128的张量Π3、尺寸为n
×
512的张量Π4与尺寸为1
×
512的张量V
G
：
[0029]Π3＝ReLU(BN(Conv(Π2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的时序点云数据增强方法，其特征在于，包括以下步骤：1)按采集的时间顺序对点云进行排序，形成具有时间顺序的点云，指定点云点数数目为n，并将每个点云的点数固定为n，对每个点云中的点进行排序；2)从步骤1)得到的具有时间顺序的点云中，抽取k个点云作为原始样本，并指定网络的总共迭代次数为T，其中所述网络包含增强器和分类器；3)将步骤2)得到的原始样本输入到增强器中，设定增强器对样本中的每个点云进行数据增强的概率为p
aug
，使增强器对样本中的每个点云以p
aug
的概率进行数据增强，得到的样本称为增强样本；4)将步骤3)得到的增强样本与对应的原始样本输入到分类器中，利用分类器的分类结果得到分类损失值L
C
与增强损失值L
A
；5)利用步骤4)得到的分类损失值L
C
与增强损失值L
A
，采用反向传播算法更新增强器与分类器的参数，若网络的迭代次数t小于网络的总共迭代次数T，则跳转至步骤2)，否则，终止训练，得到最终的分类器参数。2.根据权利要求1所述的基于深度学习的时序点云数据增强方法，其特征在于，在步骤1)中，固定点云的点数的方法为：若点云点数大于n，则用最远点采样算法在该点云中采集n个点；若点云点数小于n，则随机选取该点云中的点填充点云，使点云点数等于n；若点云点数等于n，直接保留该点云中的所有点；点云中的点，表示为：π
i
＝[σ
i1
,σ
i2
,...,σ
ir
],i＝1,2,...,n式中，π
i
是指点云中第i个点，σ
i1
,σ
i2
,...,σ
ir
是π
i
的第1,2,...,r种特征，每个点都有r种特征，每个点云有n个点；对每个点云中的点进行排序的方法为：根据点云中点的特征对点进行排序，使得点云中的点的特征满足字典序。3.根据权利要求1所述的基于深度学习的时序点云数据增强方法，其特征在于，在步骤2)中，抽取k个点云作为样本的方法为：从步骤1)得到的具有时间顺序的点云中，抽取k个点云，使得在时间上相邻的两个点云之间的时间间隔小于或等于指定的阈值δ，且时间顺序上最后一个点云与第一个点云之间的时间间隔等于指定的阈值ε，表示为：u
q
,q＝1,2,...,k0＜time(u
q+1
)
‑
time(u
q
)≤δ,q＝1,2,...,k
‑
1time(u
k
)
‑
time(u1)＝ε式中，u
q
是指第q个点云，共有k个点云；time(u
q
)是指点云u
q
对应的采集时间，time(u
q+1
)是指点云u
q+1
对应的采集时间，time(u
k
)是指点云u
k
即最后一个点云对应的采集时间，time(u1)是指点云u1即第一个点云对应的采集时间。4.根据权利要求1所述的基于深度学习的时序点云数据增强方法，其特征在于，在步骤3)中，将一维卷积操作标记为Conv(
·
)，批归一化操作标记为BN(
·
)、线性整流函数标记为ReLU(
·
)，全连接层标记为FC(
·
)，最大池化操作标记为MaxPool(
·
)，预先设定对点云进行旋转的概率为p
m
，对点云进行逐点位移的概率为p
d
；利用增强器对样本中的每个点云进行数据增强，具体过程如下：3.1)提取点云中每个点的特征：提取点云的三维坐标，得到尺寸为n
×
3的张量Π，进行
以下操作，得到尺寸为n
×
64的张量Π1与尺寸为n
×
64的张量Π2：Π1＝ReLU(BN(Conv(Π)))Π2＝ReLU(BN(Conv(Π1)))以上两个一维卷积操作的卷积核大小分别为1
×
3、1
×
64，步长均为1；3.2)提取点云的全局特征：进行以下操作，得到尺寸为n
×
128的张量П3、尺寸为n
×
512的张量П4与尺寸为1
×
512的张量V
G
：П3＝ReLU(BN(Conv(П2)))П4＝ReLU(BN(Conv(Π3)))V
G
＝MaxPool(Π4)以上两个一维卷积操作的卷积核大小为1
×
64、1
×
128，步长为1；最大池化操作的核大小为n
×
1，步长为1；3.3)指定噪声维度为τ
N
，生成符合高斯分布的噪声值组成的尺寸为1
×
τ
N
的张量V
N
，拼接V
G
与V
N
，得到尺寸为1
×
(512+τ
N
)的张量V
G～N
；进行以下操作，得到尺寸为1
×
512的张量V1、尺寸为1
×
256的张量V2...

【专利技术属性】
技术研发人员：董守斌，李文刚，胡金龙，杨杰，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：