一种无监督的合成到真实LiDAR点云场景流估计方法技术

本发明专利技术涉及计算机视觉领域，且公开了一种无监督的合成到真实LiDAR点云场景流估计方法，所述无监督的合成到真实LiDAR点云场景流估计方法包括以下步骤：第一步：利用GTA

【技术实现步骤摘要】
一种无监督的合成到真实LiDAR点云场景流估计方法


[0001]本专利技术涉及计算机视觉
，具体为一种无监督的合成到真实LiDAR点云场景流估计方法。

技术介绍

[0002]场景流的定义为连续两帧输入(如RGB
‑
D图像，三维点云)间的三维运动场(motion field)，表示逐点在三维空间的运动矢量。通常场景流被用于描述三维物体在一定时间间隔内的运动状态，且可被用于估计物体未来的运动趋势，对于机器人导航、自动驾驶等领域具有重要实际意义。早期工作通常从RGB
‑
D图像中估计场景流，而随着三维传感技术的普及和深度学习领域的发展，利用深度学习方法从连续采集的点云帧中估计逐点场景流逐渐成为主流。由于点云能够更加准确地描述三维场景，点云场景流估计任务已受到众多研究者的关注。
[0003]对于点云场景流估计任务，一个关键难点在于标注数据的获取。由于主流场景流估计网络模型的性能依赖于大量标注数据，即需要对连续采集的点云进行逐点三维运动矢量的标注，其标注代价十分高昂。一种实用且被广泛采用的方法是利用合成点云数据，实现自动生成点云场景流标签。在合成点云数据集上训练模型，进而利用训练好的模型泛化推广到真实数据集，这种方法被称为合成到真实点云场景流估计。虽然这种利用合成数据集降低人工标注需求的方法，在真实数据集上具有一定的泛化能力。但随着真实点云数据集逐渐走向大规模化，现有方法逐渐不能满足这些大规模点云数据集上场景流估计的需求。其原因在于：首先，目前已有的用于点云场景流估计的合成数据集十分有限，且其中合成点云的形态与真实采集点云存在较大差异，这种点云形态差异限制了模型在真实数据上的泛化能力。其次，由于合成数据与真实数据之间不可避免存在域间隙，如合成点云不存在真实噪声，且结构细节远不及真实点云丰富。由于这种域间隙，直接将合成数据集上训练好的模型用于真实数据集测试，往往会出现明显的模型性能退化。然而目前对于点云场景流估计任务，如何克服这种合成到真实域间隙以提升模型鲁棒性，仍是一个未被有效解决的问题。为解决上述问题，本专利技术提出一种无监督的合成到真实点云场景流估计方法，具体包含点云场景流合成数据集生成与无监督域适应场景流估计方法两部分。该方法首先利用GTA
‑
V游戏引擎自动生成大规模点云数据与场景流标签，进而在模型训练阶段，采用教师
‑
学生的学习范式，结合物体形状畸变感知与帧间对应关系优化方法，有效提高模型在真实数据集上的泛化性能。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供了一种无监督的合成到真实LiDAR点云场景流估计方法，解决了传统训练网络模型所需的数据和标签均需人力手动标注，传统合成数据集生成和域适应方法不具备扩展性，传统合成数据质量较差和域适应方法泛化性能较弱的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种无监督的合成到真实LiDAR点云场景流估计方法，所述无监督的合成到真实LiDAR点云场景流估计方法包括以下步骤：
[0006]第一步：利用GTA
‑
V游戏引擎，基于Scrip Hook V编译生成.asi格式动态链接库文件并拷贝到游戏路径下，启动GTA
‑
V。
[0007]第二步：游戏启动后，通过Socket发送采集数据指令，开始构建自动驾驶场景，并连续采集以玩家所驾驶车辆一定范围内的点云，保存为.bin文件，同时记录下逐点的游戏实体属性以及当前所驾驶车辆位姿信息，保存为.txt文件。
[0008]第三步：利用逐点游戏实体属性与车辆位姿信息，计算所采集的连续点云间场景流，将每连续两帧点云和对应场景流一起保存为.npz文件，用于后续网络模型训练。
[0009]第四步：将第三步得到的合成点云和场景流数据作为训练集，进行场景流估计模型的训练，得到预训练模型。
[0010]第五步：将第四步得到的预训练模型加载到学生模型和教师模型进行初始化，其中学生模型通过训练过程损失函数更新，教师模型为学生模型参数的指数移动平均。
[0011]第六步：将第三步得到的合成数据输入学生模型，计算L1损失。
[0012]第七步：将真实数据和变换后的真实数据分别输入教师模型和学生模型，得到教师预测结果和学生预测结果。
[0013]第八步：对第七步得到的教师预测结果进行物体形变约束，得到形变约束后教师预测结果。
[0014]第九步：对第八步得到的形变约束后教师预测结果进行帧间对应关系优化，得到优化后教师预测结果。
[0015]第十步：对第七步得到的学生预测结果和第九步得到的优化后教师预测结果计算一致性损失。
[0016]第十一步：更新学生模型和教师模型参数，训练一定轮数后分别保存学生和教师模型，即可用于真实点云数据集上的场景流估计。
[0017]优选的，所述第二步中采用模拟64线LiDAR扫描的方式获取点云数据，所保存的文件包含逐点的xyz坐标。
[0018]优选的，所述第三步中计算连续两帧点云间的场景流时，对于第一帧中的某一坐标为p
i
的点，首先读取它所在的游戏实体属性，进而在第二帧中查找是否存在具有相同ID的游戏实体。若存在，则记该实体在两帧点云中的位置分别为和通过姿态角度求得的旋转矩阵分别为和则该点的场景流向量f
i
可通过下式求得：对于在第二帧中不存在相同ID游戏实体的点，则利用两帧对应时刻所驾驶车辆位姿信息计算自我运动(ego
‑
motion)，所求得运动矢量作为场景流向量。
[0019]优选的，所述第四步中所使用的场景流估计模型为HPLFlowNet，预训练轮数为40轮。
[0020]优选的，所述第五步中教师模型和学生模型具有和第四步中场景流估计模型完全相同的网络结构，二者的网络参数不同，利用EMA对教师模型参数Φ
teach
进行更新的过程为
其中参数α设为0.999，用于控制更新速率；Φ
stu
为学生模型参数，为更新后的教师模型参数。
[0021]优选的，所述第七步中通过设置高度阈值的方式去除真实点云中的地面点，阈值设为0.3m，输入学生模型的真实数据所采用的变换方式为非对称变换，即对作为输入的连续两帧点云，保持第二帧点云不变，仅对第一帧点云进行随机全局旋转和偏移，旋转角度为[0
°
,2
°
]，偏移量为[0m,0.3m]，模型的输出为估计的场景流，将教师和学生模型的输出分别加上对应第一帧输入点云，得到教师预测结果和学生预测结果。
[0022]优选的，所述第八步首先对教师预测结果进行DBSCAN聚类，由于地面点已被提前去除，聚类后可有效分离点云中的前景物体，由于真实点云场景中大部分物体可视为刚性物体，即聚类后每一物体的运动应符合刚体变换规则，可通过旋转矩阵和偏移向量进行表示，本方法采用Kabsch算法估计聚类后每一簇从第一帧到教师预测结果的刚体运动，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督的合成到真实LiDAR点云场景流估计方法，其特征在于：所述无监督的合成到真实LiDAR点云场景流估计方法包括以下步骤：第一步：利用GTA
‑
V游戏引擎，基于Scrip Hook V编译生成.asi格式动态链接库文件并拷贝到游戏路径下，启动GTA
‑
V；第二步：游戏启动后，通过Socket发送采集数据指令，开始构建自动驾驶场景，并连续采集以玩家所驾驶车辆一定范围内的点云，保存为.bin文件，同时记录下逐点的游戏实体属性以及当前所驾驶车辆位姿信息，保存为.txt文件；第三步：利用逐点游戏实体属性与车辆位姿信息，计算所采集的连续点云间场景流，将每连续两帧点云和对应场景流一起保存为.npz文件，用于后续网络模型训练；第四步：将第三步得到的合成点云和场景流数据作为训练集，进行场景流估计模型的训练，得到预训练模型；第五步：将第四步得到的预训练模型加载到学生模型和教师模型进行初始化，其中学生模型通过训练过程损失函数更新，教师模型为学生模型参数的指数移动平均；第六步：将第三步得到的合成数据输入学生模型，计算L1损失；第七步：将真实数据和变换后的真实数据分别输入教师模型和学生模型，得到教师预测结果和学生预测结果；第八步：对第七步得到的教师预测结果进行物体形变约束，得到形变约束后教师预测结果；第九步：对第八步得到的形变约束后教师预测结果进行帧间对应关系优化，得到优化后教师预测结果；第十步：对第七步得到的学生预测结果和第九步得到的优化后教师预测结果计算一致性损失；第十一步：更新学生模型和教师模型参数，训练一定轮数后分别保存学生和教师模型，即可用于真实点云数据集上的场景流估计。2.根据权利要求1所述的一种无监督的合成到真实LiDAR点云场景流估计方法，其特征在于：所述第二步中采用模拟64线LiDAR扫描的方式获取点云数据，所保存的文件包含逐点的xyz坐标。3.根据权利要求1所述的一种无监督的合成到真实LiDAR点云场景流估计方法，其特征在于：所述第三步中计算连续两帧点云间的场景流时，对于第一帧中的某一坐标为p
i
的点，首先读取它所在的游戏实体属性，进而在第二帧中查找是否存在具有相同ID的游戏实体，若存在，则记该实体在两帧点云中的位置分别为和通过姿态角度求得的旋转矩阵分别为和则该点的场景流向量f
i
可通过下式求得：对于在第二帧中不存在相同ID游戏实体的点，则利用两帧对应时刻所驾驶车辆位姿信息计算自我运动(ego
‑
motion)，所求得运动矢量作为场景流向量。4.根据权利要求1所述的一种无监督的合成到真实LiDAR点云场景流估计方法，其特征在于：所述第四步中所使用的场景流估计模型为HPLFlowNet，预训练轮数为40轮。5.根据权利要求1所述的一种无监督的合成到真实LiDAR点云场景流估计方法，其特征
在于：所述第五步中教师模型和学生模型具有和第四步中场...

【专利技术属性】
技术研发人员：雷印杰，金钊，
申请(专利权)人：四川大学，
类型：发明
国别省市：