点云质量评价模型的训练方法、设备及存储介质技术

本发明专利技术公开了一种点云质量评价模型的训练方法、设备及存储介质，涉及数据处理技术领域，基于点云样本数据得到多模态样本特征和融合样本特征，基于多模态样本特征计算得到多模态损失函数值，和基于融合样本特征计算得到融合损失函数值，基于多模态损失函数值和融合损失函数值对分支网络进行训练，得到点云质量评价模型，通过计算所得的多模态损失函数值和融合损失函数值对生成多模态样本特征和融合样本特征的分支网络进行训练，从而对分支网络进行约束和优化，以此提升分支网络输出的多模态样本特征和融合样本特征的有效性，促进点云质量评价的准确性的提升。量评价的准确性的提升。量评价的准确性的提升。

【技术实现步骤摘要】
点云质量评价模型的训练方法、设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种点云质量评价模型的训练方法、设备及存储介质。

技术介绍

[0002]随着高质量三维数据采集渲染技术与设备的快速发展，点云已经成为一种有吸引力的多媒体信息格式，其独特性推动了大量基于三维数据的应用的出现和发展，例如VR(Virtual Reality，虚拟现实技术)、AR(Augmented Reality，增强现实)、Gaming(电脑游戏)、自动驾驶等，而在点云的处理过程中，例如采集、预处理、压缩、传输、复原等过程，不可避免的会引入各种各样的噪声，造成点云自身的误差和失真，从而影响点云最终呈现质量，因此，需要对采集的点云进行点云质量评价，基于点云质量评价的质量分数判断采集的点云是否精准。
[0003]然而在实际过程中，基于评价模型输出的点云质量评价存在精准性不高导致的点云质量参差不齐，进而对后续基于点云的产品开发造成较大的影响。

技术实现思路

[0004]本专利技术的主要目的在于提供一种点云质量评价模型的训练方法、设备及存储介质，旨在解决对点云的点云质量评价不准确的技术问题。
[0005]为实现上述目的，本专利技术提供一种点云质量评价模型的训练方法，其特征在于，所述点云质量评价模型的训练方法包括以下步骤：
[0006]基于点云样本数据得到多模态样本特征和融合样本特征；
[0007]基于所述多模态样本特征计算得到多模态损失函数值，和基于所述融合样本特征计算得到融合损失函数值；
[0008]基于所述多模态损失函数值和所述融合损失函数值对分支网络进行训练，得到点云质量评价模型，其中，所述分支网络包括输出所述多模态样本特征的多模态特征提取网络和输出所述融合样本特征的融合网络。
[0009]可选地，所述基于点云样本数据得到多模态样本特征和融合样本特征的步骤，包括：
[0010]对所述点云样本数据进行预处理得到多模态样本数据；
[0011]通过所述多模态特征提取网络从所述多模态样本数据中提取多尺度样本特征；
[0012]对所述多尺度样本特征进行卷积和特征连接得到所述多模态样本特征，同时通过融合网络对所述多尺度样本特征进行融合得到所述融合样本特征。
[0013]可选地，所述通过所述多模态特征提取网络从所述多模态样本数据中提取多尺度样本特征的步骤，包括：
[0014]将所述二维图像投影输入到所述图像特征提取网络的第一基础卷积模块中，得到第一深度卷积块；
[0015]基于所述第一深度卷积块生成所述多尺度图像样本特征，其中，所述多尺度图像样本特征为包含有若干不同卷积尺度的图像样本特征；同时，
[0016]将所述三维点簇群集输入到所述点簇特征提取网络的第二基础卷积模块中，得到第二深度卷积块；
[0017]基于所述第二深度卷积块生成所述多尺度点簇样本特征，其中，所述多尺度点簇样本特征为包含有若干不同卷积尺度的点簇样本特征。
[0018]可选地，所述对所述多尺度样本特征进行卷积和特征连接得到所述多模态样本特征的步骤，包括：
[0019]将所述多尺度图像样本特征进行合并后输入到所述图像特征提取网络的第三基础卷积模块中，得到若干图像特征函数；
[0020]将所述若干图像特征函数输入到所述图像特征提取网络的第一连接模块中进行特征连接，得到所述综合图像样本特征；同时，
[0021]将所述多尺度点簇样本特征进行合并后输入到所述点簇特征提取网络的第四基础卷积模块中，得到若干点簇特征函数；
[0022]将所述若干点簇特征函数输入到所述点簇特征提取网络的第二连接模块中进行特征连接，得到所述综合点簇样本特征。
[0023]可选地，所述同时通过融合网络对所述多尺度样本特征进行融合得到所述融合样本特征的步骤，包括：
[0024]将所述多尺度图像样本特征和所述多尺度点簇样本特征输入至所述融合网络中执行迭代性特征融合过程，其中，所述特征融合过程中的第一迭代之后的任一迭代使用所述多尺度图像样本特征、所述多尺度点簇样本特征和基于前一迭代的迭代结果进行当前迭代；
[0025]若当前迭代之后不存在迭代，则将当前迭代的迭代结果输出为所述融合样本特征。
[0026]可选地，所述多模态损失函数值包括图像损失函数值和点簇损失函数值，所述基于所述多模态样本特征计算得到多模态损失函数值的步骤，包括：
[0027]利用图像回归网络对所述综合图像样本特征进行计算，得到图像客观分数；
[0028]将所述图像客观分数和所述多模态样本特征输入到图像损失函数中，得到所述图像损失函数值；同时，
[0029]利用点簇回归网络对所述综合点簇样本特征进行计算，得到点簇客观分数；
[0030]将所述点簇客观分数和所述多模态样本特征输入到点簇损失函数中，得到所述点簇损失函数值。
[0031]可选地，所述基于所述融合样本特征计算得到融合损失函数值的步骤，包括：
[0032]基于所述多模态样本特征获取中值样本特征，将所述中值样本特征和所述融合样本特征输入到对抗损失函数中，得到对抗损失函数值；
[0033]在所述对抗损失函数值中加入交叉熵损失函数值，得到所述融合损失函数值。
[0034]可选地，在所述基于所述多模态样本特征计算得到多模态损失函数值，和基于所述融合样本特征计算得到融合损失函数值的步骤之后，还包括：
[0035]判断所述多模态损失函数值和所述融合损失函数值是否分别小于预期多模态损
失函数值和预期融合损失函数值；
[0036]若是，则执行所述基于所述多模态损失函数值和所述融合损失函数值对分支网络进行训练，得到点云质量评价模型的步骤；
[0037]若不是，则基于所述多模态损失函数值和所述融合损失函数值对分支网络进行训练，得到训练模型，基于所述训练模型得到新的多模态损失函数值和新的融合损失函数值。
[0038]为实现上述目的，本专利技术还提供一种电子设备，电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机处理程序，计算机处理程序被处理器执行时实现如上的点云质量评价模型的训练方法的步骤。
[0039]此外，为实现上述目的，本专利技术还提出一种计算机可读存储介质，计算机可读存储介质上存储有计算机处理程序，计算机处理程序被处理器执行时实现如上的点云质量评价模型的训练方法的步骤。
[0040]在本专利技术中，基于点云样本数据得到多模态样本特征和融合样本特征，基于多模态样本特征计算得到多模态损失函数值，和基于融合样本特征计算得到融合损失函数值，基于多模态损失函数值和融合损失函数值对分支网络进行训练，得到点云质量评价模型，其中，分支网络包括输出多模态样本特征的多模态特征提取网络和输出融合样本特征的融合网络。通过计算所得的多模态损失函数值和融合损失函数值对生成多模态样本特征和融合样本特征的分支网络进行训练，从而对分支网络进行约束和优化，以此提升分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云质量评价模型的训练方法，其特征在于，所述点云质量评价模型的训练方法包括以下步骤：基于点云样本数据得到多模态样本特征和融合样本特征；基于所述多模态样本特征计算得到多模态损失函数值，和基于所述融合样本特征计算得到融合损失函数值；基于所述多模态损失函数值和所述融合损失函数值对分支网络进行训练，得到点云质量评价模型，其中，所述分支网络包括输出所述多模态样本特征的多模态特征提取网络和输出所述融合样本特征的融合网络。2.如权利要求1所述的点云质量评价模型的训练方法，其特征在于，所述基于点云样本数据得到多模态样本特征和融合样本特征的步骤，包括：对所述点云样本数据进行预处理得到多模态样本数据；通过所述多模态特征提取网络从所述多模态样本数据中提取多尺度样本特征；对所述多尺度样本特征进行卷积和特征连接得到所述多模态样本特征，同时通过融合网络对所述多尺度样本特征进行融合得到所述融合样本特征。3.如权利要求2所述的点云质量评价模型的训练方法，其特征在于，所述多模态样本数据包括二维图像投影和三维点簇群集，所述多模态特征提取网络包括图像特征提取网络和点簇特征提取网络，所述多尺度样本特征包括多尺度图像样本特征和多尺度点簇样本特征；所述通过所述多模态特征提取网络从所述多模态样本数据中提取多尺度样本特征的步骤，包括：将所述二维图像投影输入到所述图像特征提取网络的第一基础卷积模块中，得到第一深度卷积块；基于所述第一深度卷积块生成所述多尺度图像样本特征，其中，所述多尺度图像样本特征为包含有若干不同卷积尺度的图像样本特征；同时，将所述三维点簇群集输入到所述点簇特征提取网络的第二基础卷积模块中，得到第二深度卷积块；基于所述第二深度卷积块生成所述多尺度点簇样本特征，其中，所述多尺度点簇样本特征为包含有若干不同卷积尺度的点簇样本特征。4.如权利要求3所述的点云质量评价模型的训练方法，其特征在于，所述多模态样本特征包括综合图像样本特征和综合点簇样本特征；所述对所述多尺度样本特征进行卷积和特征连接得到所述多模态样本特征的步骤，包括：将所述多尺度图像样本特征进行合并后输入到所述图像特征提取网络的第三基础卷积模块中，得到若干图像特征函数；将所述若干图像特征函数输入到所述图像特征提取网络的第一连接模块中进行特征连接，得到所述综合图像样本特征；同时，将所述多尺度点簇样本特征进行合并后输入到所述点簇特征提取网络的第四基础卷积模块中，得到若干点簇特征函数；将所述若干点簇特征函数输入到所述点簇特征提取网络的第二连接模块中进行特征
连接，得到所述综合点簇样本特征。5.如权利要求3所述...

【专利技术属性】
技术研发人员：高伟，汪继龙，李革，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：