基于用户视角的点云投影处理方法、系统及接收处理方法技术方案

本发明专利技术提供了一种基于用户视角的点云投影处理方法、系统及接收处理方法，包括：步骤1：根据用户视角区分出点云对象的主片段和多个边缘片段；步骤2：根据边缘片段和主片段之间的空间联系，对边缘片段的投影向量进行保持或基于用户视角进行变更；步骤3：根据调整后的投影向量进行投影，得到可压缩的二维图像并进行点云处理。本发明专利技术对点云片段的优化调整投影由于兼顾用户视角和与主向量的空间关联性，结合了用户从特定视角观察点云时的特性，优化点云的投影向量，更加向用户关注度较高的方向予以集中，提升了解压缩后呈现时的视觉效果。提升了解压缩后呈现时的视觉效果。提升了解压缩后呈现时的视觉效果。

【技术实现步骤摘要】
基于用户视角的点云投影处理方法、系统及接收处理方法


[0001]本专利技术涉及点云
，具体地，涉及一种基于用户视角的点云投影处理方法、系统接及收处理方法。

技术介绍

[0002]近些年来，媒体传输技术快速发展和完善，图像和视频信息的传输成本不断降低的同时精确度得到提高，这进一步促进了相关应用领域的成熟。三维点云数据是一种新型的图像媒体数据，可以为用户提供更加精确化，更加生动的图像信息，带来逼真度更高，交互性更强的通信体验。
[0003]点云数据是通过扫描得到的物体表面信息，包括三维坐标数据、深度信息、颜色信息等。3D扫描技术的成熟和系统架构的完善，提高了点云数据的精确度，同时也使得点云的数据量大大提升。其中针对静态、动态点云数据，及机器感知、人眼感知等不同类型的点云数据，有不同的点云数据压缩算法。例如，针对动态人眼感知点云数据，典型的点云压缩算法是将3D的点云数据转换为2D的图像数据，然后再进行数据处理，其中一种就是基于视频的点云压缩(Video-based Point Cloud Compression，VPCC)算法。这种压缩方法首先将3D点云投影到2D平面，得到占用图信息、几何信息、属性信息以及辅助信息，属性信息通常包括纹理信息和色彩信息，因此，压缩后的信息通常也分为四类数据进行传输。通过这种方法实现了对于点云序列的整体压缩传输。
[0004]但是在实际的应用场景下，用户并不能观察到一个点云对象的全部内容。例如，当用户从正面观察点云对象的时候，用户无法看到点云背面的媒体内容。此外，用户对于各个侧面的关注度也有差异，例如，在用户从正面观看点云媒体的场景，基于用户视角的方向，用户对点云对象的正面内容的关注度会高于对点云对象的左右侧面及上下底面的关注度，关注度高的侧面的视觉质量对用户的观感影响较大。当前的点云投影处理过程中，投影设计、点云压缩方案并没有针对用户观看点云对象时的关注度特点进行优化调整，如何能在不影响压缩率和点云客观质量的情况下优化点云的视觉质量，成为需要研究解决的问题。
[0005]在现有的投影处理方式中，由于未考虑用户视角，当然更没有考虑边缘片段与主片段之间的空间联系上的远近关系，点云对象假如仅仅只按照多个标准向量分为多个点云片段，就会出现这样的状况：
[0006]同一标准向量对应的点云片段，其所包含的点的空间距离有可能是很大的，这样的简单粗分操作，与用户视角无关，并且同一标准向量对应的点云片段因几何空间上关联不大而显得零碎。换言之，点云对象中空间距离很近的关联点却因为标准向量的不同，而被分割投影到不同标准向量中。
[0007]专利文献CN109565579A(申请号：201780048234.5)公开了用于结合图像投影和表面扫描的设备。通常，本专利技术的设备和方法利用至少一个激光源来产生激光束，以及将激光束反射成扫描线图案的扫描镜。控制光源以在扫描线图案的第一部分期间选择性地生成投影图像像素，并且在扫描线图案的第二部分期间选择性地生成深度映射脉冲。投影图像像
素生成投影图像，而深度映射脉冲被从表面反射、接收并且用来生成描述每个点处测量的表面深度的三维点云。

技术实现思路

[0008]针对现有技术中的缺陷，本专利技术的目的是提供一种基于用户视角的点云投影处理方法、系统及接收处理方法。
[0009]根据本专利技术提供的基于用户视角的点云投影处理方法，包括：
[0010]步骤1：根据用户视角区分出点云对象的主片段和多个边缘片段；
[0011]步骤2：根据边缘片段和主片段之间的空间联系，对边缘片段的投影向量进行保持或基于用户视角进行变更；
[0012]步骤3：根据调整后的投影向量进行投影，得到可压缩的二维图像并进行点云处理。
[0013]优选的，所述步骤1包括：
[0014]基于多个标准法向量将点云对象划分为多个一级点云片段；
[0015]将同一一级点云片段中，同一法向量且距离小于阈值的点再划分为二级点云片段作为待处理云片段；
[0016]根据用户视角在标准法向量中确定主向量；
[0017]基于主向量，将待处理云片段区分得到主片段以及多个边缘片段。
[0018]优选的，所述步骤2包括：
[0019]依据用户视角在标准法向量中确定主向量；
[0020]将主片段的三维边缘盒沿着主向量方向投影得到主二维投影图；将边缘片段的三维边缘盒沿着主向量方向投影得到边缘二维投影图；
[0021]基于每个边缘二维投影图，分别与各个主二维投影图计算得到交并比；
[0022]多个交并比与预设门限值进行比较作为空间联系的判断依据。
[0023]优选的，预设门限值取决于点云对象的表面特性，区分物体点云对象的表面特性和人物点云对象的表面特性，门限值依据实验结果进行调整确定；
[0024]若多个交并比中存在大于预设门限值的情况下，将边缘片段的投影向量变更为主向量；若多个交并比中均不存在大于预设门限值的情况下，保持该边缘片段的投影向量。
[0025]优选的，根据用户观看点云对象时所处的位置，用一个从点云指向用户观察点的向量表示用户的观察视角，称为视角向量；计算视角向量与六个标准法向量的距离，与视角向量距离最近的标准法向量称为该观察视角下的主向量。
[0026]优选的，根据用户视角还区分出点云对象的无关片段；
[0027]将与用户视角距离最接近的标准法向量确定为主向量；
[0028]将多个标准法向量中与该主向量相同的待处理点云片段确定为主片段；
[0029]将多个标准法向量中与该主向量相反的待处理点云片段确定为无关片段；
[0030]将多个标准法向量中与该主向量相关联的待处理点云片段确定为边缘片段；
[0031]所述多个标准法向量与三维边缘盒的多个面是一一对应的关系，标准法向量垂直于其对应的面；
[0032]无关片段的投影向量为该无关片段的法向量；
[0033]包围点云对象的三维边缘盒，包含：主片段聚集的一个主片段投影聚集面，边缘片段聚集的五个边缘片段投影聚集面，以及无关片段聚集的一个无关片段投影聚集面。
[0034]优选的，所述步骤3包括：
[0035]对主片段和经过投影处理的边缘片段以及无关片段，分别依据其处理调整后的投影向量进行投影生成可压缩的二维图像，进一步处理得到二维视频序列，使用视频编解码器对二维视频序列进行压缩。
[0036]优选的，在投影后进行后续点云处理中，利用投影关系标识字段标识出，点云对象中的点经过处理调整后的投影向量，包含投影向量值和对应的索引值。
[0037]根据本专利技术提供的基于用户视角的点云投影处理系统，包括：
[0038]片段划分模块：根据用户视角区分出点云对象的主片段和多个边缘片段；
[0039]投影向量调整模块：根据边缘片段和主片段之间的空间联系，对边缘片段的投影向量进行保持或基于用户视角进行变更；
[0040]投影模块：对三维的点云对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于用户视角的点云投影处理方法，其特征在于，包括：步骤1：根据用户视角区分出点云对象的主片段和多个边缘片段；步骤2：根据边缘片段和主片段之间的空间联系，对边缘片段的投影向量进行保持或基于用户视角进行变更；步骤3：根据调整后的投影向量进行投影，得到可压缩的二维图像并进行点云处理。2.根据权利要求1所述的基于用户视角的点云投影处理方法，其特征在于，所述步骤1包括：基于多个标准法向量将点云对象划分为多个一级点云片段；将同一一级点云片段中，同一法向量且距离小于阈值的点再划分为二级点云片段作为待处理云片段；根据用户视角在标准法向量中确定主向量；基于主向量，将待处理云片段区分得到主片段以及多个边缘片段。3.根据权利要求1所述的基于用户视角的点云投影处理方法，其特征在于，所述步骤2包括：依据用户视角在标准法向量中确定主向量；将主片段的三维边缘盒沿着主向量方向投影得到主二维投影图；将边缘片段的三维边缘盒沿着主向量方向投影得到边缘二维投影图；基于每个边缘二维投影图，分别与各个主二维投影图计算得到交并比；多个交并比与预设门限值进行比较作为空间联系的判断依据。4.根据权利要求3所述的基于用户视角的点云投影处理方法，其特征在于，预设门限值取决于点云对象的表面特性，区分物体点云对象的表面特性和人物点云对象的表面特性，门限值依据实验结果进行调整确定；若多个交并比中存在大于预设门限值的情况下，将边缘片段的投影向量变更为主向量；若多个交并比中均不存在大于预设门限值的情况下，保持该边缘片段的投影向量。5.根据权利要求1所述的基于用户视角的点云投影处理方法，其特征在于，根据用户观看点云对象时所处的位置，用一个从点云指向用户观察点的向量表示用户的观察视角，称为视角向量；计算视角向量与六个标准法向量的距离，与视角向量距离最近的标准法向量称为该观察视角下的主向量。6.根据权利要求1所述的基于用户视角的点云投影处理方法，其特征在于，根据用户视角还区分出点云对象的无关片段；将与用户视角距离最接近的标准法向量确定为主向量；将多个标准法向量中与该主向量相同的待处理点云片段确定为主片段；将多个标准法向量中...

【专利技术属性】
技术研发人员：徐异凌，王丹盈，徐英展，朱文婕，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：