基于视频的点云编码的快速重新着色制造技术

使用视频点云编解码对视频流进行编码的方法和装置包括：获取源点云；获取几何重建点云；获取几何重建点云中包括的目标点；执行前向K维(KD)树搜索和后向KD树搜索中的至少一个，该前向K维树搜索用于确定与目标点最邻近的源点云的第一多个点，该后向KD树搜索用于确定目标点最邻近的源点云的第二多个点；确定平均颜色值；基于平均颜色值来选择目标点的颜色值；以及基于所选择的颜色值来生成编码视频流。流。流。

【技术实现步骤摘要】
【国外来华专利技术】基于视频的点云编码的快速重新着色
相关申请的交叉引用
[0001]本申请要求于2021年6月4日提交的美国临时申请第63/197,184号以及于2021年10月13日提交的美国申请第17/500,345号的优先权，其公开内容通过引用整体并入本文。


[0002]本公开内容涉及一组高级视频编码技术，更具体地，涉及基于视频的点云压缩，包括快速重新着色颜色转移。

技术介绍

[0003]世界的高级三维(three
‑
dimensional，3D)表示正在实现更具沉浸感的交互和通信形式。高级3D表示还允许机器对我们的世界进行理解、解释和导航。点云已被广泛用作世界的3D表示。例如，点云可以在自动驾驶车辆时用于对象检测和定位；在地理信息系统(geographic information system，GIS)中用于制图，以及在文化遗产中用于对文化遗产对象和收藏等进行可视化和存档。已经确定了与点云数据相关联的几个用例，并且已经发展出对点云表示和压缩的一些相应要求。
[0004]点云包含例如三维(3D)的一组高维点，每个3D点包括3D位置信息和例如颜色、反射率等附加属性。这些点可以使用多个摄像装置和深度传感器或Lidar以各种设置来捕获，并且可以由数千到数十亿个点组成，以真实地表示原始场景。
[0005]需要压缩技术来减少表示点云所需的数据量，以便更快地传输或减少存储。ISO/IEC MPEG(JTC 1/SC 29/WG 11)已经创建了ad
‑
hoc组(MPEGr/>‑
PCC)，以使用于静态或动态点云的压缩技术标准化。

技术实现思路

[0006]根据实施方式，一种使用视频点云编解码对视频流进行编码的方法由至少一个处理器执行，该方法包括：获取源点云；获取几何重建点云，其中，几何重建点云使用有损编解码来重建；获取几何重建点云中包括的目标点；执行前向K维(K
‑
dimensional，KD)树搜索和后向KD树搜索中的至少一个，该前向K维树搜索用于确定与目标点最邻近的源点云的第一多个点，该后向KD树搜索用于确定目标点最邻近的源点云的第二多个点；基于第一多个点的第一平均颜色值和第二多个点的第二平均颜色值中的至少一个来确定平均颜色值；基于平均颜色值来选择目标点的颜色值；以及基于所选择的颜色值来生成编码视频流。
[0007]根据实施方式，一种使用视频点云编解码对视频流进行编码的装置包括：至少一个存储器，其被配置成存储程序代码；以及至少一个处理器，其被配置成读取程序代码并且按照程序代码的指令进行操作，该程序代码包括：第一获取代码，其被配置成使至少一个处理器获取源点云；第二获取代码，其被配置成使至少一个处理器获取几何重建点云，其中，几何重建点云使用有损编解码来重建；第三获取代码，其被配置成使至少一个处理器获取几何重建点云中包括的目标点；执行代码，其被配置成使至少一个处理器执行前向K维(KD)
树搜索和后向KD树搜索中的至少一个，该前向K维树搜索用于确定与目标点最邻近的源点云的第一多个点，该后向KD树搜索用于确定目标点最邻近的源点云的第二多个点；确定代码，其被配置成使至少一个处理器基于第一多个点的第一平均颜色值和第二多个点的第二平均颜色值中的至少一个来确定平均颜色值；选择代码，其被配置成使至少一个处理器基于平均颜色值来选择目标点的颜色值；以及生成代码，其被配置成使至少一个处理器基于所选择的颜色值来生成编码视频流。
[0008]根据实施方式，一种非暂态计算机可读介质，其存储用于使用视频点云编解码对视频流进行编码的计算机指令，计算机指令在由至少一个处理器执行时，使至少一个处理器执行以下操作：获取源点云；获取几何重建点云，其中，几何重建点云使用有损编解码来重建；获取几何重建点云中包括的目标点；执行前向K维(KD)树搜索和后向KD树搜索中的至少一个，该前向K维树搜索用于确定与目标点最邻近的源点云的第一多个点，该后向KD树搜索用于确定目标点最邻近的源点云的第二多个点；基于第一多个点的第一平均颜色值和第二多个点的第二平均颜色值中的至少一个来确定平均颜色值；基于平均颜色值来选择目标点的颜色值；以及基于所选择的颜色值来生成编码视频流。
附图说明
[0009]根据以下详细描述和附图，所公开的主题的另外的特征、性质和各种优点将更加明显，在附图中：
[0010]图1是根据实施方式的通信系统的简化框图的示意图。
[0011]图2是根据实施方式的流式传输系统的简化框图的示意图。
[0012]图3是根据实施方式的视频编码器的简化框图的示意图；
[0013]图4是根据实施方式的视频解码器的简化框图的示意图；
[0014]图5示出了根据实施方式的源点云与重建点云之间的前向搜索的示例。
[0015]图6示出了根据实施方式的源点云与重建点云之间的后向搜索的示例。
[0016]图7是示出由实施方式执行的处理的流程图。
[0017]图8是示出根据实施方式的设备的图。
[0018]图9是适用于实现各实施方式的计算机系统的图。
具体实施方式
[0019]基于视频的点云压缩(video
‑
based point cloud compression，V
‑
PCC)背后的考虑是利用现有的视频编解码器将动态点云的几何、占用和纹理压缩为三个单独的视频序列。解释这三个视频序列所需的额外元数据可以单独压缩。整个比特流的一小部分是元数据，元数据可以使用软件实现来有效地编码/解码。大部分信息可以由视频编解码器处理。
[0020]本公开内容的实施方式涉及退火迭代几何平滑以避免迭代平滑框架中的过度平滑。本公开内容的实施方式涉及使用平均和中值统计的组合来得出参照点，旨在降低使用纯中值的计算复杂度。
[0021]参考图1至图4，描述了用于实现本公开内容的编码和解码结构的本公开内容的实施方式。本公开内容的编码和解码结构可以实现上述V
‑
PCC的各方面。
[0022]图1示出了根据本公开内容的实施方式的通信系统100的简化框图。系统100可以
包括经由网络150互连的至少两个终端110、120。对于数据的单向传输，第一终端110可以对本地位置处的视频数据进行编码，以经由网络150传输至另一终端120。第二终端120可以从网络150接收另一终端的编码视频数据，对编码数据进行解码，并且显示经恢复的视频数据。单向数据传输在媒体服务应用等中可能是常见的。
[0023]图1示出了第二对终端130、140，其被提供以支持例如在视频会议期间可能发生的编码视频的双向传输。对于双向数据传输，每个终端130、140可以对在本地位置捕获的视频数据进行编码，以经由网络150传输至另一终端。每个终端130、140还可以接收由另一终端发送的编码视频数据，可以对编码数据进行解码，并且可以在本地显示设备处显示恢复的视频数据。
[0024]在图1中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种使用视频点云编解码对视频流进行编码的方法，所述方法由至少一个处理器执行并且包括：获取源点云；获取几何重建点云，其中，所述几何重建点云使用有损编解码来重建；获取所述几何重建点云中包括的目标点；执行前向K维(KD)树搜索和后向KD树搜索中的至少一个，所述前向K维树搜索用于确定与所述目标点最邻近的源点云的第一多个点，所述后向KD树搜索用于确定所述目标点最邻近的源点云的第二多个点；基于所述第一多个点的第一平均颜色值和所述第二多个点的第二平均颜色值中的至少一个来确定平均颜色值；基于所述平均颜色值来选择所述目标点的颜色值；以及基于所选择的颜色值来生成编码视频流。2.根据权利要求1所述的方法，其中，基于所述第二平均颜色值而不使用所述第一平均颜色值来确定所述平均颜色值。3.根据权利要求2所述的方法，其中，所述第二平均颜色值被确定如下：其中，Ψ2表示所述第二多个点，表示所述第二平均颜色值，其中，c(q)表示所述第二多个点中包括的点
q
的颜色，并且其中，Δ(q，p
r
)表示q与p
r
之间的欧几里得距离。4.根据权利要求1所述的方法，其中，基于所述第一平均颜色值而不使用所述第二平均颜色值来确定所述平均颜色值。5.根据权利要求4所述的方法，其中，所述第一平均颜色值被确定如下：其中，Ψ1表示所述第一多个点，表示所述第一平均颜色值，其中，c(q)表示所述第一多个点中包括的点q的颜色，并且其中，Δ(q，p
r
)表示q与p
r
之间的欧几里得距离。6.根据权利要求1所述的方法，其中，使用整数转换来确定所述第一平均颜色值和所述第二平均颜色值中的至少一个。7.根据权利要求1所述的方法，其中，使用来自线性模型、二次模型或者非线性模型中的至少一个来确定所述第一平均颜色值和所述第二平均颜色值中的至少一个。8.根据权利要求1所述的方法，其中，基于体素化源点云和体素化几何重建点云中的至少一个来确定所述第一平均颜色值和所述第二平均颜色值中的至少一个。9.一种使用视频点云编解码对视频流进行编码的装置，所述装置包括：至少一个存储器，其被配置成存储程序代码；以及至少一个处理器，其被配置成读取所述程序代码并且按照所述程序代码的指令进行操作，所述程序代码包括：第一获取代码，其被配置成使所述至少一个处理器获取源点云；
第二获取代码，其被配置成使所述至少一个处理器获取几何重建点云，其中，所述几何重建点云使用有损编解码来重建；第三获取代码，其被配置成使所述至少一个处理器获取所述几何重建点云中包括的目标点；执行代码，其被配置成使所述至少一个处理器执行前向K维(KD)树搜索和后向KD树搜索中的至少一个，所述前向K维树搜索用于确定与所述目标点最邻近的源点云的第一多个点，所述后向KD树搜索用于确定所述目标点最邻近的源点云的第二多个点；确定代码，其被配置成使所述至少一个处理器基于所述第一平均颜...

【专利技术属性】
技术研发人员：张翔，高文，刘杉，封薇薇，简兵，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：