System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 3D视频编码方法和设备、解码方法和设备、计算机设备技术_技高网

3D视频编码方法和设备、解码方法和设备、计算机设备技术

技术编号:44164872 阅读:4 留言:0更新日期:2025-01-29 10:37
本公开公开了一种3D视频编码方法、3D视频解码方法、3D视频编码设备、3D视频解码设备、计算机设备和存储介质,一实施例的3D视频编码方法包括:获取基于单路摄像机采集的一路视频图像生成的多视点图像,多视点图像为由同一视角的具有视差的多个视点图像合并的图像;将多视点图像中的每个视点图像对应的图像区域划分为多个块;在每个图像区域内基于划分的块生成每个视点图像对应的预测视点块;将每个视点图像对应的预测视点块合并为预测视点图像,以完成3D视频编码。本公开提供的实施例通过获取基于单路摄像机采集的视频图像生成的多视点图像,并在多视点图像中每个视点图像对应的区域分块并生成预测视点块,以较窄的带宽实现了高质量3D视频通信。

【技术实现步骤摘要】

本公开涉及通信,特别是涉及一种3d视频编码方法、3d视频解码方法、3d视频编码设备、3d视频解码设备、计算机设备和存储介质。


技术介绍

1、裸眼3d显示设备无需佩戴眼镜或其它辅助视具就可以为观看者呈现立体图像,通过特制的显示屏让光线分别进入人的左眼和右眼,利用人的两眼视差和光的折射原理让大脑融合图像产生立体感。在裸眼3d显示设备上要看到立体图像,需要n(n>=2)个不同视点的图像,n个视点图像在水平方向上有视差偏移,然后将n个视点的图像像素进行重排交织成多视点立体图像。

2、目前,裸眼3d在娱乐、广告、展览、教育等多个领域已经有应用,如3d畅玩游戏、3d家庭影院、3d立体几何教学等应用场景。除以上本地应用外,裸眼3d视频通话也将成为一种重要的应用场景,裸眼3d视频通话可以让用户在进行视频通话时感觉就像坐在真人面前聊天一样,能让用户获得更加沉浸式的视觉体验。


技术实现思路

1、为了解决上述问题至少之一,本公开第一个实施例提供一种3d视频编码方法,应用于第一设备,包括:

2、获取基于单路摄像机采集的一路视频图像生成的多视点图像,多视点图像为由同一视角的具有视差的多个视点图像合并的图像;

3、将多视点图像中的每个视点图像对应的图像区域划分为多个块;

4、在每个图像区域内基于划分的块生成每个视点图像对应的预测视点块;

5、将每个视点图像对应的预测视点块合并为预测视点图像,以完成3d视频编码。

6、可选地,获取基于单路摄像机采集的一路视频图像生成的多视点图像进一步包括:

7、获取单路摄像机采集的一路视频图像,视频图像为彩色图像;

8、对彩色图像进行深度估计生成深度图像;

9、基于彩色图像生成多视点图像,

10、方法还包括:

11、对深度图像进行运动估计和运动补偿生成预测深度图像;

12、基于预测视点图像和预测深度图像联合进行熵编码,以完成3d视频编码。

13、可选地,将每个视点图像对应的预测视点块合并为预测视点图像,以完成3d视频编码之后,方法还包括:

14、将预测视点图像与对应的多视点图像进行差异计算,得到残差图像;

15、对残差图像进行变换编码、量化和熵编码,得到对应于每个多视点图像的多个编码流;

16、将多个编码流进行多路复合得到一路3d视频码流,其中,每个视点的码码流包括唯一对应的身份识别码。

17、可选地,每个多视点图像的多个编码流的编码时间戳相同。

18、可选地,在每个图像区域内基于划分的块生成每个视点图像对应的预测视点块进一步包括:

19、确定每个图像区域的运动向量;

20、基于每个视点图像的运动向量生成每个视点图像对应的预测视点块。

21、可选地,确定每个图像区域的运动向量进一步包括:

22、在每个图像区域内,对于图像区域内的每个块在参考视点图像中以预定匹配准则确定具有最小匹配值的匹配块;

23、确定每个块的匹配块的块位置;以及

24、计算每个块的匹配块的块位置与每个块的块位置之差,得到图像区域内每个块的运动向量。

25、可选地,预定匹配准则选自绝对值差和准则、绝对值差值变换和准则、平方差值和准则中之一。

26、本公开第二个方面提供一种3d视频解码方法,应用于第二设备,包括:

27、获取已编码视频的码流,码流为根据上文所述的3d视频编码方法生成的;

28、对码流进行解码,得到每个视点的初始多视点重建图像;

29、基于视点间的几何关系,将初始多视点重建图像对齐到同一参考坐标系中,以得到多视点重建图像。

30、可选地,对码流进行解码,得到每个视点的初始重建图像进一步包括:

31、对码流进行解码,得到每个视点的初始多视点重建图像和初始深度重建图像;

32、对初始深度重建图像进行重建得到深度重建图像,

33、基于视点间的几何关系,将初始多视点重建图像对齐到同一参考坐标系中,以得到多视点重建图像之后,方法还包括:

34、将多视点重建图像和深度重建图像联合,形成重建视频图像。

35、可选地,基于视点间的几何关系,将初始多视点重建图像对齐到同一参考坐标系中,以得到多视点重建图像进一步包括:

36、读取每个视点码流中包括的身份识别码;

37、按照身份识别码所指示的坐标位置,将初始多视点重建图像对齐到同一参考坐标系中,以得到多视点重建图像。

38、可选地,基于视点间的几何关系,将初始多视点重建图像对齐到同一参考坐标系中,以得到多视点重建图像之后,方法还包括:

39、对多视点重建图像中的每个视点图像进行边缘平滑处理;和/或

40、对多视点重建图像进行拉普拉斯锐化处理。

41、本公开第三个方面提供一种3d视频编码设备,包括:

42、第一获取单元,获取基于单路摄像机采集的一路视频图像生成的多视点图像,多视点图像为由同一视角的具有视差的多个视点图像合并的图像;

43、划分单元,将多视点图像中的每个视点图像对应的图像区域划分为多个块;

44、块生成单元,在每个图像区域内基于划分的块生成每个视点图像对应的预测视点块;

45、预测图像生成单元,将每个视点图像对应的预测视点块合并为预测视点图像,以完成3d视频编码。

46、本公开第四个方面提供一种3d视频解码设备,其特征在于,包括:

47、第二获取单元,获取已编码视频的码流,码流为根据权利要求1-7中任一项的3d视频编码方法生成的;

48、解码单元,对码流进行解码,得到每个视点的初始多视点重建图像;

49、对齐单元,基于视点间的几何关系,将初始多视点重建图像对齐到同一参考坐标系中,以得到多视点重建图像。

50、本公开第五个方面提供一种3d视频通信系统,包括第一设备和第二设备,

51、第一设备获取基于单路摄像机采集的一路视频图像生成的多视点图像,多视点图像为由同一视角的具有视差的多个视点图像合并的图像,将多视点图像中的每个视点图像对应的图像区域划分为多个块,在每个图像区域内基于划分的块生成每个视点图像对应的预测视点块,将每个视点图像对应的预测视点块合并为预测视点图像,以完成3d视频编码,

52、第二设备接收来自第一设备的已编码视频的码流,对码流进行解码,得到每个视点的初始多视点重建图像,对码流进行解码,得到每个视点的初始多视点重建图像,基于视点间的几何关系,将初始多视点重建图像对齐到同一参考坐标系中,以得到多视点重建图像。

53、本公开第六个方面提供一种计算机可读存储介质,其上存储有计算机程序,

54、该程序被处理器执行时实现如上文所述的方法;或者本文档来自技高网...

【技术保护点】

1.一种3D视频编码方法,应用于第一设备,其特征在于,包括:

2.根据权利要求1所述的3D视频编码方法,其特征在于,所述获取基于单路摄像机采集的一路视频图像生成的多视点图像进一步包括:

3.根据权利要求1所述的3D视频编码方法,其特征在于,所述将每个视点图像对应的预测视点块合并为预测视点图像,以完成3D视频编码之后,所述方法还包括:

4.根据权利要求3所述的3D视频编码方法,其特征在于,每个多视点图像的所述多个编码流的编码时间戳相同。

5.根据权利要求1所述的3D视频编码方法,其特征在于,所述在每个图像区域内基于划分的块生成每个视点图像对应的预测视点块进一步包括:

6.根据权利要求5所述的3D视频编码方法,其特征在于,所述确定每个图像区域的运动向量进一步包括:

7.根据权利要求6所述的3D视频编码方法,其特征在于,所述预定匹配准则选自绝对值差和准则、绝对值差值变换和准则、平方差值和准则中之一。

8.一种3D视频解码方法,应用于第二设备,其特征在于,包括:

9.根据权利要求8所述的3D视频解码方法,其特征在于,所述对所述码流进行解码,得到每个视点的初始重建图像进一步包括:

10.根据权利要求8所述的3D视频解码方法,其特征在于,所述基于视点间的几何关系,将所述初始多视点重建图像对齐到同一参考坐标系中,以得到多视点重建图像进一步包括:

11.根据权利要求8所述的3D视频解码方法,其特征在于,所述基于视点间的几何关系,将所述初始多视点重建图像对齐到同一参考坐标系中,以得到多视点重建图像之后,所述方法还包括:

12.一种3D视频编码设备,其特征在于,包括:

13.一种3D视频解码设备,其特征在于,包括:

14.一种3D视频通信系统,其特征在于,包括第一设备和第二设备,

15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,

16.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,

...

【技术特征摘要】

1.一种3d视频编码方法,应用于第一设备,其特征在于,包括:

2.根据权利要求1所述的3d视频编码方法,其特征在于,所述获取基于单路摄像机采集的一路视频图像生成的多视点图像进一步包括:

3.根据权利要求1所述的3d视频编码方法,其特征在于,所述将每个视点图像对应的预测视点块合并为预测视点图像,以完成3d视频编码之后,所述方法还包括:

4.根据权利要求3所述的3d视频编码方法,其特征在于,每个多视点图像的所述多个编码流的编码时间戳相同。

5.根据权利要求1所述的3d视频编码方法,其特征在于,所述在每个图像区域内基于划分的块生成每个视点图像对应的预测视点块进一步包括:

6.根据权利要求5所述的3d视频编码方法,其特征在于,所述确定每个图像区域的运动向量进一步包括:

7.根据权利要求6所述的3d视频编码方法,其特征在于,所述预定匹配准则选自绝对值差和准则、绝对值差值变换和准则、平方差值和准则中之一。

8.一种3d视频解码方法,...

【专利技术属性】
技术研发人员:郭小琴张哲姜苏珈于静
申请(专利权)人:京东方科技集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1