预测图像生成方法和装置制造方法及图纸

本发明专利技术公开了一种预测图像生成方法和装置，其中，该方法包括：根据参数信息确定参考矩形像素块，其中，参数信息包括目标矩形像素块的位置和/或参考视点的深度信息；通过参考视点的深度信息将参考矩形像素块向目标视点进行前向投影得到投影矩形像素块；从投影矩形像素块中获取预测图像。本发明专利技术解决了现有技术中在生成预测图像的过程中需要同时用到目标视点的深度图像和参考视点的深度图像而造成的对数据的依赖性较大的技术问题，达到了减少对数据的依赖和提高编解码效率的技术效果。

【技术实现步骤摘要】
预测图像生成方法和装置
本专利技术涉及通信领域，具体而言，涉及一种预测图像生成方法和装置。
技术介绍
图像预测，是指在视频编/解码过程中，通过运动矢量、参考帧索引等信息，从已经编/解码完成的图像中直接拷贝或者通过亚像素插值等方法获取部分图像，作为当前编/解码图像块的预测图像。在编码端，将该预测图像与原始图像相减，可以得到图像残差并编码写入码流；在解码端，将该预测图像与码流中解码得到的图像残差相加，可以得到重建图像，通过这种预测图像的方式进行编解码可以有效提升编解码的效率。目前，常用的生成预测图像的方式是采用前向投影的方式，即指利用参考视点中的每个像素点或者每个像素块的深度信息，将参考视点的图像投影至目标视点得到目标视点的图像。目前，常用的基于块的前向投影一般都是按照以下方式实现：为了在目标视点中生成一个目标像素块Bt，在参考视点中用于生成Bt的参考像素块Br的大小以及位置是由Bt的大小、位置以及Bt中各像素点对应的深度值决定的，即，在该方法中需要通过目标视点的深度信息来确定参考像素块。在上述方法中，通过统计Bt中各像素点对应的视差值中的最大值Dmax与最小值Dmin其中，视差值由各像素点对应的深度值转换而来，将Bt的左边界减去Dmax，Bt的右边界减去Dmin，保持上下边界不变，得到一组新的边界值，将该新的边界值作为Br的边界。将Br投影至目标视点并填充Bt内未被投影到的像素点，得到被投影的Bt，并将Bt作为预测图像，在投影的过程中需要用到参考视点的深度信息，从而生成所需的预测图像。上述的空洞填充就是在图像中物体的边界区域等深度变化的地方，经过虚拟视投影以后会出现空洞。被投影视点的图像投影至目标视点以后，目标视点中未被投影到的单个点或者连续的点段被称为空洞。空洞的出现与深度、纹理的采样率有关，同时也是由于三维场景中物体的遮挡关系引起的。处于物体背后的场景在拍摄时无法被获取，经过投影以后就无法复现原本位于物体背后的图像。出现空洞时，需要采用空洞填充技术将整幅投影后的图像填充完整。空洞填充的方法通常是取空洞两侧的两个已投影像素中属于背景区域（基于两个像素的相对前景和背景之间的关系）的像素值填充整个空洞；若空洞只有一侧有已投影像素（一般出现在图像边界上），则取这一仅有的已投影像素填充整个空洞。上述仅是空洞填充技术的一种方式，还可以采用其它多种方式实现。由上述描述可知，现有技术中在进行前向投影时，需要利用参考视点的深度信息确定参考像素块，在进行投影时又需要用到目标视点的深度信息，因此，在生成预测图像的过程中需要同时用到目标视点的深度信息和参考视点的深度信息，对数据的依赖性比较大。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术提供了一种预测图像生成方法和装置，以至少解决现有技术中在生成预测图像的过程中需要同时用到目标视点的深度信息和参考视点的深度信息而造成的对数据的依赖性较大的技术问题。根据本专利技术的一个方面，提供了一种预测图像生成方法，包括：根据参数信息确定参考矩形像素块，其中，上述参数信息包括目标矩形像素块的位置和/或参考视点的深度信息；通过上述参考视点的深度信息将上述参考矩形像素块向目标视点进行前向投影得到投影矩形像素块；从上述投影矩形像素块中获取预测图像。优选地，上述参考视点的深度信息包括以下至少之一：上述参考视点的深度图像、上述参考视点的摄像机参数信息。优选地，当上述参数信息包括目标矩形像素块的位置时，根据参数信息确定参考矩形像素块包括：将上述目标矩形像素块的左边界值减去第一预定偏移值后的值作为上述参考矩形像素块的左边界值；将上述目标矩形像素块的右边界值减去第二预定偏移值后的值作为上述参考矩形像素块的右边界值；将上述目标矩形像素块的上边界值作为上述参考矩形像素块的上边界值；将上述目标矩形像素块的下边界值作为上述参考矩形像素块的下边界值；将确定的参考矩形像素块的左边界值、右边界值、上边界值以及下边界值作为上述参考矩形像素块的边界信息以在参考视点中确定上述参考矩形像素块。优选地，上述第一预定偏移值与上述第二预定偏移值是预先设定的一个不为0的数值。优选地，当上述参数信息包括目标矩形像素块的位置和参考视点的深度信息时，根据参数信息确定参考矩形像素块包括：根据上述目标矩形像素块的位置确定上述参考矩形像素块的第一组边界值；根据上述参考视点的深度信息对上述第一组边界值进行更新，将更新后得到的结果作为上述参考矩形像素块的第二组边界值，其中，上述第二组边界值对应的参考矩形像素块的面积小于上述第一组边界值对应的参考矩形像素块的面积；根据上述第二组边界值在参考视点中确定上述参考矩形像素块。优选地，根据上述目标矩形像素块的位置确定上述参考矩形像素块的第一组边界值包括：将上述目标矩形像素块的左边界值减去第三预定偏移值后的值作为上述参考矩形像素块的上述第一组边界值中的左边界值；将上述目标矩形像素块的右边界值减去第四预定偏移值后的值作为上述参考矩形像素块的上述第一组边界值中的右边界值；将上述目标矩形像素块的上边界值作为上述第一组边界值中的上边界值；将上述目标矩形像素块的下边界值作为上述第一组边界值中的下边界值。优选地，上述第三预定偏移值与上述第四预定偏移值是预先设定的一个不为0的数值。优选地，上述第三预定偏移值包括：上述参考视点与上述目标视点之间的最大视差值，上述第四预定偏移值包括：上述参考视点与目标视点之间的最小视差值。优选地，根据上述参考视点的深度信息对上述第一组边界值进行更新包括：根据上述目标矩形像素块边界上的一个或多个像素点的位置信息和上述参考视点的深度信息确定一个或多个边界范围值，其中，上述边界范围值包括左边界范围值和/或右边界范围值；根据确定的一个或多个边界范围值对上述第一组边界值进行更新。优选地，根据确定的一个或多个边界范围值对上述第一组边界值进行更新包括：从一个或多个左边界范围值中选择一个作为上述第一组边界值中的左边界值，其中，上述左边界范围值为上述目标矩形像素块左边界上的像素点对应的边界范围值；和/或从一个或多个右边界范围值中选择一个作为上述第一组边界值中的右边界值，其中，上述右边界范围值为上述目标矩形像素块右边界上的像素点对应的边界范围值。优选地，根据上述目标矩形像素块边界上的一个或多个像素点的位置信息和上述参考视点的深度信息确定一个或多个左边界范围值的步骤包括：从上述目标矩形像素块的左边界上选择一个像素点作为第一像素点；将上述第一组边界值中的左边界值作为第一像素点对应的左边界范围值；将上述第一像素点的坐标偏移一个默认视差后得到的第一坐标作为上述参考视点中的第二坐标；根据上述第二坐标在上述参考视点中所对应的像素点的深度信息确定上述第二坐标所对应的像素点在上述目标视点中的第一投影坐标；当上述第一投影坐标的水平分量小于等于上述第一组边界值中的左边界值时，更新上述第一像素点对应的左边界范围值为上述第二坐标的水平分量；和/或根据上述目标矩形像素块边界上的一个或多个像素点的位置信息和上述参考视点的深度信息确定一个或多个右边界范围值包括：从上述目标矩形像素块的右边界上选择一个像素点作为第二像素点；将上述第一组边界值中的右边界值作为上述第二像素点对应的右边界范围值；将上述第二像素点的坐标偏移一个默认视本文档来自技高网...

【技术保护点】
一种预测图像生成方法，其特征在于，包括：根据参数信息确定参考矩形像素块，其中，所述参数信息包括目标矩形像素块的位置和/或参考视点的深度信息；通过所述参考视点的深度信息将所述参考矩形像素块向目标视点进行前向投影得到投影矩形像素块；从所述投影矩形像素块中获取预测图像。

【技术特征摘要】
1.一种预测图像生成方法，其特征在于，包括：根据参数信息确定参考矩形像素块，其中，所述参数信息包括目标矩形像素块的位置和/或参考视点的深度信息；通过所述参考视点的深度信息将所述参考矩形像素块向目标视点进行前向投影得到投影矩形像素块；从所述投影矩形像素块中获取预测图像；其中，所述方法应用于3D图像编解码技术中。2.根据权利要求1所述的方法，其特征在于，所述参考视点的深度信息包括以下至少之一：所述参考视点的深度图像、所述参考视点的摄像机参数信息。3.根据权利要求1所述的方法，其特征在于，当所述参数信息包括目标矩形像素块的位置时，根据参数信息确定参考矩形像素块包括：将所述目标矩形像素块的左边界值减去第一预定偏移值后的值作为所述参考矩形像素块的左边界值；将所述目标矩形像素块的右边界值减去第二预定偏移值后的值作为所述参考矩形像素块的右边界值；将所述目标矩形像素块的上边界值作为所述参考矩形像素块的上边界值；将所述目标矩形像素块的下边界值作为所述参考矩形像素块的下边界值；将确定的参考矩形像素块的左边界值、右边界值、上边界值以及下边界值作为所述参考矩形像素块的边界信息以在参考视点中确定所述参考矩形像素块。4.根据权利要求3所述的方法，其特征在于，所述第一预定偏移值与所述第二预定偏移值是预先设定的一个不为0的数值。5.根据权利要求1所述的方法，其特征在于，当所述参数信息包括目标矩形像素块的位置和参考视点的深度信息时，根据参数信息确定参考矩形像素块包括：根据所述目标矩形像素块的位置确定所述参考矩形像素块的第一组边界值；根据所述参考视点的深度信息对所述第一组边界值进行更新，将更新后得到的结果作为所述参考矩形像素块的第二组边界值，其中，所述第二组边界值对应的参考矩形像素块的面积小于所述第一组边界值对应的参考矩形像素块的面积；根据所述第二组边界值在参考视点中确定所述参考矩形像素块。6.根据权利要求5所述的方法，其特征在于，根据所述目标矩形像素块的位置确定所述参考矩形像素块的第一组边界值包括：将所述目标矩形像素块的左边界值减去第三预定偏移值后的值作为所述参考矩形像素块的所述第一组边界值中的左边界值；将所述目标矩形像素块的右边界值减去第四预定偏移值后的值作为所述参考矩形像素块的所述第一组边界值中的右边界值；将所述目标矩形像素块的上边界值作为所述第一组边界值中的上边界值；将所述目标矩形像素块的下边界值作为所述第一组边界值中的下边界值。7.根据权利要求6所述的方法，其特征在于，所述第三预定偏移值与所述第四预定偏移值是预先设定的一个不为0的数值。8.根据权利要求6所述的方法，其特征在于，所述第三预定偏移值包括：所述参考视点与所述目标视点之间的最大视差值，所述第四预定偏移值包括：所述参考视点与目标视点之间的最小视差值。9.根据权利要求6所述的方法，其特征在于，根据所述参考视点的深度信息对所述第一组边界值进行更新包括：根据所述目标矩形像素块边界上的一个或多个像素点的位置信息和所述参考视点的深度信息确定一个或多个边界范围值，其中，所述边界范围值包括左边界范围值和/或右边界范围值；根据确定的一个或多个边界范围值对所述第一组边界值进行更新。10.根据权利要求9所述的方法，其特征在于，根据确定的一个或多个边界范围值对所述第一组边界值进行更新包括：从一个或多个左边界范围值中选择一个作为所述第一组边界值中的左边界值，其中，所述左边界范围值为所述目标矩形像素块左边界上的像素点对应的边界范围值；和/或从一个或多个右边界范围值中选择一个作为所述第一组边界值中的右边界值，其中，所述右边界范围值为所述目标矩形像素块右边界上的像素点对应的边界范围值。11.根据权利要求9或10所述的方法，其特征在于，根据所述目标矩形像素块边界上的一个或多个像素点的位置信息和所述参考视点的深度信息确定一个或多个左边界范围值的步骤包括：从所述目标矩形像素块的左边界上选择一个像素点作为第一像素点；将所述第一组边界值中的左边界值作为第一像素点对应的左边界范围值；将所述第一像素点的坐标偏移一个默认视差后得到的第一坐标作为所述参考视点中的第二坐标；根据所述第二坐标在所述参考视点中所对应的像素点的深度信息确定所述第二坐标所对应的像素点在所述目标视点中的第一投影坐标；当所述第一投影坐标的水平分量小于等于所述第一组边界值中的左边界值时，更新所述第一像素点对应的左边界范围值为所述第二坐标的水平分量；和/或根据所述目标矩形像素块边界上的一个或多个像素点的位置信息和所述参考视点的深度信息确定一个或多个右边界范围值包括：从所述目标矩形像素块的右边界上选择一个像素点作为第二像素点；将所述第一组边界值中的右边界值作为所述第二像素点对应的右边界范围值；将所述第二像素点的坐标偏移一个默认视差后得到的第三坐标作为所述参考视点中的第四坐标；根据所述第四坐标在所述参考视点中所对应的像素点的深度信息确定所述第四坐标所对应的像素点在所述目标视点中的第二投影坐标；当所述第二投影坐标的水平分量大于等于所述第一组边界值中的右边界值时，更新所述第二像素点对应的右边界范围值为所述第四坐标的水平分量。12.根据权利要求11所述的方法，其特征在于，所述默认视差是所述参考视点与所述目标视点之间的一个深度值所对应的视差值。13.根据权利要求11所述的方法，其特征在于，在判断不满足所述第一投影坐标的水平分量小于等于所述第一组边界值中的左边界值的条件，或者更新所述第一像素点对应的左边界范围值为所述第二坐标的水平分量之后，所述方法还包括：对所述第一像素点对应的左边界范围值进行更新；和/或在判断不满足所述第二投影坐标的水平分量大于等于所述第一组边界值中的右边界值的条件，或者更新所述第二像素点对应的右边界范围值为所述第四坐标的水平分量之后，所述方法还包括：对所述第二像素点对应的右边界范围值进行更新。14.根据权利要求13所述的方法，其特征在于，对所述第一像素点对应的左边界范围值进行更新包括：...

【专利技术属性】
技术研发人员：虞露，张熠辰，赵寅，洪英杰，李明，
申请(专利权)人：浙江大学，中兴通讯股份有限公司，
类型：发明
国别省市：