【技术实现步骤摘要】
本专利技术属于视频编码，具体涉及一种多视点拼接视频的编码优化方法。
技术介绍
1、近年来，随着多媒体技术的快速发展，人们已经不单单满足于简单的高清视频应用，而是希望能够通过自身感官多方位地接收和体验视频内容。这种需求促进了普通单视点视频内容应用向多视点视频应用的发展。多视点视频是指由不同角度的多台摄像机同时摄录影像的视频。在这类视频应用中，多视点视频压缩是其重要的研究和组成内容。国际标准组在单视点的压缩标准基础上进行了扩展，发布了针对多视点视频的标准，目前最为先进的是基于hevc标准扩展的mv-hevc标准，相比于多路联播编码，mv-hevc标准采用的技术可以在同等画质下将码率大小降低20％～30％。
2、但遗憾的是，在目前的工业界中，针对单路视频的标准编解码器仍然占据大部分市场。出于成本和鲁棒性考虑，人们更愿意用这些标准编解码器处理各种视频内容，而不是单独为多视点视频额外购买相应编解标准的编解码器。
3、因此，建立一种可以用标准编解码器处理多视点视频的方法至关重要。工业界常规的思路，是将要编码的视点进行拼接(可能是左右拼接，也可能是上下拼接)，然后把拼接后的视频看作单路视频进行编解码。但这种方式的复杂度过高，并且没有利用不同视点间的相似关系。为了进一步降低这种方法压缩的多视点视频的码率，目前存在的研究通过利用屏幕内容编码的帧内块复制算法减少不同视点间的信息冗余，以尽可能地减少视频码率。然而这种方法有两个弊端：其一，帧内块复制算法的精度不高，且复杂度较大，不适合工业场景的应用。其二，仅仅提供了双视点拼接的
技术实现思路
1、鉴于以上存在的问题，本专利技术提供一种多视点拼接视频的编码优化方法，用于利用合理地视点拼接方案，结合优化的帧内块复制模式，大幅度节省了使用标准编码器编码多视点拼接内容的码率。
2、为解决上述技术问题，本专利技术采用如下的技术方案：
3、一种多视点拼接视频的编码优化方法，包括以下步骤：
4、s10，输入要编码的多视点视频序列，确定要拼接的视点数量n，以及关键视点k，关键视点k外的其余视点皆为辅助视点ai，计算视点平均偏移量offset；
5、s20，根据视点数量、视点类型，基于最短距离原则，将时域上一帧的所有视点拼接为一个大视点帧，关键视点的数量通常只有一个，其余n-1个视点皆为辅助视点，最短距离是指任一辅视点中的像素与主视点像素的距离d最小；
6、s30，将拼接的大视点帧组成的视频序列输入至hevc/h.265标准编码器中执行编码，无论拼接的视点数量有多少，首先从关键视点帧的起始位置开始编码；编码的顺序基于光栅扫描，在每个视点中以ctu为单位进行率失真优化，对于主视点帧所在区域，编码过程中的帧内、帧间预测与标准编码流程一致；对于辅视点帧所在区域，进行标准编码流程涉及的帧内、帧间预测，以及执行基于视点平均偏移量offset的帧内块复制模式，以利用主视点与辅视点的相似性进行预测编码；对于主视点与辅视点拼接的边界区域，在执行编码后额外执行样点自适应补偿以及去块滤波器技术，以减少边缘的不连续性和块效应；
7、s40，所有大视点帧编码完成后，输出码流。
8、一种可能的实施方式中，s10中所述计算视点平均偏移量offset具体包括：
9、对视频序列的第一帧的所有视点执行离散傅里叶变换dft，将图像从空域转换为频域。在频域中，取关键视点k以及辅助视点ai，计算这两个图像的傅里叶变换结果fk(u,v)和计算其相位谱的比值：
10、
11、其中，f代表信号的频域表示，f(u,v)中的u和v代表图像信号分别在水平方向和垂直方向，是的复共轭，符号|·|表示复数的幅值；
12、然后，对该比值进行二维反向傅里叶变换idft，得到相位相关函数，又称点积图ri(x,y)：
13、
14、该点积图的峰值位置代表两个图像之间的相对位移，为了找到这个位置，遍历整个点积图并找到其最大值的位置，获得两个图形的相对偏移量：
15、
16、计算得到第i个辅助视点相对关键视点k的相对偏移量，则当前帧的平均相对偏移量offset为：
17、
18、该值反映了关键视点与辅助视点的平均绝对偏移量，以像素为单位。
19、一种可能的实施方式中，s30中执行基于视点平均偏移量offset的帧内块复制模式具体包括：
20、将当前编码帧内已编码过的内容作为参考区域，进行类帧间的预测编码，其具体可描述为：假设编码的图像帧为f，其中每个待编码块可以标记为bi(x,y)，则帧内块复制的目标表示为找到b.(x′,y′)，使得：
21、bi(x,y)＝b.(x′,y′)，(x′,y′)∈(f已编码)
22、由于图像块的像素差异不可能完全一致，所以上式等价为：
23、
24、即寻找使得dif尽可能接近0的块，若存在多个这样的块，进一步考虑两个块之间的距离问题，以距离最短的那个块作为最终所选择的复制块，也可以说编码块向量所需比特最少的，即可以进一步表示为如下的最优化目标：
25、
26、其中bv代表块向量(x-x′,y-y′)，bit(bv)代表编码该块向量所需的比特；δ为权衡参数，用于确定多个候选块中的最优块；
27、考虑到在编码帧末端，已编码区域会累积到比较大的一个面积，使得后续搜索复杂度增大，采用如下的一种快速搜索方式：根据当前帧内块复制模式处理的区域所在的位置，找到主视点对应的位置；基于该位置信息，与offset相加，得到一个拓宽的区域，该区域即为用于帧内块复制的快速搜索优化的参考区域；
28、帧内块复制执行完毕，即获得上述所述的要复制的最优块和对应的bv之后，将预测的编码残差r以及搜索的块向量bv编入码流中；所述的编码残差，是指编码待编码块和复制块像素差值，即：
29、r(x,y)＝bi(x,y)-b.(x′,y′)
30、在存储方式上，每一个辅视点仅完整编码第一个bv，其余bv按照光栅顺序存储，仅编码其bv与第一个存储的bv差值，以尽可能降低该方案的整体码率。
31、一种可能的实施方式中，基于该位置信息，与offset相加，得到一个拓宽的区域具体包括：如果主视点与辅视点的拼接方式是上下拼接，则其水平分量x与offset相加。
32、一种可能的实施方式中，基于该位置信息，与offset相加，得到一个拓宽的区域具体包括：如果主视点与辅视点的拼接方式是上下拼接，则需要将垂直分量y与offset相加。
33、一种可能的实施方式中，基于该位置信息，与offset相加，得到一个拓宽的区域具体包括：如果主视点与辅视点是对角拼接，则水平分量x与垂直分量y都要与offset相加。
34、采用本专利技术具有如下的有益效果：本文档来自技高网...
【技术保护点】
1.一种多视点拼接视频的编码优化方法，其特征在于，包括以下步骤：
2.如权利要求1所述的多视点拼接视频的编码优化方法，其特征在于，S10中所述计算视点平均偏移量Offset具体包括：
3.如权利要求2所述的多视点拼接视频的编码优化方法，其特征在于，S30中执行基于视点平均偏移量Offset的帧内块复制模式具体包括：
4.如权利要求3所述的多视点拼接视频的编码优化方法，其特征在于，基于该位置信息，与Offset相加，得到一个拓宽的区域具体包括：如果主视点与辅视点的拼接方式是上下拼接，则其水平分量x与Offset相加。
5.如权利要求3所述的多视点拼接视频的编码优化方法，其特征在于，基于该位置信息，与Offset相加，得到一个拓宽的区域具体包括：如果主视点与辅视点的拼接方式是上下拼接，则需要将垂直分量y与Offset相加。
6.如权利要求3所述的多视点拼接视频的编码优化方法，其特征在于，基于该位置信息，与Offset相加，得到一个拓宽的区域具体包括：如果主视点与辅视点是对角拼接，则水平分量x与垂直分量y都要与Offset相加
...【技术特征摘要】
1.一种多视点拼接视频的编码优化方法，其特征在于，包括以下步骤：
2.如权利要求1所述的多视点拼接视频的编码优化方法，其特征在于，s10中所述计算视点平均偏移量offset具体包括：
3.如权利要求2所述的多视点拼接视频的编码优化方法，其特征在于，s30中执行基于视点平均偏移量offset的帧内块复制模式具体包括：
4.如权利要求3所述的多视点拼接视频的编码优化方法，其特征在于，基于该位置信息，与offset相加，得到一个拓宽的区域具体包括：如果主视点与辅视...
【专利技术属性】
技术研发人员：左延辰，李日，廖义，谢亚光，孙彦龙，
申请(专利权)人：杭州当虹科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。