一种恢复视频传输信号错误的方法技术

本发明专利技术针对现有视频错误补偿的顺序恢复方法所存在的恢复效果不理想的问题，提供了一种能显著提高最终视频画面质量的视频传输信号错误的恢复方法，包括以下步骤：首先解码器对视频比特流内容进行解码；然后错误检测单元对照码表来进行错误检测；当检测到有码流出错，则标记这些出错信息；再确定连通区域，得出出错连通区域的数目以及每个连通区域中出错ＭＢ的数目；接下来根据每个出错区域中外部边界的参考纹理强度自动确定恢复顺序，并按照置信度计算和加权的方法在参考帧中搜索最佳替换块；最后在视频显示单元中显示恢复后的视频内容。用本发明专利技术的方法可最大限度地恢复出错视频，提高最终视频输出单元的画面质量。

【技术实现步骤摘要】

本专利技术涉及视频通信系统，特别涉及一种用于恢复视频系统传输信号错误的方法。
技术介绍
视频已经成为人们学习、工作、娱乐和生活中一个不可缺少的组成部分，其应用范围涉及视频会议、可视电话、视频监控、远程教学、视频点播以及无线视频通信等。但是在许多应用场合，视频数据在网络传输过程中的丢包或者噪声干扰造成视频通信系统的接收端的码流出错。这种出错会使解码器端显示的视频画面质量严重下降。如果不对这些丢失或者出错的视频数据进行恢复，这种错误效应将会进一步累积并严重影响重构视频的视觉效果。 由于视频媒体数据量大，在视频存储和传输中要对原始视频序列进行压缩编码。经过多年的发展，产生了一系列的视频编码和压缩国际国内标准。其中，国际标准有ITU-T所建议的H.261和H.263；由运动图像专家组所发布的MPEG标准系列如MPEG-1，MPEG-2和MPEG-4；以及ITU-T和MPEG联合发表的H.264或者MPEG-4Part10。国内的视频编解码标准有AVS。这些标准已经广泛应用于许多视频通信系统以及相关的电子产品。然而，在一个带宽受限的有线视频传输网络或者具有衰落信道的无线视频通信网络中传输压缩视频流时，网络的拥塞造成的视频数据包丢失或者噪声干扰所造成的视频流误码，这些都将导致接收端视频画面质量严重下降并影响视觉效果和主观感受。 在现有的视频编码标准中考虑到传输网络的特征，在编码器端加入了一系列冗余信息以保护码流，并在网络传输中用前向错误控制来对编码视频在网络传输中进行保护，以减少视频流在发生丢包或者比特误码时所造成的错误传播。由于视频编码标准采用可变长的熵编码和运动补偿方法以尽可能多地消除视频中的冗余，以达到视频通信中信道带宽的要求。在现有标准中视频数据的打包形式常以片组(Slice)为基础。一般而言一幅图像可以划分成若干个Slice，而每个Slice中则是有若干个宏块(MB)组成，而每个MB则是由大小为N×N的象素区域构成(N＝16)。在视频传输中的丢包或者出错会直接导致该Slice中所对应的MB内容丢失或出错，并有可能会影响其它Slice的中MB的解码。如上所述，压缩视频流中的误码(哪怕仅仅有限的几个比特)或者丢失都有可能会使得其它码流无偿正常解码，从而使得错误效应的累积和传播，通常造成视频中大块的区域出错。 为了提高压缩视频码流的抗误码性能，通常在编码器端进行冗余的编码(ER)，在传输过程中进行前向差错控制机制(FEC)，并且在解码器端进行错误恢复(EC)。而ER和FEC中加入的冗余信息是一种预防性的策略，其目的是防止在出错情况下的错误传播。而EC是一种后处理方法，其目的是利用视频数据在时间、空间上的相关特性进行错误恢复，以最大限度的提供重构视频的画面质量。 中国专利CN1499845A公开了一种视频错误补偿方法以及装置，是一种基于错误宏块空间排列的顺序恢复方法，其采用空间上的排列顺序进行恢复并且使用邻域正确MB作为参考。但是在存在连通的出错区域情况下，邻域参考MB的数目有限或者没有，恢复的效果不理想，达不到很好恢复出错视频画面的目的。如上所述，在一个或者多个Slice出错的情况下，很容易造成错误的累积和传播，造成出错区域连成一片。在这种情况下出错宏块的邻域正确的宏块相对较少，因此，在恢复时可以获得的参考信息也相对较少。这样恢复的效果不令人满意，恢复的视频中存在明显的块效应，而且还会影响后续帧的视频画面质量，造成误差在图像之间传播。
技术实现思路
本专利技术针对现有视频错误补偿方法所存在的不足，提供了一种能显著提高最终视频画面质量的视频传输信号错误的恢复方法，其可根据出错MB区域的邻域空间纹理参考信息，自动确定恢复顺序，然后调用相应的错误恢复单元进行恢复。 为达到以上目的，本专利技术是采用如下技术方案予以实现的，包括以下步骤首先在视频解码器中执行步骤S1，根据视频流的标志信息确定相应的视频解码标准来对视频比特流内容进行解码；然后在错误检测单元中执行步骤S2，对照码表来进行错误检测；接着执行步骤S3，检测码流是否出错，当检测到有码流出错，则执行步骤S4，标记这些出错信息；在视频错误恢复单元中包括两部分其一是连通出错区域判断单元，其二是连通出错区域恢复单元，在连通出错区域判断单元执行步骤S5，确定出错连通区域；接下来在连通出错恢复单元中执行步骤S6，自动确定出错MB的恢复顺序，并进行恢复；最后在视频显示单元中执行步骤S7，显示恢复后的视频内容；在步骤S3中，当检测到码流未出错，则直接跳到步骤S7。 上述技术方案中，所述步骤S4、S5和S6中，标记、确定和恢复一个连通的出错MB区域具体包括下述执行步骤在步骤S10中按解码顺序标记出出错宏块区域；在步骤S11中确定连通的出错MB区域的数目；在步骤S12中确定每个出错连通区域的出错MB的个数；在步骤S13中计算连通区域中每个出错MB的外部边界参考纹理强度；在步骤S14中选择外部参考强度最大的出错MB，并根据该最大的出错MB，自动确定出错MB的恢复顺序；在步骤S15中，对于当前纹理强度最大的出错MB首先进行恢复，并对当前出错的MB，用置信度计算和加权的方法在参考帧中搜索与外部边界最佳匹配的MB区域进行替换；在步骤S16中，对于已恢复的出错MB，更新该MB的4-邻域未恢复的出错MB的外部边界纹理强度；在步骤S17中判断连通区域中出错MB是否全部恢复，当全部恢复则在视频显示单元显示恢复后的视频帧，否则继续进行步骤S14到步骤S17的循环。 所述步骤S15中，置信度的计算是，用MAP(p，q)来表示第(p，q)个MB是否正确或者已经恢复，如下式所示 其中，w表示该MB为恢复其4-邻域出错MB区域进行恢复时所提供的权值信息，其取值范围是0＜w＜1；所述步骤S13中，对于第(p，q)个MB，假设其是当前准备恢复的出错MB，该MB邻域中MB所提供的外部边界纹理强度ECorder(p，q)如下式所示 ECorder(p,q)=MAP(p,q-1)×TSTDM(p,q-1)+MAP(p,q+1)×TSTDM(p,q+1)]]>+MAP(p-1,q)×TSTDM(p-1,q)+MAP(p+1,q)×TSTDM(p+1,q)---(4)]]>其中，MAP(p，q)表示第(p，q)个MB的边界区域所提供的权值，TSTDM(p，q)表示第(p，q)个MB的边界区域的纹理强度。 所述的步骤S15中，对于当前出错MB，其外部边界区域在给定偏移量(dx，dy)的情况下，其平均匹配误差MAD(dx，dy)是由该出错MB的4-邻域中边界区域按照置信度加权的形式进行计算，其具体计算方式如下MAD(dx,dy)=MAP(p,q-1)×MADT(dx,dy)+MAP(p,q+1)×MADB(dx,dy)]]>+MAP(p-1,q)×MADL(dx,dy)+MAP(p+1,q)×MADR(dx,dy)---(9)]]>式中，MAD(dx，dy)为出错MB的外部边界区域在(dx，dy)下的平均匹配误差。 本发本文档来自技高网...

【技术保护点】
一种恢复视频传输信号错误的方法，其特征是，包括以下步骤：首先在视频解码器中执行步骤Ｓ１，根据视频流的标志信息确定相应的视频解码标准来对视频比特流内容进行解码；然后在错误检测单元中执行步骤Ｓ２，对照码表来进行错误检测；接着执行步骤Ｓ３，检测码流是否出错，当检测到有码流出错，则执行步骤Ｓ４，标记这些出错信息；在视频错误恢复单元中包括两部分：其一是连通出错区域判断单元，其二是连通出错区域恢复单元，在连通出错区域判断单元执行步骤Ｓ５，确定出错连通区域；接下来在连通出错恢复单元中执行步骤Ｓ６，自动确定出错ＭＢ的恢复顺序，并进行恢复；最后在视频显示单元中执行步骤Ｓ７，显示恢复后的视频内容；在步骤Ｓ３中，当检测到码流未出错，则直接跳到步骤Ｓ７。

【技术特征摘要】
1.一种恢复视频传输信号错误的方法，其特征是，包括以下步骤首先在视频解码器中执行步骤S1，根据视频流的标志信息确定相应的视频解码标准来对视频比特流内容进行解码；然后在错误检测单元中执行步骤S2，对照码表来进行错误检测；接着执行步骤S3，检测码流是否出错，当检测到有码流出错，则执行步骤S4，标记这些出错信息；在视频错误恢复单元中包括两部分其一是连通出错区域判断单元，其二是连通出错区域恢复单元，在连通出错区域判断单元执行步骤S5，确定出错连通区域；接下来在连通出错恢复单元中执行步骤S6，自动确定出错MB的恢复顺序，并进行恢复；最后在视频显示单元中执行步骤S7，显示恢复后的视频内容；在步骤S3中，当检测到码流未出错，则直接跳到步骤S7。2.根据权利要求1所述的恢复视频传输信号错误的方法，其特征是，所述步骤S4、步骤S5和步骤S6中，标记、确定和恢复一个连通的出错MB区域具体包括下述执行步骤在步骤S10中按解码顺序标记出出错MB区域；在步骤S11中确定连通的出错区域的数目，在步骤S12中确定每个出错连通区域的出错MB的个数；在步骤S13中计算连通区域中每个出错MB的外部边界参考纹理强度；在步骤S14中选择外部参考强度最大的出错MB，并根据该最大的出错MB，自动确定出错MB的恢复顺序；在步骤S15中对当前纹理强度最大的出错MB首先进行恢复，并对当前出错的MB，按照置信度计算和加权的方法在参考帧中搜索与外部边界最佳匹配的MB区域进行替换；在步骤S16中，对于已恢复的出错MB，更新该MB的4-邻域中未恢复的出错MB的外部边界纹理强度；在步骤S17中判断连通区域中出错MB是否全部恢复，当全部恢复则在在视频显示单元中显示恢复后的视频帧，否则继续进行步骤S14到步骤S17的循环。3.根据权利要求2所述的恢复视频传输信号错误的方法，其特征是，所述步骤S15中，置...

【专利技术属性】
技术研发人员：钱学明，刘贵忠，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：87[中国|西安]