一种多描述屏幕内容视频编码方法技术

本发明专利技术公开了一种多描述屏幕内容视频编码方法，包括如下步骤：一，将屏幕内容视频分为奇数帧和偶数帧的两个子序列；二，对两个子序列分别进行编码，生成相应的两个描述，两个描述各自独立地在网络中传输；对子序列进行编码的具体过程为：在对单个子序列进行编码前，先选择性得加入另一个子序列的部分图像块，将单个子序列和冗余信息结合依次进行调色板编码、算术编码生成相应的描述；三，在接收端，根据接收到单个描述或同时接收到两个描述的不同情况分别进行解码。本发明专利技术采用多描述技术对屏幕内容视频进行编码，使得在部分描述丢失的情况下仍能被重建，而不要求丢失数据包的重传，它提供了鲁棒视频传输方案，既能满足实时的通信需求又能减轻网络拥塞。

【技术实现步骤摘要】

本专利技术涉及一种屏幕内容视频编码方法，具体涉及一种多描述屏幕内容视频编码方法，属于屏幕内容视频通信

技术介绍
在无线屏幕显示、镜像屏幕、云桌面、屏幕/桌面虚拟化应用中，屏幕分享通常需要以屏幕内容视频的形式在设备之间进行实时、低时延地传输。与相机拍摄视频相比，屏幕内容视频通常含有大量静止或活动的由计算机生成的图形、文字，可能包含较大的运动(比如向下滚动页面)、与自然界不同的运动(比如演示文档中物体的渐进、渐出)、不连续的色调、饱和的色彩、有限的颜色种类、无传感器噪声、大块均匀平滑的区域、重复出现的图案等特性。屏幕内容视频编码是屏幕内容视频通信中决定系统性能的核心技术之一。目前，已有的屏幕内容编码方法主要专注于提高压缩性能、降低编码复杂度等方面，并已经在这些方面取得了很大进展。然而，上述屏幕内容编码方法存在如下缺点：1)已有的屏幕内容编码方案未考虑到视频传输的鲁棒性。在设计理念为尽力而为(best-effort)的网络(例如，互联网)或不可靠网络(例如，无线自组织网络)中，视频通信服务要求达到的带宽或时延无法得到有效的保证，特别是需要短时延、低丢包率的实时视频通信。视频信号的传输由于带宽有限和时延长可能导致严重的数据包丢失。而屏幕内容视频都进行了压缩，由于视频压缩通常采用运动预测和运动补偿，数据包丢失不但会对包内包含的部分视频信号的重建产生影响，这种影响还会进一步扩散到同一视频序列的其余部分，造成严重的视频重建质量下降。2)使用已有的屏幕内容编码方案，在屏幕内容视频数据包发生严重丢失时，需要重新传送视频数据包。重新传送会给屏幕内容视频通信带来较大的时延。如果数据丢失是由于网络拥塞造成的，数据包重传会进一步加剧网络拥塞状况，造成更多的数据包丢失。3)屏幕内容在异构网络中进行传输，不同设备拥有不同的处理能力、显示器分辨率、下载带宽等资源，因此对屏幕内容视频的要求各不相同，例如手机和专业显示设备。资源相对匮乏的用户希望得到流畅的质量可接受的屏幕内容传输，而资源丰富的用户希望得到质量更高的屏幕内容视频传输体验，已有屏幕内容编码方案未能方便的提供可伸缩性的屏幕内容视频码流。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提供了一种多描述屏幕内容视频编码方法，在对单个子序列进行编码前，先选择性得加入另一个子序列的部分图像块，将单个子序列和冗余信息结合依次进行调色板编码、算术编码生成相应的描述，使得在部分描述丢失的情况下仍能被重建，而不要求丢失数据包的重传，它提供了鲁棒视频传输方案，既能满足实时的通信需求又能减轻网络拥塞。为解决上述技术问题，本专利技术提供了一种多描述屏幕内容视频编码方法，其特征在于，包括如下步骤：步骤一，将屏幕内容视频分为奇数帧和偶数帧的两个子序列；步骤二，对两个子序列分别进行编码，生成相应的两个描述，两个描述各自独立地在网络中传输；对单个子序列进行编码的具体过程为：1)首先对单个子序列依次进行调色板编码和算术编码生成相应的描述；2)边路解码过程：采集经过调色板编码的子序列，对其进行调色板解码恢复出此子序列，根据恢复出的子序列预测另一个子序列，重建出屏幕内容视频；3)失真衡量过程：计算重建视频的失真，与失真阈值进行比较，若失真大于失真阈值，则进行下一步冗余调节过程；4)冗余调节过程：将预测的另一个子序列与其原始的子序列基于图像块进行一一对应比较，按照失真从大到小的顺序对各图像块进行排列，优先选择部分失真大的图像块添加到单个子序列中形成新的子序列；5)对此新的子序列重复进行1)～4)的反馈过程直至重建视频失真小于等于失真阈值。步骤三，在接收端，根据接收到单个描述或同时接收到两个描述的不同情况分别进行解码：若只接收到单个描述，则依次进行算术解码、调色板解码恢复出单个子序列和另一个子序列的部分图像块，预测出另一个子序列剩余图像块，重建出屏幕内容视频；若同时接收到两个描述，则对两个描述分别依次进行算术解码、调色板模式解码，恢复出两个子序列和其部分图像块，将两个子序列的部分图像块丢弃，将两个子序列重建出完整的屏幕内容视频。进一步的，采用运动补偿差值方法进行预测。与现有技术相比，本专利技术所达到的有益效果是：本专利技术由于使用调色板编码的多描述技术对屏幕内容视频进行编码，使得在部分描述丢失的情况下仍能被重建，而不要求丢失数据包的重传，它提供了鲁棒视频传输方案，既能满足实时的通信需求又能减轻网络拥塞。同时，由于每个描述都能恢复一个质量可被接受的粗略的重建视频信号，更多描述结合起来重建视频质量更高，提供了一定的可伸缩性。附图说明图1是现有技术中多描述视频编码的原理框图。图2是本专利技术中多描述编码方法的原理框图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。多描述编码是一种信源编码方法，它把一个信号源编码成多个比特流(称为描述)，任何一个描述都可以提供被用户接收的信号还原质量，更多描述组合在一起可以提供更好的信号还原质量。各个描述独立地进行信道编码和传输。这样，数据包没有丢失或较少丢失时，可以提供最优的信号还原，丢失较多数据包时，由于各描述在传输中的独立性，至少有部分描述能够被正确接收，在接收端仍可得到稍微粗糙的信号还原质量。因此，这样不仅利用了信道编码的纠错能力，利用其鲁棒性弥补了由于实时通信延时所引起的信道纠错能力不足。现有技术中基于多描述编码屏幕内容视频通信系统的原理框图如图1所示，以两个描述为例，在发送端对视频通过多描述编码器进行多描述编码产生两个独立的描述，每个描述独立地在网络传输，在接收端对接收到的描述进行解码得到重建视频信号，当接收端接收到单个描述时采用边路解码器进行解码重建，同时接收到两个描述时采用中心解码器进行解码重建。本专利技术的一种多描述屏幕内容视频编码方法，其包括如下步骤：步骤一，将屏幕内容视频通过现有的时域采样方法分为奇数帧(F1,F3,F5,...)和偶数帧(F2,F4,F6,...)这样两个子序列，记奇数帧为子序列1，偶数帧为子序列2，其中Fk表示视频序列中的第k帧。步骤二，对两个子序列分别进行编码，生成相应的两个描述，两个描述各自独立地在网络中传输。以将子序列1编码生成描述1为例来详细阐述编码过程：具体编码过程如图2所示，在初始状态下，子序列1中仅包含奇数帧F1,F3,F5,...，对子序列1依次采用现有技术中的调色板编码和算术编码进行编码生成相应的描述1。接收端在对描述1的边路解码过程中，先经算术解码、调色板解码恢复出奇数帧，然后根据恢复出的奇数帧采用现有的运动补偿差值方法利用前后相邻帧预测出偶数帧，基于恢复的奇数帧和预测的偶数帧重建出原屏幕内容视频。因此可知，重建后的视频质量(或称为边路解码质量)主要由偶数帧的预测效果决定。在考虑边路解码质量时，由于算术编码是无损编码的过程，对算术编解码的过程予以省略，仅考虑调色板编码解码和偶数帧预测过程。采集经过调色板编码后的子序列1，对其进行调色板解码，恢复出子序列1中奇数帧基于此恢复出的奇数帧采用运动补偿差值方法对缺失的偶数帧图像进行预测，重建出原屏幕内容视频。重建视频包含了恢复出的奇数帧以及由此奇数帧预测出的偶数帧其中为第k帧的重建帧。由此可计算出此完本文档来自技高网...

【技术保护点】
一种多描述屏幕内容视频编码方法，其特征在于，包括如下步骤：步骤一，将屏幕内容视频分为奇数帧和偶数帧的两个子序列；步骤二，对两个子序列分别进行编码，生成相应的两个描述，两个描述各自独立地在网络中传输；对单个子序列进行编码的具体过程为：1）首先对单个子序列依次进行调色板编码和算术编码生成相应的描述；2）边路解码过程：采集经过调色板编码的子序列，对其进行调色板解码恢复出此子序列，根据恢复出的子序列预测另一个子序列，重建出屏幕内容视频；3）失真衡量过程：计算重建视频的失真，与失真阈值进行比较，若失真大于失真阈值，则进行下一步冗余调节过程；4）冗余调节过程：将预测的另一个子序列与其原始的子序列基于图像块进行一一对应比较，按照失真从大到小的顺序对各图像块进行排列，优先选择部分失真大的图像块添加到单个子序列中形成新的子序列；5）对此新的子序列重复进行1）~4）的反馈过程直至重建视频失真小于等于失真阈值；步骤三，在接收端，根据接收到单个描述或同时接收到两个描述的不同情况分别进行解码：若只接收到单个描述，则依次进行算术解码、调色板解码恢复出单个子序列和另一个子序列的部分图像块，预测出另一个子序列剩余图像块，重建出屏幕内容视频；若同时接收到两个描述，则对两个描述分别依次进行算术解码、调色板模式解码，恢复出两个子序列和其部分图像块，将两个子序列的部分图像块丢弃，将两个子序列重建出完整的屏幕内容视频。...

【技术特征摘要】
1.一种多描述屏幕内容视频编码方法，其特征在于，包括如下步骤：步骤一，将屏幕内容视频分为奇数帧和偶数帧的两个子序列；步骤二，对两个子序列分别进行编码，生成相应的两个描述，两个描述各自独立地在网络中传输；对单个子序列进行编码的具体过程为：1）首先对单个子序列依次进行调色板编码和算术编码生成相应的描述；2）边路解码过程：采集经过调色板编码的子序列，对其进行调色板解码恢复出此子序列，根据恢复出的子序列预测另一个子序列，重建出屏幕内容视频；3）失真衡量过程：计算重建视频的失真，与失真阈值进行比较，若失真大于失真阈值，则进行下一步冗余调节过程；4）冗余调节过程：将预测的另一个子序列与其原始的子序列基于图像块进行一一对应比较，按照失真从大到小的顺序对各...

【专利技术属性】
技术研发人员：徐媛媛，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32