编码方法、编码器、屏幕共享设备及系统技术方案

本发明专利技术实施例提供了一种编码方法、编码器、屏幕共享设备及系统，该方法包括：根据帧缓冲区中显示数据的图层属性确定第一类图层和第二类图层；分别获取第一类图层和第二类图层在目标显示界面的显示区域的坐标参数；根据坐标参数将该最终显示区域分成至少一个第一类图层显示区域和至少一个第二类图层显示区域，并分别进行空白区域透明数据填充并采用对应的编码压缩方式进行编码压缩以形成至少一个第一类图层编码数据和至少一个第二类图层编码数据；将该至少一个第一类图层编码数据和该至少一个第二类图层编码数据作为输出码流输出。本发明专利技术实施例中，通过将显示数据按图层属性分类进行编码传输，能够一定程度上解决图文视频混合的共享屏幕显示问题。

【技术实现步骤摘要】
编码方法、编码器、屏幕共享设备及系统
本专利技术实施例涉及图像处理领域，并且更具体地，涉及编码方法、编码器、屏幕共享设备及系统。
技术介绍
屏幕共享出现在图形化的用户界面(GUI)之后，屏幕共享的目的是在远端客户机上重现主机屏幕的界面显示内容，或者以一种虚拟的概念出现，使得远端用户感觉像坐在主机旁边一样。屏幕拷贝共享的方式主要是通过无失真或者特殊有失真的压缩算法处理过后的数据流传输到客户端，客户端接收到数据流进行解码显示。但是，现有技术中，对于同时存在图片和视频的共享屏幕，要么存在帧率低，显示不流畅的问题，要么存在细节显示不清楚的问题，显示效果较差。因此，需要一种合适的方案，能够解决图文视频混合的共享屏幕的显示问题。
技术实现思路
本专利技术实施例提供一种编码方法、编码器、屏幕共享设备及系统，能够一定程度上解决图文视频混合的共享屏幕的显示问题。第一方面，提供了一种编码方法，该方法包括:根据帧缓冲区中显示数据的图层属性分别获取第一类图层在目标显示界面的显示区域的坐标参数和第二类图层在该目标显示界面的显示区域的坐标参数，其中该第一类图层和该第二类图层根据各自的图层属性采用不同的编码压缩方式，该目标显示界面为该帧缓冲区中的显示数据最终呈现的界面；根据该第一类图层在该目标显示界面的显示区域的坐标参数和该第二类图层在该目标显示界面的显示区域的坐标参数将该目标显示界面的显示区域分成至少一个第一类图层显示区域和至少一个第二类图层显示区域，并分别对该至少一个第一类图层显示区域的显示数据和该至少一个第二类图层显示区域的显示数据进行空白区域透明数据填充，并采用对应的编码压缩方式分别对该至少一个第一类图层显示区域的显示数据和该至少一个第二类图层显示区域的显示数据进行编码压缩以形成至少一个第一类图层编码数据和至少一个第二类图层编码数据；将该至少一个第一类图层编码数据和该至少一个第二类图层编码数据作为输出码流输出。结合第一方面，在第一种可能的实现方式中，根据帧缓冲区中显示数据的图层属性分别获取第一类图层在目标显示界面的显示区域的坐标参数和第二类图层在该目标显示界面的显示区域的坐标参数具体实现为:根据该帧缓冲区中的显示数据的图层属性，以及该帧缓冲区中显示数据在该帧缓冲区对应的图层渲染管理器的图层显示顺序Z-order，分别从该帧缓冲区对应的图层渲染管理器中获取该第一类图层在该目标显示界面的显示区域的坐标参数和该第二类图层在该目标显示界面的显示区域的坐标参数。结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，该坐标参数包括横纵坐标参数和a平面二值表，根据帧缓冲区中显示数据的图层属性分别获取第一类图层在目标显示界面的显示区域的坐标参数和第二类图层在该目标显示界面的显示区域的坐标参数具体实现为:根据该帧缓冲区中显示数据的图层属性从该帧缓冲区对应的图层渲染管理器中分别获取第一类图层在目标显示界面的显示区域的横纵坐标参数和第二类图层在该目标显示界面的显示区域的横纵坐标参数；根据该第一类图层在目标显示界面的显示区域的横纵坐标参数确定该第一类图层在目标显示界面的显示区域的a平面二值表，并根据该第二类图层在目标显示界面的显示区域的横纵坐标参数确定该第二类图层在目标显示界面的显示区域的a平面二值表，其中该第一类图层在目标显示界面的显示区域的a平面二值表用于表示该第一类图层在目标显示界面的显示区域的显示有效性，该第二类图层在目标显示界面的显示区域的a平面二值表用于表示该第二类图层在目标显示界面的显示区域的显示有效性。结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，根据该第一类图层在该目标显示界面的显示区域的坐标参数和该第二类图层在该目标显示界面的显示区域的坐标参数将该目标显示界面的显示区域分成至少一个第一类图层显示区域和至少一个第二类图层显示区域具体实现为:当该帧缓冲区中存在多个该第一类图层时，根据该第一类图层在该目标显示界面的显示区域的坐标参数将M个该第一类图层在该目标显示界面的显示区域相叠加形成一个第一类图层显示区域，其中，M为大于I的整数；或者，当该帧缓冲区中只有一个该第一类图层时，根据该第一类图层在该目标显示界面的显示区域的坐标参数确定该第一类图层显示区域；或者，当该帧缓冲区中存在多个该第二类图层时，根据该第二类图层在该目标显示界面的显示区域的坐标参数将N个该第二类图层在该目标显示界面的显示区域相叠加形成一个第二类图层显示区域，其中，N为大于I的整数；或者，当该帧缓冲区中只有一个该第二类图层时，根据该第二类图层在该目标显示界面的显示区域的坐标参数确定该第二类图层显示区域。结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，根据该第一类图层在该目标显示界面的显示区域的坐标参数和该第二类图层在该目标显示界面的显示区域的坐标参数将该目标显示界面的显示区域分成至少一个第一类图层显示区域和至少一个第二类图层显示区域具体还包括:将一个该第一类图层显示区域按照像素特征分成P个新的第一类图层显示区域，其中，P为大于I的整数；或者，将一个该第一类图层显示区域按照像素特征分成Q个新的第一类图层显示区域，其中，Q为大于I的整数。结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，当该第一类图层为视频类图层时，将一个该第一类图层显示区域按照像素特征分成P个新的第一类图层显示区域具体实现为:将一个该第一类图层显示区域按照图像灰度特征或图像纹理特征分成P个视频对象平面，并以视频对象平面所在区域为显示区域形成新的第一类图层显示区域；或者，当该第二类图层为图形类图层时，该将一个该第二类图层显示区域按照像素特征分成Q个新的第二类图层显示区域具体实现为:将一个该第二类图层显示区域按照图像形状特征分成Q个图像对象平面，并以图像对象平面所在区域为显示区域形成新的第二类图层显示区域。结合第一方面的第一种可能的实现方式至第一方面的第五种可能的实现方式中任一种可能的实现方式，在第六种可能的实现方式中，分别对该至少一个第一类图层显示区域的显示数据和该至少一个第二类图层显示区域的显示数据进行空白区域透明数据填充具体实现为:在该至少一个第一类图层显示区域的显示数据中分别对每一个该第一类图层显示区域以外的区域进行透明数据处理，在该至少一个第二类图层显示区域的显示数据中分别对每一个该第二类图层显示区域以外的区域进行透明数据处理。结合第一方面或第一方面的第一种可能的实现方式至第一方面的第六种可能的实现方式中任一种可能的实现方式，在第七种可能的实现方式中，具体实现为:该第一类图层为视频类图层，该第二类图层为图形类图层。第二方面，提供了一种编码器，该编码器包括:坐标参数提取单元，用于根据该编码器所在的终端设备的帧缓冲区中显示数据的图层属性分别获取第一类图层在目标显示界面的显示区域的坐标参数和第二类图层在该目标显示界面的显示区域的坐标参数，其中该第一类图层和该第二类图层根据各自的图层属性采用不同的编码压缩方式，该目标显示界面为该帧缓冲区中的显示数据在该终端设备的显示装置中最终呈现的界面；编码处理单元，用于根据该第一类图层在该目标显示界面的显示区域的坐标参数和该第二类图层在该目标显示界面的显示区域的坐标参本文档来自技高网...

【技术保护点】
一种编码方法，其特征在于，包括：根据帧缓冲区中显示数据的图层属性分别获取第一类图层在目标显示界面的显示区域的坐标参数和第二类图层在所述目标显示界面的显示区域的坐标参数，其中所述第一类图层和所述第二类图层根据各自的图层属性采用不同的编码压缩方式，所述目标显示界面为所述帧缓冲区中的显示数据最终呈现的界面；根据所述第一类图层在所述目标显示界面的显示区域的坐标参数和所述第二类图层在所述目标显示界面的显示区域的坐标参数将所述目标显示界面的显示区域分成至少一个第一类图层显示区域和至少一个第二类图层显示区域，并分别对所述至少一个第一类图层显示区域的显示数据和所述至少一个第二类图层显示区域的显示数据进行空白区域透明数据填充，并采用对应的编码压缩方式分别对所述至少一个第一类图层显示区域的显示数据和所述至少一个第二类图层显示区域的显示数据进行编码压缩以形成至少一个第一类图层编码数据和至少一个第二类图层编码数据；将所述至少一个第一类图层编码数据和所述至少一个第二类图层编码数据作为输出码流输出。

【技术特征摘要】
1.一种编码方法，其特征在于，包括: 根据帧缓冲区中显示数据的图层属性分别获取第一类图层在目标显示界面的显示区域的坐标参数和第二类图层在所述目标显示界面的显示区域的坐标参数，其中所述第一类图层和所述第二类图层根据各自的图层属性采用不同的编码压缩方式，所述目标显示界面为所述帧缓冲区中的显示数据最终呈现的界面； 根据所述第一类图层在所述目标显示界面的显示区域的坐标参数和所述第二类图层在所述目标显示界面的显示区域的坐标参数将所述目标显示界面的显示区域分成至少一个第一类图层显示区域和至少一个第二类图层显示区域，并分别对所述至少一个第一类图层显示区域的显示数据和所述至少一个第二类图层显示区域的显示数据进行空白区域透明数据填充，并采用对应的编码压缩方式分别对所述至少一个第一类图层显示区域的显示数据和所述至少一个第二类图层显示区域的显示数据进行编码压缩以形成至少一个第一类图层编码数据和至少一个第二类图层编码数据； 将所述至少一个第一类图层编码数据和所述至少一个第二类图层编码数据作为输出码流输出。2.如权利 要求1所述的方法，其特征在于，所述根据帧缓冲区中显示数据的图层属性分别获取第一类图层在目标显示界面的显示区域的坐标参数和第二类图层在所述目标显示界面的显示区域的坐标参数包括: 根据所述帧缓冲区中的显示数据的图层属性，以及所述帧缓冲区中显示数据在所述帧缓冲区对应的图层渲染管理器的图层显示顺序Z-order，分别从所述帧缓冲区对应的图层渲染管理器中获取所述第一类图层在所述目标显示界面的显示区域的坐标参数和所述第二类图层在所述目标显示界面的显示区域的坐标参数。3.如权利要求2所述的方法，其特征在于，所述坐标参数包括横纵坐标参数和a平面二值表，所述根据帧缓冲区中显示数据的图层属性分别获取第一类图层在目标显示界面的显示区域的坐标参数和第二类图层在所述目标显示界面的显示区域的坐标参数包括: 根据所述帧缓冲区中显示数据的图层属性从所述帧缓冲区对应的图层渲染管理器中分别获取第一类图层在目标显示界面的显示区域的横纵坐标参数和第二类图层在所述目标显示界面的显示区域的横纵坐标参数； 根据所述第一类图层在目标显示界面的显示区域的横纵坐标参数确定所述第一类图层在目标显示界面的显示区域的a平面二值表，并根据所述第二类图层在目标显示界面的显示区域的横纵坐标参数确定所述第二类图层在目标显示界面的显示区域的a平面二值表，其中所述第一类图层在目标显示界面的显示区域的a平面二值表用于表示所述第一类图层在目标显示界面的显示区域的显示有效性，所述第二类图层在目标显示界面的显示区域的a平面二值表用于表示所述第二类图层在目标显示界面的显示区域的显示有效性。4.如权利要求1至3任一项所述的方法，其特征在于，所述根据所述第一类图层在所述目标显示界面的显示区域的坐标参数和所述第二类图层在所述目标显示界面的显示区域的坐标参数将所述目标显示界面的显示区域分成至少一个第一类图层显示区域和至少一个第二类图层显示区域包括: 当所述帧缓冲区中存在多个所述第一类图层时，根据所述第一类图层在所述目标显示界面的显示区域的坐标参数将M个所述第一类图层在所述目标显示界面的显示区域相叠加形成一个第一类图层显示区域，其中，M为大于I的整数；或者 当所述帧缓冲区中只有一个所述第一类图层时，根据所述第一类图层在所述目标显示界面的显示区域的坐标参数确定所述第一类图层显示区域；或者 当所述帧缓冲区中存在多个所述第二类图层时，根据所述第二类图层在所述目标显示界面的显示区域的坐标参数将N个所述第二类图层在所述目标显示界面的显示区域相叠加形成一个第二类图层显示区域，其中，N为大于I的整数；或者 当所述帧缓冲区中只有一个所述第二类图层时，根据所述第二类图层在所述目标显示界面的显示区域的坐标参数确定所述第二类图层显示区域。5.如权利要求4所述的方法，其特征在于，所述根据所述第一类图层在所述目标显示界面的显示区域的坐标参数和所述第二类图层在所述目标显示界面的显示区域的坐标参数将所述目标显示界面的显示区域分成至少一个第一类图层显示区域和至少一个第二类图层显示区域还包括: 将一个所述第一类图层显示区域按照像素特征分成P个新的第一类图层显示区域，其中，P为大于I的整数；或者 将一个所述第一类图层显示区域按照像素特征分成Q个新的第一类图层显示区域，其中，Q为大于I的整数。6.如权利要求5所述的方法，其特征在于， 当所述第一类图层为视频类图层时，所述将一个所述第一类图层显示区域按照像素特征分成P个新的第一类图层显示区域包括:将一个所述第一类图层显示区域按照图像灰度特征或图像纹理特征分成P个视频对象平面，并以视频对象平面所在区域为显示区域形成新的第一类图层显示区域；或者 当所述第二类图层为图形类图层时，所述将一个所述第二类图层显示区域按照像素特征分成Q个新的第二类图层显示区域包括: 将一个所述第二类图层显示区域按照图像形状特征分成Q个图像对象平面，并以图像对象平面所在区域为显示区域形成新的第二类图层显示区域。7.如权利要求1至6任一项所述的方法，其特征在于，所述分别对所述至少一个第一类图层显示区域的显示数据和所述至少一个第二类图层显示区域的显示数据进行空白区域透明数据填充包括: 在所述至少一个第一类图层显示区域的显示数据中分别对每一个所述第一类图层显示区域以外的区域进行透明数据处理，在所述至少一个第二类图层显示区域的显示数据中分别对每一个所述第二类图层显示区域以外的区域进行透明数据处理。8.如权利要求1至7任一项所述的方法，其特征在于，所述第一类图层为视频类图层，所述第二类图层为图形类图层。9.一种编码器，其特征在于，包括: 坐标参数提取单元，用于根据所述编码器所在的终端设备的帧缓冲区中显示数据的图层属性分别获取第一类图层在目标显示界面的显示区域的坐标参数和第二类图层在所述目标显示界面的显示区域的坐标参数，其中所述第一类图层和所述第二类图层根据各自的图层属性采用不同的编码压缩方式，所述目标显示界面为所述帧缓冲区中的显示数据在所述终端设备的显示装置中最终呈现的界面；编码处理单元，用于根据所述第一类图层在所述目标显示界面的显示区域的坐标参数和所述第二类图层在所述目标显示界面的显示区域的坐标参数将所述目标显示界面的显示区域分成至少一个第一类图层显示区域和至少一个第二类图层显示区域，并分别对所述至少一个第一类图层显示区域的显示数据和所述至少一个第二类图层显示区域的显示数据进行空白区域透明数据填充并采用对应的编码压缩方式分别对所述至少一个第一类图层显示区域的显示数据和所述至少一个第二类图层显示区域的显示数据进行编码压缩以形成至少一个第一类图层编码数据和至少一个第二类图层编码数据； 输出单元，用于将所述至少一个第一类图层编码数据和所述至少一个第二类图层编码数据作为输出码流输出。10.如权利要求9所述的编码器，其特征在于，所述坐标参数提取单元具体用于根据所述帧缓冲区中的显示数据的图层属性，以及所述帧缓冲区中显示数据在所述终端设备中所述帧缓冲区对应的图层渲染管理器的图层显示顺序Z-order，分别从所述终端设备中所述帧缓冲区对应的图层渲染管理器中获取所述第一类图层在目标显示界面的显示区域的坐标参数和所述第二类图层在所述目标显示界面的显示区域的坐标参数。11.如权利要求10所述的编码器，其特征在于，所述坐标参数包括横纵坐标参数和a平面二值表，所述坐标参数提取单元具体用于: 根据所述帧缓冲区中显示数据的图层属性从所述终端设备中所述帧缓冲区对应的图层渲染管理器中分别获取第一类图层在目标显示界面的显示区域的横纵坐标参数和第二类图层在所述目标显示界面的显示区域的横纵坐标参数； 根据所述第一类 图层在目标显示界面的显示区域的横纵坐标参数确定所述第一类图层在目标显示界面的显示区域的a平面二值表，并根据所述第二类图层在目标显示界面的显示区域的横纵坐标参数确定所述第二类图层在目标显示界面的显示区域的a平面二值表，其中所述第一类图层在目标显示界面的显示区域的a平面二值表用于表示所述第一类图层在目标显示界面的显示区域的显示有效性，所述第二类图层在目标显示界面的显示区域的a平面二值表用于表示所述第二类图层在目标显示界面的显示区域的显示有效性。12.如权利要求9至11任一项所述的编码器，其特征在于，在用于根据所述第一类图层在所述目标显示界面的显示区域的坐标参数和所述第二类图层在所述目标显示界面的显示区域的坐标参数将所述最终显示区域分成至少一个第一类图层显示区域和至少一个第二类图层显示区域的过程中，所述编码处理单元具体用于: 当所述帧缓冲区中存在多个所述第一类图层时，根据所述第一类图层在所述目标显示界面的显示区域的坐标参数将M个所述第一类图层在所述目标显示界面的显示区域相叠加形成一个第一类图层显示区域，其中，M为大于I的整数；或者 当所述帧缓冲区中只有一个所述第一类图层时，根据所述第一类图层在所述目标显示界面的显示区域的坐标参数确定所述第一类图层显示区域；或者 当所述帧缓冲区中存在多个所述第二类图层时，根据所述第二类图层在所述目标显示界面的显示区域的坐标参数将N个所述第二类图层在所述目标显示界面的显示区域相叠加形成一个第二类图层显示区域，其中，N为大于I的整数；或者 当所述帧缓冲区中只有一个所述第二类图层时，根据所述第二类图层在所述目标显示界面的显示区域的坐标参数确定所述第二类图层显示区域。13.如权利要求12所述的编码器，其特征在于，在用于根据所述第一类图层在所述目标显示界面的显示区域的坐标参数和所述第二类图层在所述目标显示界面的显示区域的坐标参数将所述目标显示界面的显示区域分成至少一个第一类图层显示区域和至少一个第二类图层显示区域的...

【专利技术属性】
技术研发人员：黄波，李锋，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44