图像处理方法及装置制造方法及图纸

本公开提供一种图像处理方法及装置，涉及图像处理领域，能够解决现有技术需要很高的算力且占用很大的网络带宽的问题。具体技术方案为：图像接收端获取注视点；根据注视点确定第一关注区域；将第一关注区域发送至图像发送端；图像发送端接收第一关注区域；根据第一关注区域确定无损采集区域以及下采样区域；对无损采集区域内的下一帧图像进行无损采集，生成无损图像；对下采样区域内的下一帧图像进行下采样，生成下采样图像；对无损图像和下采样图像进行编码，生成下一帧图像的码流；将下一帧图像的码流发送至图像接收端；图像接收端接收下一帧图像的码流并对下一帧图像的码流进行解码，生成下一帧图像。本发明专利技术用于减少算力以及占用带宽。及占用带宽。及占用带宽。

【技术实现步骤摘要】
图像处理方法及装置


[0001]本公开涉及图像处理领域，尤其涉及图像处理方法及装置。

技术介绍

[0002]随着云技术的发展，用户可以使用算力较低的终端设备，例如虚拟现实(Virtual Realty，VR)眼镜或者计算机来运行高算力的云游戏。在云端将云游戏的视频图像进行编码，以压缩码流。在终端设备上，对云游戏的视频图像进行解码和显示。但是，由于云游戏的视频图像一般具有很高的分辨率，例如8K(7680X4096)，编码和传输如此巨大的视频图像需要很高的算力，同时，为了使得用户在体验云游戏时，不产生眩晕感，需要很高的刷新频率，至少要达到144hz以上，如此一来，单位时间内传输的码流将会非常大，需要占用很大的网络带宽以传输码流，在网络质量较差，网络带宽不够时,会降低云游戏视频图像的刷新频率，使得用户在观看云游戏时，会产生眩晕感，用户体验较差。

技术实现思路

[0003]本公开实施例提供一种图像处理方法及装置，能够解决现有技术需要很高的算力且需要占用很大的网络带宽的问题。所述技术方案如下：
[0004]根据本公开实施例的第一方面，提供一种图像处理方法，应用于图像接收端，包括：
[0005]获取用户观看屏幕上显示的前帧图像的注视点；
[0006]根据所述注视点确定用户在屏幕上的第一关注区域；
[0007]将所述第一关注区域发送至图像发送端，以便所述图像发送端根据所述第一关注区域对下一帧图像进行采集并编码；
[0008]接收所述图像发送端发送的下一帧图像的码流并对所述下一帧图像的码流进行解码，生成所述下一帧图像。
[0009]本公开实施例提供的图像处理方法，图像接收端能够将第一关注区域发送至图像发送端，使得图像发送端能够对第一关注区域对应的无损采集区域内的下一帧图像无损采集后编码传输，提高清晰度，满足用户的观看需要，并对根据第一关注区域确定的下采样区域的下一帧图像下采样后编码传输，减少数据的处理量以及数据的传输量，在不影响用户观看体验的前提下降低算力并且降低占用带宽，避免了网络带宽不够时，会降低云游戏视频图像的刷新频率，使得用户在观看云游戏时，会产生眩晕感，用户体验较差的问题。
[0010]在一个实施例中，所述根据所述注视点确定用户在屏幕的第一关注区域后，所述方法还包括：
[0011]根据所述第一关注区域确定用户屏幕上的第二关注区域；
[0012]所述将所述第一关注区域发送至图像发送端包括：
[0013]将所述第一关注区域以及所述第二关注区域发送至图像发送端。
[0014]在一个实施例中，所述根据所述第一关注区域确定用户屏幕上的第二关注区域包
括：
[0015]根据所述第一关注区域确定用户屏幕上的第三关注区域，所述第一关注区域位于所述第三关注区域的中心，所述第三关注区域面积是的所述第一关注区域面积的预设倍数；
[0016]将所述第三关注区域中除所述第一关注区域外的区域作为所述第二关注区域。
[0017]根据本公开实施例的第二方面，提供一种图像处理方法，应用于图像发送端，所述方法包括：
[0018]接收图像接收端发送的第一关注区域；
[0019]根据所述第一关注区域确定下一帧图像的无损采集区域以及下采样区域，所述下采样区域为所述下一帧图像中除所述无损采集区域外的区域；
[0020]对所述无损采集区域内的下一帧图像进行无损采集，生成无损图像；
[0021]对所述下采样区域内的下一帧图像进行下采样，生成下采样图像；
[0022]对所述无损图像和所述下采样图像进行编码，生成所述下一帧图像的码流；
[0023]将所述下一帧图像的码流发送至所述图像接收端。
[0024]本公开实施例提供的图像处理方法，能够对第一关注区域对应的无损采集区域内的下一帧图像无损采集后编码传输，提高清晰度，满足用户的观看需要，对下采样区域的下一帧图像下采样后编码传输，减少数据的处理量以及数据的传输量，在不影响用户观看体验的前提下降低算力并且降低占用带宽，避免了网络带宽不够时，会降低云游戏视频图像的刷新频率，使得用户在观看云游戏时，会产生眩晕感，用户体验较差的问题。
[0025]在一个实施例中，所述接收图像接收端发送的第一关注区域包括：
[0026]接收所述接收图像接收端发送的第一关注区域和第二关注区域；
[0027]所述根据所述第一关注区域确定下一帧图像的无损采集区域后，所述方法还包括：
[0028]根据所述第二关注区域在所述下采样区域中确定第一下采样区域和第二下采样区域，所述第二下采样区域为所述下采样区域中除所述第一下采样区域外的区域。
[0029]在一个实施例中，所述对所述下采样区域内的下一帧图像进行下采样，生成下采样图像包括：
[0030]对所述第一下采样区域内的下一帧图像进行第一下采样，生成第一下采样图像，所述第一下采样的比例为第一比例；
[0031]对所述第二下采样区域内的下一帧图像进行第二下采样，生成第二下采样图像，所述第二下采样的比例为第二比例且所述第二比例小于所述第一比例；
[0032]所述对所述无损图像和所述下采样图像进行编码包括：
[0033]对所述无损图像、所述第一下采样图像和所述第二下采样图像进行编码。
[0034]通过对所述第一下采样区域内的下一帧图像进行第一下采样，能够减少第一下采样区域的下一帧图像的数据处理量以及数据传输量。通过对所述第二下采样区域内的下一帧图像进行第二下采样，能够进一步减少第二下采样区域的下一帧图像的数据处理量以及数据传输量，进而减少算力以及占用带宽。
[0035]在一个实施例中，所述对所述无损采集区域内的下一帧图像进行无损采集后，所述方法还包括：
[0036]采用第一高斯模糊函数对所述第一下采样区域内的下一帧图像进行模糊处理，所述第一高斯模糊函数的σ值为第一预设阈值。
[0037]在一个实施例中，所述方法还包括：
[0038]采用第二高斯模糊函数对所述第一下采样区域内的下一帧图像进行模糊处理，所述第二高斯模糊函数的σ值为第二预设阈值，所述第二预设阈值小于所述第一预设阈值。
[0039]通过采用对高斯模糊函数下采样区域内的下一帧图像进行模糊处理，减少下采样区域的下一帧图像的数据处理量以及数据传输量，进而减少算力以及占用带宽。
[0040]根据本公开实施例的第三方面，提供一种图像处理装置，应用于图像接收端，包括：
[0041]注视点获取模块，用于获取用户观看屏幕上显示的前帧图像的注视点；
[0042]第一关注区域确定模块，用于根据所述注视点确定用户在屏幕上的第一关注区域；
[0043]第一关注区域发送模块，用于将所述第一关注区域发送至图像发送端，以便所述图像发送端根据所述第一关注区域对下一帧图像进行采集并编码；
[0044]下一帧图像生成模块，用于接收所述图像发送端发送的下一帧图像的码流并对所述下一帧图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于图像接收端，包括：获取用户观看屏幕上显示的前帧图像的注视点；根据所述注视点确定用户在屏幕上的第一关注区域；将所述第一关注区域发送至图像发送端，以便所述图像发送端根据所述第一关注区域对下一帧图像进行采集并编码；接收所述图像发送端发送的下一帧图像的码流并对所述下一帧图像的码流进行解码，生成所述下一帧图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述注视点确定用户在屏幕的第一关注区域后，所述方法还包括：根据所述第一关注区域确定用户屏幕上的第二关注区域；所述将所述第一关注区域发送至图像发送端包括：将所述第一关注区域以及所述第二关注区域发送至图像发送端。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一关注区域确定用户屏幕上的第二关注区域包括：根据所述第一关注区域确定用户屏幕上的第三关注区域，所述第一关注区域位于所述第三关注区域的中心，所述第三关注区域面积是的所述第一关注区域面积的预设倍数；将所述第三关注区域中除所述第一关注区域外的区域作为所述第二关注区域。4.一种图像处理方法，其特征在于，应用于图像发送端，所述方法包括：接收图像接收端发送的第一关注区域；根据所述第一关注区域确定下一帧图像的无损采集区域以及下采样区域，所述下采样区域为所述下一帧图像中除所述无损采集区域外的区域；对所述无损采集区域内的下一帧图像进行无损采集，生成无损图像；对所述下采样区域内的下一帧图像进行下采样，生成下采样图像；对所述无损图像和所述下采样图像进行编码，生成所述下一帧图像的码流；将所述下一帧图像的码流发送至所述图像接收端。5.根据权利要求4所述的方法，其特征在于，所述接收图像接收端发送的第一关注区域包括：接收所述接收图像接收端发送的第一关注区域和第二关注区域；所述根据所述第一关注区域确定下一帧图像的无损采集区域后，所述方法还包括：根据所述第二关注区域在所述下采样区域中确定第一下采样区域和第二下采样区域，所述第二下采样区域为所述下采样区域中除所述第一下采样区域外的区域。6.根据权利要求5所述的方法，其特征在于，所述对所述下采样区域内的下一帧图像进行下采样，生成下采...

【专利技术属性】
技术研发人员：马权，
申请(专利权)人：西安万像电子科技有限公司，
类型：发明
国别省市：