一种图像处理的方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例涉及计算机图像学技术领域，公开了一种图像处理的方法、装置、电子设备及存储介质。本发明专利技术中图像处理的方法，包括：将终端在初始时刻的初始位姿数据发送至服务端，所述初始时刻为当前时刻之前的时刻；接收所述服务端根据所述初始位姿数据返回的初始图像数据，所述初始图像数据包括与所述初始位姿数据对应的二维图像数据；获取所述终端在当前时刻的目标位姿数据；根据所述初始位姿数据以及所述目标位姿数据，对所述二维图像数据进行调整，获得与当前时刻对应的目标图像数据。采用本申请实施例，能够避免虚拟现实终端出现因网络延时导致不能在刷新周期内显示与终端位姿对应的图像的问题，同时降低虚拟设备的硬件要求。求。求。

【技术实现步骤摘要】
一种图像处理的方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机图像学
，特别涉及一种图像处理的方法、装置、电子设备及存储介质。

技术介绍

[0002]目前在使用虚拟现实(Virtual Reality，“VR”)终端时，常常会出现终端无法同步渲染出与终端动作相对应的画面，即虚拟现实终端显示的画面中一部分为上一次显示的图像，一部分为新渲染的图像，导致使虚拟现实终端使用者看到的连续显示的画面出现迟滞、卡顿的问题，甚至使用者会出现头晕的问题。目前采用对画面旋转、位移等异步扭曲技术解决本地VR渲染不及时导致的画面刷新显示问题，例如，异步时间扭曲(Asynchronous Time warp，“ATW”)、异步空间扭曲(Asynchronous Space warp，“ASW”)等。
[0003]异步扭曲技术在实施过程中，GPU中渲染线程和ATW线程异步运行，渲染线程和ATW线程在每次同步之前，ATW线程根据渲染线程的最后一帧图像生成新的待显示图像。然而，当检测到渲染线程无法在刷新周期内渲染出新的待显示图像时，ATW线程需要抢占渲染线程；因此需要GPU硬件支持合理的抢占粒度，例如，在90赫兹，帧之间的间隔大约是11ms(1/90Hz)，为了保证ATW线程可以生成一帧新的图像，需要ATW线程能够抢占渲染线程并且运行时间少于11ms；同时还要求操作系统和驱动程序支持使GPU抢占。可见，异步扭曲技术对虚拟现实终端的硬件需要较高；若由服务端对进行图像渲染，由于存在网络延时，也会导致的终端无法同步渲染出与终端动作相对应的画面。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种图像处理的方法，能够避免虚拟现实终端出现因网络延时导致不能在刷新周期内显示与终端位姿对应的图像的问题，同时降低虚拟设备的硬件要求。
[0005]为实现上述目的，本申请实施例提供了一种图像处理的方法，包括：将终端在初始时刻的初始位姿数据发送至服务端，初始时刻为当前时刻之前的时刻；接收服务端根据初始位姿数据返回的初始图像数据，初始图像数据包括与初始位姿数据对应的二维图像数据；获取终端在当前时刻的目标位姿数据；根据初始位姿数据以及目标位姿数据，对二维图像数据进行调整，获得与目标位姿数据对应的目标图像数据。
[0006]为实现上述目的，本申请实施例还提供了一种图像处理的装置，包括：发送模块、接收模块、获取模块和调整模块；发送模块用于将终端在初始时刻的初始位姿数据发送至服务端，初始时刻为当前时刻之前的时刻；接收模块用于接收服务端根据初始位姿数据返回的初始图像数据，初始图像数据包括与初始位姿数据对应的二维图像数据；获取模块用于获取终端在当前时刻的目标位姿数据；调整模块用于根据初始位姿数据以及目标位姿数据，对二维图像数据进行调整，获得与目标位姿数据对应的目标图像数据。
[0007]为实现上述目的，本申请实施例还提供了一种电子设备，包括：至少一个处理器；
以及，
[0008]与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的图像处理的方法。
[0009]为实现上述目的，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的图像处理的方法。
[0010]本申请提出的图像处理的方法，由服务端根据终端的初始位姿数据返回初始图像数据，该初始图像数据中包括与初始位姿数据对应的二维图像数据，终端根据当前时刻的目标位姿数据和初始位姿数据对二维图像数据进行调整，生成与目标位姿数据对应的目标图像数据；确保了终端显示的二维图像数据始终与该终端当前的位姿对应，由于二维图像数据的维度低，对二维图像数据调整的速度快，使得即使出现了网络延迟，也可以确保调整后的二维图像数据在刷新周内及时刷新，从而避免出现因网路延迟导致图像在刷新周期内刷新不及时的问题，提高了终端显示图像的效果；另外，服务端将该初始图像数据发送至终端，使得终端无需进行复杂的渲染操作，提高了图像显示的速度，降低了终端设备的硬件要求；且终端生成目标图像的过程中无需终端的GPU硬件支持合理的抢占粒度，也无需终端的操作系统和驱动程序支持使GPU抢占，进一步降低了终端的硬件需求，更利于虚拟现实终端的推广。
附图说明
[0011]图1是根据本专利技术第一实施例中图像处理的方法的流程图；
[0012]图2是根据本专利技术第二实施例中图像处理的方法的流程图；
[0013]图3是根据本专利技术第三实施例中图像处理的方法的流程图；
[0014]图4是根据本专利技术第四实施例中图像处理的装置的结构框图；
[0015]图5是根据本专利技术第五实施例中电子设备的结构框图。
具体实施方式
[0016]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
[0017]云化虚拟现实技术是通过服务端对虚拟现实终端待显示的图像进行渲染，可以大大减少本地虚拟现实终端的渲染引起的设备功耗，降低虚拟现实终端的硬件要求；且随着5G技术的不断发展，提高了网络传输的速度，进一步提高了云化虚拟现实技术的应用。但是，网络传输通常存在网络延迟，VR终端无法在刷新周期内同步渲染出与终端动作相对应的画面，导致用户看到的连续图像出现卡顿、抖动等问题，严重影响用户的使用。
[0018]本专利技术的第一实施方式涉及一种图像处理的方法，该图像处理的方法应用于虚拟现实终端，该VR终端可以时头戴式VR眼镜、头盔等。其流程如图1所示：
[0019]步骤101：将终端在初始时刻的初始位姿数据发送至服务端，初始时刻为当前时刻之前的时刻。
[0020]步骤102：接收服务端根据初始位姿数据返回的初始图像数据，初始图像数据包括与初始位姿数据对应的二维图像数据。
[0021]步骤103：获取终端在当前时刻的目标位姿数据。
[0022]步骤104：根据初始位姿数据以及目标位姿数据，对二维图像数据进行调整，获得与目标位姿数据对应的目标图像数据。
[0023]本申请提出的图像处理的方法，由服务端根据终端的初始位姿数据返回初始图像数据，该初始图像数据中包括与初始位姿数据对应的二维图像数据，终端根据当前时刻的目标位姿数据和初始位姿数据对二维图像数据进行调整，生成与目标位姿数据对应的目标图像数据；确保了终端显示的二维图像数据始终与该终端当前的位姿对应，由于二维图像数据的维度低，对二维图像数据调整的速度快，使得即使出现了网络延迟，也可以确保调整后的二维图像数据在刷新周内及时刷新，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理的方法，其特征在于，包括：将终端在初始时刻的初始位姿数据发送至服务端，所述初始时刻为当前时刻之前的时刻；接收所述服务端根据所述初始位姿数据返回的初始图像数据，所述初始图像数据包括与所述初始位姿数据对应的二维图像数据；获取所述终端在当前时刻的目标位姿数据；根据所述初始位姿数据以及所述目标位姿数据，对所述二维图像数据进行调整，获得与所述目标位姿数据对应的目标图像数据。2.根据权利要求1所述的图像处理的方法，其特征在于，所述初始图像数据还包括：所述二维图像数据中每个像素点对应的深度数据；所述根据所述初始位姿数据以及所述目标位姿数据，对所述二维图像数据进行调整，获得与所述目标位姿数据对应的目标图像数据，包括：获取所述二维图像数据的在屏幕坐标系下的初始坐标数据以及各所述深度数据；根据所述初始坐标数据、各所述深度数据以及预设的坐标系转换关系，将所述初始坐标数据转换为基于世界坐标系下的第一转换坐标数据；将所述第一转换坐标数据作为基于所述世界坐标系下所述目标位姿数据对应的第二转换坐标数据；根据所述第二转换坐标数据以及所述坐标转换关系，生成所述目标图像数据。3.根据权利要求1或2所述的图像处理的方法，其特征在于，所述接收所述服务端根据所述初始位姿数据返回的初始图像数据之前，所述方法还包括：将用于表征所述初始时刻的时间标识信息发送至所述服务端；将所述时间标识信息作为索引，在所述位姿缓冲队列中存储对应的所述初始位姿数据。4.根据权利要求3所述的图像处理的方法，其特征在于，所述初始图像数据还包括：所述时间标识信息；所述根据所述初始位姿数据以及所述目标位姿数据，对所述二维图像数据进行调整，获得与所述目标位姿数据对应的目标图像数据之前，所述方法还包括：根据所述时间标识信息，从所述位姿缓冲队列中读取所述初始位姿数据。5.根据权利要求4所述的图像处理的方法，其特征在于，所述根据所述时间标识信息，从所述位姿缓冲队列中读取所述初始位姿数据之前，所述方法还包括：将所述二维图像数据存储于第一缓冲队列中以及将所述时间标识信息存储于第二缓冲队列中；若检测到所述二维图像数据被解码后，则从所述第二缓冲队列中读取所述时间标识信息。6.根据权利要求2所述的图像处理的方法，其特征在于，所述坐标转...

【专利技术属性】
技术研发人员：郑征世，钱小兵，陈俊，郝志坚，周鹏飞，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：