一种图像处理方法、装置和设备制造方法及图纸

本申请公开了一种图像处理方法、装置和设备，所述方法包括：在显示刷新时刻到达第一时刻的情况下，判断第一缓存器中缓存的已解码图像帧序列中是否存在用于显示的第一已解码图像帧，所述已解码图像帧序列由解码器对压缩图像数据进行解码得到；在确定所述第一缓存器中不存在所述第一已解码图像帧的情况下，从预测器中获取预测图像帧，所述预测图像帧是基于第二时刻传入的第二已解码图像帧生成的，所述第二时刻早于所述第一时刻；将所述预测图像帧发送至显示器进行显示。送至显示器进行显示。送至显示器进行显示。

【技术实现步骤摘要】
一种图像处理方法、装置和设备


[0001]本申请涉及终端
，涉及但不限于一种图像处理方法、装置和设备。

技术介绍

[0002]相关技术中，图像传输系统(例如：视频会议，无线投屏等等)都有比较大的延时(从发送端的图像采集到接收端的图像显示之间的延时)，产生的原因有很多方面，例如数据的处理(编解码等等)，数据的传输(打包解包，物理传输，网络排队，纠错重传等等)，除以上方面之外还有一个很重要的延时来源是为保证接收端播放流畅而故意加入的缓冲时间，主要目的是为了减小其他模块造成的帧间隔抖动，预防播放的卡顿问题。这个缓冲的加入很大程度上优化了抖动和卡顿的问题，但是牺牲了图像的延时，在一些对延时敏感的场景下产品体验较差。

技术实现思路

[0003]有鉴于此，本申请实施例提供一种图像处理方法、装置和设备。
[0004]第一方面，本申请实施例提供一种图像处理方法，所述方法包括：在显示刷新时刻到达第一时刻的情况下，判断第一缓存器中缓存的已解码图像帧序列中是否存在用于显示的第一已解码图像帧，所述已解码图像帧序列由解码器对压缩图像数据进行解码得到；在确定所述第一缓存器中不存在所述第一已解码图像帧的情况下，从预测器中获取预测图像帧，所述预测图像帧是基于第二时刻传入的第二已解码图像帧生成的，所述第二时刻早于所述第一时刻；将所述预测图像帧发送至显示器进行显示。
[0005]第二方面，本申请实施例提供一种图像处理装置，包括：判断模块，用于在显示刷新时刻到达第一时刻的情况下，判断第一缓存器中缓存的已解码图像帧序列中是否存在用于显示的第一已解码图像帧，所述已解码图像帧序列由解码器对压缩图像数据进行解码得到；第一获取模块，用于在确定所述第一缓存器中不存在所述第一已解码图像帧的情况下，从预测器中获取预测图像帧，所述预测图像帧是基于第二时刻传入的第二已解码图像帧生成的，所述第二时刻早于所述第一时刻；显示模块，用于将所述预测图像帧发送至显示器进行显示。
[0006]第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述图像处理方法中的步骤。
[0007]本申请实施例中，在缓存器中不存在用于显示的第一已解码图像帧的情况下，从预测器中获取预测出的预测图像帧，从而可以使得缓存器中不用缓存大量的帧用于对抗抖动，可以快速的进行图像帧的渲染显示，降低了卡顿，减少了缓冲的延时。
附图说明
[0008]图1为本申请实施例一种图像处理方法的流程示意图；
[0009]图2为本申请实施例一种图像传输系统的示意图；
[0010]图3为本申请实施例一种已解码图像帧的示意图；
[0011]图4为本申请实施例另一种图像处理方法的流程示意图；
[0012]图5为本申请实施例一种图像处理装置的组成结构示意图；
[0013]图6为本申请实施例一种电子设备的硬件实体示意图。
具体实施方式
[0014]下面结合附图和实施例对本申请的技术方案进一步详细阐述。
[0015]图1为本申请实施例一种图像处理方法的流程示意图，如图1所示，所述方法包括以下步骤：
[0016]步骤102：在显示刷新时刻到达第一时刻的情况下，判断第一缓存器中缓存的已解码图像帧序列中是否存在用于显示的第一已解码图像帧，所述已解码图像帧序列由解码器对压缩图像数据进行解码得到；
[0017]其中，如图2所示，发送端产生的压缩图像数据经过网络传输到接收端20，由接收端20的图像传输系统进行处理，所述图像传输系统包括解码器(Image Decoder)21、第一缓存器(Jitter Buffer)22、预测器(Image Predictor)23和显示器(Image Render)24，所述压缩图像数据被送入所述解码器21进行解码得到已解码图像帧序列，其中已解码图像帧序列可以包括多个，例如一个图像组序列，每个图像帧例如是MPEG(运动图像专家组)标准，例如H.264或HEVC中的I帧(帧内编码帧又称intra picture)，P帧(前向预测编码帧又称predictive
‑
frame)，B帧(双向预测内插编码帧又称bi
‑
directional interpolated prediction frame)，每个图像帧包括一显示时间戳，显示时间戳可以是MPEG等编码规范的PTS(Presentation Time Stamp)。将已解码图像帧序列中的已解码图像帧同时传入第一缓存器22和预测器23中进行缓冲，预测器23进行图像帧的预测，在显示刷新时刻的第一时刻到来时判断第一缓存器22中是否有用于显示的第一已解码图像帧。其中第一时刻对应已解码图像帧的显示时间戳的显示时刻，当第一时刻到来时，与第一时刻匹配的显示时间戳的对应的图像帧被刷新显示。
[0018]步骤104：在确定所述第一缓存器中不存在所述第一已解码图像帧的情况下，从预测器中获取预测图像帧，所述预测图像帧是基于第二时刻传入的第二已解码图像帧生成的，所述第二时刻早于所述第一时刻；其中预测器的预测图像不同于所述P帧或B帧，是独立进行预测的图像帧，例如是基于先前时刻的I帧图像或P帧图像来预测的新图像。
[0019]步骤106：将所述预测图像帧发送至显示器进行显示。
[0020]其中，如图3所示，在第一时刻到来时第一缓存器22中没有用于显示的第一已解码图像帧31，则从预测器23中取出预测图像帧32发送至显示器24进行显示，所述预测图像帧32是基于第二时刻传入的第二已解码图像帧生成的；如果第一时刻到来时有用于显示的第一已解码图像帧31，就将第一已解码图像帧31发送至显示器24进行显示。
[0021]本申请实施例中，在缓存器中不存在用于显示的第一已解码图像帧的情况下，从预测器中获取预测出的预测图像帧，从而可以使得缓存器中不用缓存大量的帧用于对抗抖动，可以快速的进行图像帧的渲染显示，降低了卡顿，减少了缓冲的延时。
[0022]在一些实施例中，所述方法还包括：
[0023]步骤101：确定所述显示器的垂直同步信号的到达时刻为所述第一时刻；
[0024]其中，所述垂直同步信号与所述显示器的刷新率同步。
[0025]其中，显示器的刷新率又可以称为屏幕刷新率或者屏幕刷新频率，显示器从第一缓存器中读取图像帧、刷新后显示，显示器的刷新率可以代表显示器从第一缓存器中读取图像帧的速率；显卡的频率又可以称为显卡的渲染帧率或显示帧率，显卡的频率可以代表显卡向第一缓存器中写入图像帧的速率。
[0026]垂直同步信号可以表示为Vsync，垂直同步信号与显示器的刷新率同步，即垂直同步信号是显示器在每显示完一帧图像帧发送的信号，这样，在第一时刻垂直同步信号到达之际，预测器向第一缓存器写入预测图像帧，这样就能使得显示器的刷新率与显示帧率同步。
[0027]本申请实施例中，通过将显示器的刷新率与Vsync信号本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：在显示刷新时刻到达第一时刻的情况下，判断第一缓存器中缓存的已解码图像帧序列中是否存在用于显示的第一已解码图像帧，所述已解码图像帧序列由解码器对压缩图像数据进行解码得到；在确定所述第一缓存器中不存在所述第一已解码图像帧的情况下，从预测器中获取预测图像帧，所述预测图像帧是基于第二时刻传入的第二已解码图像帧生成的，所述第二时刻早于所述第一时刻；将所述预测图像帧发送至显示器进行显示。2.根据权利要求1所述的方法，其中，所述方法还包括：确定所述显示器的垂直同步信号的到达时刻为所述第一时刻；其中，所述垂直同步信号与所述显示器的刷新率同步。3.根据权利要求1所述的方法，其中，所述方法还包括：利用所述解码器对所述压缩图像数据进行解码，得到已解码图像帧序列；将所述已解码图像帧序列分别传入所述第一缓存器和所述预测器中；所述已解码图像帧序列中至少包括所述第一已解码图像帧和所述第二已解码图像帧。4.根据权利要求1所述的方法，其中，所述方法还包括：对所述第二已解码图像帧进行分析，得到所述第二已解码图像帧中目标对象的运动方向和/或运动速度；基于所述运动方向和/或运动速度，生成所述预测图像帧。5.根据权利要求1所述的方法，其中，所述方法还包括：获取网络情况；基于所述网络情况，控制所述第一缓存器和第二缓存器的长度；将所述压缩图像数据存入所述第二缓存器，以供解码器从所述第二缓存器中读取所述压缩图像数据进行解码，得到所述已解码图像帧序列。6.根据权利要求5所述的方法，其中，所述第二缓存器的长度为0。7.根据权利要求5所述的方...

【专利技术属性】
技术研发人员：杨涛，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：