插帧方法和装置、设备、介质制造方法及图纸

本申请公开了一种插帧方法和装置、设备、介质，插帧方法包括：获取连续的两帧视频帧图像；检测两帧视频帧图像是否满足插帧条件；响应于两帧视频帧图像满足插帧条件，预测两帧视频帧图像之间的中间帧；利用中间帧对两帧视频帧图像进行插帧处理。上述方案，能够提高视频插帧的效果。插帧的效果。插帧的效果。

【技术实现步骤摘要】
插帧方法和装置、设备、介质


[0001]本申请涉及图像处理
，特别是涉及一种插帧方法和装置、设备、介质。

技术介绍

[0002]目前，大多数的视频包括电影和电视剧等，都是30FPS(每秒传输帧数，Frames Per Second)及以下的低帧率视频，而目前显示端的屏幕规格已经达到的60FPS，甚至120FPS。表明传统帧率的视频已经跟不上屏幕刷新率的发展。由此，视频插帧技术应运而生，通过预测中间帧的方式进行插帧操作，以便将低帧率的视频转换为高帧率的视频。
[0003]现有的视频插帧技术会给所有视频帧之间都进行插帧，但是这么做可能会导致插帧之后的视频所呈现出的效果反而没有插帧前的效果好，即无效插帧较多。

技术实现思路

[0004]本申请至少提供一种插帧方法和装置、设备、介质。
[0005]本申请提供了一种插帧方法，包括：获取连续的两帧视频帧图像，其中，两帧视频帧图像用于先后播放；检测两帧视频帧图像是否满足插帧条件；响应于两帧视频帧图像满足插帧条件，预测两帧视频帧图像之间的中间帧；利用中间帧对两帧视频帧图像进行插帧处理。
[0006]因此，通过在预测两帧视频帧图像之间的中间帧之前，先检测两帧视频帧图像是否满足插帧条件，使得在两帧视频帧图像满足条件的情况下，再进行中间帧的预测，能够实现对中间帧的筛选，从而提高插帧效果。并且，在两帧视频帧图像满足插帧条件的情况下，才进行中间帧的预测，并非盲目进行中间帧预测之后，再对中间帧进行筛选，能够减少对中间帧预测的资源消耗。
[0007]其中，插帧条件包括以下至少一者：两帧视频帧图像的场景状态不为预设状态、两帧视频帧图像中的画面运动类别不处于预设运动类别，其中，预设状态为静止场景状态或场景切换状态；和/或，预设运动类别的运动程度大于预设运动程度。
[0008]因此，在两帧视频帧图像的场景状态为静止场景状态或场景切换状态的情况下，继续对两帧视频帧图像的中间帧进行预测并插帧，并不会提高插帧效果，反而会造成资源的浪费，因此，在两帧视频帧图像的场景状态不属于静止场景状态或场景切换状态的情况下，才进行中间帧的预测，能够减少资源浪费。另外，在两帧视频帧图像的画面运动类别处于预设运动类别时，因为运动程度较大，可能会造成中间帧的质量不佳，反而会降低插帧效果，因此，在两帧视频帧图像帧的画面运动程度小于等于预设运动程度的情况下，才进行中间帧的预测，能够提高插帧效果。
[0009]其中，在插帧条件包括两帧视频帧图像的场景状态不为预设状态的情况下，检测两帧视频帧图像是否满足插帧条件，包括：利用两帧视频帧图像的视差和/或匹配特征点对的数量，判断两帧视频帧图像的场景状态是否为预设状态；若两帧视频帧图像的场景状态不为预设状态，确定两帧视频帧图像满足插帧条件；在插帧条件包括两帧视频帧图像中的
画面运动类别不处于预设运动类别的情况下，检测两帧视频帧图像是否满足插帧条件，包括：基于两帧视频帧图像之间的光流信息，确定两帧视频帧图像的画面运动类别；响应于画面运动类别不属于预设运动类别，确定两帧视频帧图像满足插帧条件。
[0010]因此，通过两帧视频帧图像的视差和匹配特征点对的数量，确定两帧视频帧图像的场景状态，能够提高确定的场景状态的准确度。另外，通过两帧视频帧图像之间的光流信息，能够实现确定两帧视频帧图像的画面运动类别。
[0011]其中，预设状态为静止场景状态或场景切换状态，利用两帧视频帧图像的视差和/或匹配特征点对的数量，判断两帧视频帧图像的场景状态是否为预设状态，包括：响应于匹配特征点对的数量大于或等于第一预设数量，确定两帧视频帧图像的场景状态为静止场景状态；或，响应于视差小于或等于第一预设视差，确定两帧视频帧图像的场景状态为静止场景状态；或，响应于匹配特征点对的数量小于或等于第二预设数量，确定两帧视频帧图像的场景状态为场景切换状态；或，响应于视差大于或等于第二预设视差，确定两帧视频帧图像的场景状态为场景切换状态；其中，第一预设数量大于第二预设数量，第一预设视差小于第二预设视差。
[0012]因此，通过匹配特征点对和视差的结合，确定两帧视频帧图像的场景状态，能够提高确定的场景状态的准确度。
[0013]其中，基于两帧视频帧图像之间的光流信息，确定两帧视频帧图像的画面运动类别，包括：获取两帧视频帧图像之间的至少一种光流信息，其中，至少一种光流信息包括关于前景的光流信息、关于背景的光流信息、前景和背景间的光流信息差异中的一者或多者；基于每种光流信息对应的运动类别，确定两帧视频帧图像的画面运动类别。
[0014]因此，通过前景的光流信息、关于背景的光流信息、前景和背景间的光流信息差异确定对应的画面运动类别，使得确定的画面运动类别更准确。
[0015]其中，插帧条件包括两帧视频帧图像的场景状态不为预设状态、两帧视频帧图像中的画面运动类别不处于预设运动类别；检测两帧视频帧图像是否满足插帧条件，包括：检测两帧视频帧图像的场景状态是否为预设状态；响应于场景状态不为预设状态，检测两帧视频帧图像中的画面运动类别是否处于预设运动类别；响应于画面运动类别不处于预设运动类别，确定两帧视频帧图像满足插帧条件。
[0016]因此，通过先后进行两次检测，能够提高最终的插帧效果。
[0017]其中，插帧条件包括两帧视频帧图像中的画面运动类别不处于预设运动类别，在检测两帧视频帧图像中的画面运动类别不处于预设运动类别之前，方法还包括：查询第(i
‑
1)次插帧中所使用的两帧历史视频帧图像是否满足插帧条件，其中，第(i
‑
1)次插帧表示为当前第i次插帧的前一次插帧，i为大于1的正整数；响应于第(i
‑
1)次插帧中所使用的两帧历史视频帧图像满足插帧条件，执行检测两帧视频帧图像中的画面运动类别不处于预设运动类别的步骤。
[0018]因此，通过结合历史信息，能够提高检测两帧视频帧图像帧是否满足插帧条件的效率。
[0019]其中，查询第(i
‑
1)次插帧中所使用的两帧历史视频帧图像是否满足插帧条件，包括：查询场景更改标志的状态是否为第一预设状态；若场景更改标志的状态为第一预设状态，则确定两帧历史视频帧图像不满足插帧条件；方法还包括：响应于两帧历史视频帧图像
不满足插帧条件，将场景更改标志的状态切换为第二预设状态，其中，第二预设状态于第一预设状态不同；以及，响应于两帧历史视频帧图像不满足插帧条件，获取第(i+1)次插帧中需要使用的两帧视频帧图像。
[0020]因此，通过结合历史信息，能够提高检测两帧视频帧图像帧是否满足插帧条件的效率。
[0021]其中，方法还包括：响应于两帧历史视频帧图像不满足插帧条件，利用两帧历史视频帧图像之间的光流信息，确定并保存当前第i次插帧中两帧视频帧图像之间的光流信息，其中，两帧视频帧图像之间的光流信息用于确定第(i+1)次插帧所使用的两帧视频帧图像之间的光流信息。
[0022]因此，通过将此次的光流信息进行保存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种插帧方法，其特征在于，包括：获取连续的两帧视频帧图像；检测所述两帧视频帧图像是否满足插帧条件；响应于所述两帧视频帧图像满足所述插帧条件，预测所述两帧视频帧图像之间的中间帧；利用所述中间帧对所述两帧视频帧图像进行插帧处理。2.根据权利要求1所述的方法，其特征在于，所述插帧条件包括以下至少一者：所述两帧视频帧图像的场景状态不为预设状态、所述两帧视频帧图像中的画面运动类别不处于预设运动类别，其中，所述预设状态包括静止场景状态和场景切换状态，所述预设运动类别的运动程度大于预设运动程度。3.根据权利要求2所述的方法，其特征在于，在所述插帧条件包括所述两帧视频帧图像的场景状态不为预设状态的情况下，所述检测所述两帧视频帧图像是否满足插帧条件，包括：利用所述两帧视频帧图像的视差和/或匹配特征点对的数量，判断所述两帧视频帧图像的场景状态是否为预设状态；若所述两帧视频帧图像的场景状态不为预设状态，确定所述两帧视频帧图像满足插帧条件；在所述插帧条件包括所述两帧视频帧图像中的画面运动类别不处于预设运动类别的情况下，所述检测所述两帧视频帧图像是否满足插帧条件，包括：基于所述两帧视频帧图像之间的光流信息，确定所述两帧视频帧图像的画面运动类别；响应于所述画面运动类别不属于所述预设运动类别，确定所述两帧视频帧图像满足插帧条件。4.根据权利要求3所述的方法，其特征在于，所述利用所述两帧视频帧图像的视差和/或匹配特征点对的数量，判断所述两帧视频帧图像的场景状态是否为预设状态，包括：响应于所述匹配特征点对的数量大于或等于第一预设数量，确定所述两帧视频帧图像的场景状态为静止场景状态；或，响应于所述视差小于或等于第一预设视差，确定所述两帧视频帧图像的场景状态为静止场景状态；或，响应于所述匹配特征点对的数量小于或等于第二预设数量，确定所述两帧视频帧图像的场景状态为场景切换状态；或，响应于所述视差大于或等于第二预设视差，确定所述两帧视频帧图像的场景状态为场景切换状态；其中，所述第一预设数量大于所述第二预设数量，所述第一预设视差小于所述第二预设视差。5.根据权利要求3所述的方法，其特征在于，所述基于所述两帧视频帧图像之间的光流
信息，确定所述两帧视频帧图像的画面运动类别，包括：获取所述两帧视频帧图像之间的至少一种光流信息，其中，所述至少一种光流信息包括关于前景的光流信息、关于背景的光流信息、所述前景和所述背景间的光流信息差异中的一者或多者；基于每种所述光流信息对应的运动类别，确定所述两帧视频帧图像的画面运动类别。6.根据权利要求2至5任一项所述的方法，其特征在于，所述插帧条件包括所述两帧视频帧图像的场景状态不为预设状态、所述两帧视频帧图像中的画面运动类别不处于预设运动类别；所述检测所述两帧视频帧图像是否满足插帧条件，包括：检测所述两帧视频帧图像的场景状态是否为预设状态；响应于所述场景状态不为预设状态，检测所述两帧视频帧图像中的画面运动类别是否处于预设运动类别；响应于所述画面运动类别不处于预设运动类别，确定所述两帧视频帧图像满足插帧条件。7.根据权利要求2至6任一项所述的方法，其特征在于，所述插帧条件包括所述两帧视频帧图像中的画面运动类别不处于预设运动类别，在检测所述两帧视频帧图像中的画面运动类别不处于预设运动类别之前，所述方法还包括：查询第(i
‑
1)次插帧中所使用的两帧历史视频帧图像是否满足插帧条件，其中，第(i
‑
1)次插帧表示为当前第i次插帧的前一次插帧，i为大于1的正整数；响应于所述第(i
‑
1)次插帧中所使用的两帧历史视频帧...

【专利技术属性】
技术研发人员：马咏芮，童超宇，
申请(专利权)人：深圳市慧鲤科技有限公司，
类型：发明
国别省市：