System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术实施例涉及视频结构化,具体涉及一种视频结构化适应性插帧方法、装置、设备及可读存储介质。
技术介绍
1、视频结构化是一种基于视频内容进行结构化信息提取的技术,其中,对视频内容进行ai(artificial intelligence,人工智能)推理计算,得到可供计算机和人类理解的结构化信息。
2、在实施现有技术的过程中,专利技术人发现:原始视频中包括的帧数海量,而ai计算资源一般有限,现有通常只是从原始视频中抽取少数部分视频帧进行推理计算后,将推理计算后的帧数据展示给用户。其存在的问题在于,前端展示推理计算后的帧数据的数量受到抽取的帧数的限制,由此导致用户的视频浏览体验不佳。
3、因此,需要一种能够更高效利用计算资源以及提升用户的视频浏览体验的视频结构化方案。
技术实现思路
1、鉴于上述问题,本专利技术实施例提供了一种视频结构化适应性插帧方法、装置、设备及可读存储介质,用于解决现有技术中存在的计算资源以及提升用户的视频浏览体验无法兼顾的问题。
2、根据本专利技术实施例的一个方面,提供了一种视频结构化适应性插帧方法,所述方法包括:
3、获取原始视频以及所述原始视频对应的播放帧数及抽帧帧数;所述播放帧数为所述原始视频进行视频结构化处理后得到的目标视频的总帧数;
4、根据所述抽帧帧数对所述原始视频进行抽帧处理,并对抽帧得到的数据进行推理计算,得到所述原始视频对应的推理后帧数据;
5、将所述抽帧帧数与所述播放帧数
6、根据所述待插帧位置的预设帧数距离内查找到的所述推理后帧数据,确定所述待插帧位置对应的插帧数据;
7、将所述插帧数据与所述推理后帧数据按照帧顺序进行组合,得到所述目标视频;
8、对所述目标视频进行展示。
9、在一种可选的方式中,所述方法还包括:
10、当所述播放帧数大于所述抽帧帧数时,确定所述原始视频需要插帧;
11、根据所述播放帧数与所述抽帧帧数之间的差值,确定所述原始视频对应的插帧帧率;
12、根据插帧帧率在所述原始视频中确定所述待插帧位置。
13、在一种可选的方式中,所述原始视频中包括多个按帧序号顺序排列的原始帧;所述推理后数据包括被抽取的所述原始帧对应的推理后帧;所述方法还包括:
14、在所述预设帧数范围内查找是否存在对应有所述推理后帧的所述原始帧;
15、当在所述预设帧数范围内查找到对应有所述推理后帧的所述原始帧时,对所述预设帧数范围内所有所述原始帧对应的所述推理后帧进行帧数据融合,得到所述待插帧位置对应的插帧数据。
16、在一种可选的方式中,所述方法还包括:
17、根据与所述待插帧位置相邻的所述推理后帧的数据,确定所述插帧数据;
18、或,当在所述预设帧数范围内查找到多个对应有所述推理后帧的所述原始帧时,将所述预设帧数范围内所有所述原始帧对应的所述推理后帧进行平均化,得到所述插帧数据。
19、在一种可选的方式中,所述方法还包括:
20、当在所述待插帧位置的预设帧数距离内未查找到所述推理后帧数据时,对所述待插帧位置对应的所述原始帧进行推理计算,得到所述插帧数据。
21、在一种可选的方式中,所述方法还包括:
22、当所述播放帧数不大于所述抽帧帧数时,确定所述原始视频不需要插帧;
23、将所述推理后帧数据按照帧顺序进行组合,得到所述目标视频。
24、在一种可选的方式中,所述方法还包括:
25、检测所述目标视频的播放环境信息;
26、根据所述播放环境信息对所述待插帧位置进行调整。
27、根据本专利技术实施例的另一方面,提供了一种视频结构化适应性插帧装置,包括:
28、获取模块,用于获取原始视频以及所述原始视频对应的播放帧数及抽帧帧数;所述播放帧数为所述原始视频进行视频结构化处理后得到的目标视频的总帧数;
29、计算模块,用于根据所述抽帧帧数对所述原始视频进行抽帧处理,并对抽帧得到的数据进行推理计算,得到所述原始视频对应的推理后帧数据;
30、比较模块,用于将所述抽帧帧数与所述播放帧数进行比较,根据比较结果确定所述原始视频是否需要插帧以及在需要插帧时所述原始视频对应的待插帧位置;
31、确定模块,用于根据所述待插帧位置的预设帧数距离内查找到的所述推理后帧数据,确定所述待插帧位置对应的插帧数据;
32、组合模块,用于将所述插帧数据与所述推理后帧数据按照帧顺序进行组合,得到所述目标视频;
33、展示模块,用于对所述目标视频进行展示。
34、根据本专利技术实施例的另一方面,提供了一种视频结构化适应性插帧设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
35、所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如前述任意一项所述的视频结构化适应性插帧方法实施例的操作。
36、根据本专利技术实施例的又一方面,提供了一种可读存储介质,所述可读存储介质中存储有至少一可执行指令,所述可执行指令使视频结构化适应性插帧设备执行如前述任意一项所述的视频结构化适应性插帧方法实施例的操作。
37、本专利技术实施例通过获取原始视频以及所述原始视频对应的播放帧数及抽帧帧数;所述播放帧数为所述原始视频进行视频结构化处理后得到的目标视频的总帧数;根据所述抽帧帧数对所述原始视频进行抽帧处理,并对抽帧得到的数据进行推理计算,得到所述原始视频对应的推理后帧数据;将所述抽帧帧数与所述播放帧数进行比较,根据比较结果确定所述原始视频是否需要插帧以及在需要插帧时所述原始视频对应的待插帧位置;根据所述待插帧位置的预设帧数距离内查找到的所述推理后帧数据,确定所述待插帧位置对应的插帧数据;将所述插帧数据与所述推理后帧数据按照帧顺序进行组合,得到所述目标视频;对所述目标视频进行展示。从而区别于现有的视频结构化中仅仅对从原始视频中抽取的少数帧数据进行推理后直接展示在前端,其存在前端渲染的帧数据过少,影响用户的浏览体验和信息利用效率,本专利技术实施例通过比较最终需要展示的播放帧数与用户设置的抽取帧数之间的差距,自动判断是否需要进行插帧才能满足前端展示需求。并且在需要进行插帧时,为了保证插帧数据的有效性以及不因为插帧而增加推理工作量,本专利技术实施例通过将待插帧位置的预设帧数距离内查找到的推理后帧数据进行数据融合处理后作为待插帧位置对应的插帧数据,由此在不增加推理计算的计算资源消耗的同时,能够为用户提供更丰富和有效的视频结构化处理结果,从而提升用户针对视频结构化后的目标视频的浏览体验和信息读取效率。
38、上述说明仅是本专利技术实施例技术方案的概述,为了能够更清楚了本文档来自技高网...
【技术保护点】
1.一种视频结构化适应性插帧方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述抽帧帧数与所述播放帧数进行比较,根据比较结果确定所述原始视频是否需要插帧以及在需要插帧时所述原始视频对应的待插帧位置,包括:
3.根据权利要求1所述的方法,其特征在于,所述原始视频中包括多个按帧序号顺序排列的原始帧;所述推理后数据包括被抽取的所述原始帧对应的推理后帧;所述根据所述待插帧位置的预设帧数距离内查找到的所述推理后帧数据,确定所述待插帧位置对应的插帧数据,包括:
4.根据权利要求3所述的方法,其特征在于,所述当在所述预设帧数范围内查找到对应有所述推理后帧的所述原始帧时,对所述预设帧数范围内所有所述原始帧对应的所述推理后帧进行帧数据融合,得到所述待插帧位置对应的插帧数据,包括:
5.根据权利要求1所述的方法,其特征在于,在所述将所述抽帧帧数与所述播放帧数进行比较,根据比较结果确定所述原始视频是否需要插帧以及在需要插帧时所述原始视频对应的待插帧位置之后,还包括:
6.根据权利要求1所述的方法,其特征在于,
7.根据权利要求1所述的方法,其特征在于,对所述目标视频进行展示,包括:
8.一种视频结构化适应性插帧装置,其特征在于,所述装置包括:
9.一种视频结构化适应性插帧设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有至少一可执行指令,所述可执行指令在视频结构化适应性插帧设备上运行时,使得视频结构化适应性插帧设备执行如权利要求1-7任意一项所述的视频结构化适应性插帧方法的操作。
...【技术特征摘要】
1.一种视频结构化适应性插帧方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述抽帧帧数与所述播放帧数进行比较,根据比较结果确定所述原始视频是否需要插帧以及在需要插帧时所述原始视频对应的待插帧位置,包括:
3.根据权利要求1所述的方法,其特征在于,所述原始视频中包括多个按帧序号顺序排列的原始帧;所述推理后数据包括被抽取的所述原始帧对应的推理后帧;所述根据所述待插帧位置的预设帧数距离内查找到的所述推理后帧数据,确定所述待插帧位置对应的插帧数据,包括:
4.根据权利要求3所述的方法,其特征在于,所述当在所述预设帧数范围内查找到对应有所述推理后帧的所述原始帧时,对所述预设帧数范围内所有所述原始帧对应的所述推理后帧进行帧数据融合,得到所述待插帧位置对应的插帧数据,包括:
5.根据权利要求1所述的方法,其特征...
【专利技术属性】
技术研发人员:鲍斌,樊治国,
申请(专利权)人:青岛高重信息科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。