System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于深度学习的自动切分新闻主播视频数据集的方法、系统及电子设备技术方案_技高网

一种基于深度学习的自动切分新闻主播视频数据集的方法、系统及电子设备技术方案

技术编号:41816565 阅读:9 留言:0更新日期:2024-06-24 20:33
传统的视频数据集切分方法主要依赖于手工标注,这一过程耗时耗力,且难以适应大规模视频数据处理的需求。本发明专利技术提供一种基于深度学习的自动切分新闻主播视频数据集的方法、系统及电子设备,包括:获取用户提交的新闻视频;对所述新闻视频进行第一次筛查,得到新闻主播视频和采访观众视频;对所述新闻主播视频和所述采访观众视频进行第二次筛查,过滤所述采访观众视频,得到过滤后的新闻主播视频;使用深度模型对所述过滤后的新闻主播视频进行逐帧筛查,得到精确的新闻主播视频切分结果。以实现高精度、全自动的新闻主播视频切分。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域,具体而言涉及一种基于深度学习的自动切分新闻主播视频数据集的方法。


技术介绍

1、随着信息技术的飞速发展,新闻媒体行业正经历着前所未有的变革,标准发音、高清视频已经成为标配。新闻主播视频数据的处理与分析成为自动化新闻生产和内容管理中的重要环节。新闻视频数据集的自动切分对于视频内容的索引、检索、推荐以及后续的深度分析至关重要。传统的视频数据集切分方法主要依赖于手工标注,这一过程耗时耗力,且难以适应大规模视频数据处理的需求。

2、随着深度学习在计算机视觉领域的发展,目标检测、人脸识别的应用场景变得越来越多,识别精度也越来越高,但是如果直接使用人脸检测来对新闻视频进行标注面临着很多问题,例如新闻视频中的背景音乐混淆、采访观众有时也会占据采访画面的主体,如果单纯地使用人脸检测会导致将无意义的采访画面混淆到切分结果当中。


技术实现思路

1、本专利技术针对复杂的新闻主播视频切分场景的现有技术存在的问题,提出一种基于深度学习的自动切分新闻主播视频数据集的方法,以实现高精度、全自动的新闻主播视频切分。

2、为实现所述目的,本专利技术提供一种基于深度学习的自动切分新闻主播视频数据集的方法,包括以下步骤:

3、获取用户提交的新闻视频;

4、对所述新闻视频进行第一次筛查,得到新闻主播视频和采访观众视频;

5、对所述新闻主播视频和所述采访观众视频进行第二次筛查,过滤所述采访观众视频,得到过滤后的新闻主播视频;

<p>6、使用深度模型对所述过滤后的新闻主播视频进行逐帧筛查,得到精确的新闻主播视频切分结果。

7、新闻主播视频往往有30分钟以上,如果对于每一帧都进行检测时间效率较低,因此需要对新闻主播视频进行快速筛查。

8、具体而言,每50帧对视频帧进行一次人脸检测,检测到人脸则使用深度学习模型提取人脸信息得到第一人脸信息,并和人脸数据库中的历史信息进行比对,进行第一次快速筛查。

9、若匹配到则记录出现帧数。

10、若未匹配到则赋予新的人物名称后记录出现帧数。

11、在得到第一次快速筛查的人脸数据库后,则需要对新闻主播视频进行细致的第二次筛查。同时,为了保证较高效率,按照每25帧对视频进行一次人脸检测,得到第二人脸信息。

12、如果匹配到人脸则和人脸数据库中的历史信息进行比对,如果匹配到则顺序匹配后24帧,并记录出现帧数;如果没有匹配到则跳出当前循环。

13、在对新闻主播视频进行细致的第二次筛查后,我们可以认为在新闻主播的视频中,已经记录到了与人脸数据库中数据相匹配的所有主播,可以按照人脸数据库中的各人脸出现帧数进行视频切分。

14、基于上述提出的基于深度学习的自动切分新闻主播视频数据集的方法,为了更好地实现本专利技术,进一步地提出一种基于深度学习的自动切分新闻主播视频数据集系统,包括:视频获取模块、第一次筛选模块、第二次筛选模块、视频切分模块;

15、视频获取模块包括,获取用户提交的新闻主播视频;

16、第一次筛选模块包括,对所述新闻主播视频进行第一次筛查,得到新闻主播视频和采访观众视频;

17、第二次筛选模块包括,按照规则对所述新闻主播视频和采访观众视频进行第二次筛查,过滤所述采访观众视频,得到过滤后的新闻主播视频;

18、视频切分模块包括,使用深度模型对所述过滤后的新闻主播视频进行逐帧筛查,得到精确的新闻主播视频切分结果。

19、基于上述提出的基于深度学习的自动切分新闻主播视频数据集的方法,为了更好地实现本专利技术,进一步地提出一种电子设备,包括存储器和处理器;所述存储器上存储有计算机程序;当所述计算机程序在所述处理器上执行时,实现上述的基于深度学习的自动切分新闻主播视频数据集的方法。

20、有益效果:

21、在快速筛选后,需要按照一定规则对数据库进行筛选,目的是去除偶尔出现的采访观众和无效数据;

22、在得到快速筛查的人脸数据库后,则需要对新闻主播视频进行细致筛查,目的是精确切分新闻主播视频。

本文档来自技高网
...

【技术保护点】

1.一种基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,包括:

2.根据权利要求1所述基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,在第一次筛查中,每50帧对所述新闻视频进行一次人脸检测。

3.根据权利要求2所述基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,根据检测到的人脸,使用深度学习模型提取第一人脸信息,并和历史人脸数据库的信息进行匹配。

4.根据权利要求3所述基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,若在历史人脸数据库中匹配到相同的所述第一人脸信息,则记录出现帧数。

5.根据权利要求3所述基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,若在历史人脸数据库中未匹配到相同的所述第一人脸信息,则对所述第一人脸信息赋予新的人物名称,并记录出现帧数。

6.根据权利要求1所述基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,所述第二次筛查,包括每25帧对所述新闻主播视频和所述采访观众视频进行一次人脸检测,得到第二人脸信息;

7.根据权利要求6所述基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,若所述第二人脸信息和历史人脸数据库中的数据匹配,则顺序匹配后24帧,并记录出现帧数。

8.根据权利要求1或7所述基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,所述使用深度模型对所述过滤后的新闻主播视频进行逐帧筛查,包括:匹配所述第二人脸信息和历史人脸数据库中的数据,记录所有所述新闻主播视频中匹配主播,按照历史人脸数据库中的各人脸出现帧数进行视频切分。

9.一种基于深度学习的自动切分新闻主播视频数据集系统,其特征在于,包括:视频获取模块、第一次筛选模块、第二次筛选模块、视频切分模块;

10.一种电子设备,其特征在于,包括存储器和处理器;所述存储器上存储有计算机程序;当所述计算机程序在所述处理器上执行时,实现如权利要求1-9任一项所述的基于深度学习的自动切分新闻主播视频数据集的方法。

...

【技术特征摘要】

1.一种基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,包括:

2.根据权利要求1所述基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,在第一次筛查中,每50帧对所述新闻视频进行一次人脸检测。

3.根据权利要求2所述基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,根据检测到的人脸,使用深度学习模型提取第一人脸信息,并和历史人脸数据库的信息进行匹配。

4.根据权利要求3所述基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,若在历史人脸数据库中匹配到相同的所述第一人脸信息,则记录出现帧数。

5.根据权利要求3所述基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,若在历史人脸数据库中未匹配到相同的所述第一人脸信息,则对所述第一人脸信息赋予新的人物名称,并记录出现帧数。

6.根据权利要求1所述基于深度学习的自动切分新闻主播视频数据集的方法,其特征在于,所述第二次筛查,包括每25帧对所述...

【专利技术属性】
技术研发人员:曹培王晓梅虞钉钉沈旭立罗粤清周邦健沈伟林徐清
申请(专利权)人:华院计算技术上海股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1