【技术实现步骤摘要】
本专利技术涉及视频处理，具体涉及一种证件翻阅视频序列中图像帧比选及抽取方法与装置。
技术介绍
1、随着信息技术的迅猛发展，电子证件和因其便携、查阅和存储方便等优点也逐渐成为人们生活不可或缺的一部分，而如何将实体证件电子化，自然成为近年来研究的热点。
2、在现有技术中，一般会通过对实体证件进行翻阅，并记录该完整翻阅证件的过程来形成视频流，然后，再利用图像处理和识别等技术，对该视频流进行图像提取、文字识别、关键信息抽取等操作，以将实体证件转化成电子证件数据进行存储，进而实现实体证件的电子化。在将实体证件电子化的过程中，翻页状态的检测尤为重要，最常见的方法为像素平均值差异法，即采用连续帧的图像像素平均值差异作为判断翻页和非翻页状态的依据，具体为：若图像像素差异大，则判断为处于翻页状态，而若图像像素差异小，则判断为处于非翻页的平稳状态。
3、在对现有技术的研究和实践过程中，本申请的专利技术人发现，现有的翻页检测方法很容易受到噪声的干扰，鲁棒性较差，而且，由于空白页、以及空白页之间的翻页图像都很相似，因此，其无法处理连续空白页页码的划分，常常会出现误判或漏判的情况，导致分页识别效果较差，大大影响电子证件数据的准确性。
技术实现思路
1、本专利技术实施例提供一种证件翻阅视频序列中图像帧比选及抽取方法和装置，不仅可以很好地对普通页码的视频序列进行划分，而且，还可以处理连续空白页页码的视频序列的划分，大大改善分页识别效果，提高电子证件数据的准确性，此外，还可以提高其鲁棒性。
2、本专利技术实施例提供一种证件翻阅视频序列中图像帧比选及抽取方法，包括：
3、获取待识别视频序列，所述待识别视频序列记录翻阅实体证件的过程；
4、采用预设的训练后卷积神经网络(cnn，convolutional neural network)，对所述待识别视频序列中每一帧图像的状态类型进行识别，所述状态类型包括证件已展平和证件正翻阅；
5、根据每一帧图像在所述待识别视频序列中的位置、以及状态类型，将所述待识别视频序列划分为按照证件已展平和证件正翻阅两种状态类型反复交替的多个图像序列，其中状态类型为证件已展平的图像序列为第一类图像序列，状态类型为证件正翻阅的图像序列为第二类图像序列；
6、采用预设的训练后循环神经网络(rnn，recursive neural network，也称为递归神经网络)对所述第二类图像序列的动作类型进行识别，所述动作类型包括完整翻页和不完整翻页；
7、删除动作类型为不完整翻页的第二类图像序列，并将所述动作类型为不完整翻页的第二类图像序列前后两个第一类图像序列进行合并，得到处理后视频序列；
8、基于处理后视频序列进行分页识别。
9、可选的，在本申请实施例中，所述根据每一帧图像在所述待识别视频序列中的位置、以及状态类型，将所述待识别视频序列划分为按照证件已展平和证件正翻阅两种状态类型反复交替的多个图像序列，其中状态类型为证件已展平的图像序列为第一类图像序列，状态类型为证件正翻阅的图像序列为第二类图像序列包括：
10、根据每一帧图像在所述待识别视频序列中的位置、以及状态类型，将状态类型相同、位置相邻且连续的帧的图像划分为同一图像序列；
11、将状态类型为证件已展平的图像序列设置为第一类图像序列，将状态类型为证件正翻阅的图像序列设置为第二类图像序列，得到按照证件已展平和证件正翻阅两种状态类型反复交替的多个图像序列。
12、可选的，在本申请实施例中，所述采用预设的训练后循环神经网络对所述第二类图像序列的动作类型进行识别，包括：
13、采用预设的训练后循环神经网络提取第二类图像序列的隐层编码特征；
14、根据所述隐层编码特征对所述第二类图像序列的动作类型进行识别。
15、可选的，在本申请实施例中，所述隐层编码特征反映翻页动作是否能够使得证件展示下一页展平内容，所述根据所述隐层编码特征对所述第二类图像序列的动作类型进行识别，包括：
16、根据所述隐层编码特征确定翻页动作能够使得证件展示下一页展平内容时，将所述第二类图像序列的动作类型确定为完整翻页；
17、根据所述隐层编码特征确定翻页动作无法使得证件展示下一页展平内容时，将所述第二类图像序列的动作类型确定为不完整翻页。
18、可选的，在本申请实施例中，所述基于处理后视频序列进行分页识别之前，还包括：
19、获取所述处理后视频序列中各个第二类图像序列的图像帧数；
20、若所述图像帧数大于预设阈值，则确定所述第二类图像序列出现翻页卡顿，对翻页卡顿进行预警。
21、可选的，在本申请实施例中，所述基于处理后视频序列进行分页识别，包括：
22、从处理后视频序列中确定当前需要识别的第一类图像序列，得到当前序列；
23、从所述当前序列中筛选符合预设条件的图像作为当前序列对应的目标图像，并返回执行从处理后视频序列中确定当前需要识别的第一类图像序列的步骤，直至所有第一类图像序列均识别完毕；
24、按照目标图像在处理后视频序列中的顺序将目标图像进行合并，并对合并后的目标图像进行页面内容识别，得到所述待识别视频序列对应的电子证件数据。
25、可选的，在本申请实施例中，所述从所述当前序列中筛选符合预设条件的图像作为当前序列对应的目标图像，包括：
26、采用图片质量评估模型对所述当前序列中各帧图像的清晰度、平整度、反光度、以及边界进行检测；
27、根据检测结果计算所述当前序列中各帧图像的综合质量评分；
28、选择综合质量评分最高的图像作为当前序列对应的目标图像。
29、可选的，在本申请实施例中，所述采用图片质量评估模型对所述当前序列中各帧图像的清晰度、平整度、反光度、以及边界进行检测，包括：
30、在所述当前序列中确定当前需要检测的帧，得到当前帧；
31、将当前帧的图像划分为多个方块；
32、采用图片质量评估模型对当前帧中每一方块清晰类型进行识别，所述清晰类型包括清晰和不清晰，统计清晰类型为清晰的方块的数量，计算清晰类型为清晰的方块的数量与当前帧中方块总数的比值，得到当前帧的图像的清晰度；
33、采用图片质量评估模型对当前帧中每一方块平整类型进行识别，所述平整类型包括平整和不平整，统计平整类型为平整的方块的数量，计算平整类型为平整的方块的数量与当前帧中方块总数的比值，得到当前帧的图像的平整度；
34、采用图片质量评估模型对当前帧中每一方块反光类型进行识别，所述平整类型包括反光和不反光，统计反光类型为不反光的方块的数量，计算反光类型为不反光的方块的数量与当前帧中方块总数的比值，得到当前帧的图像的反光度；
35、采用图片质量评估模型检测当前帧中证件的四个顶点的坐标，并根据四个顶点的坐标分别确定四个顶点是否位于当前帧本文档来自技高网...
【技术保护点】
1.一种证件翻阅视频序列中图像帧比选及抽取方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据每一帧图像在所述待识别视频序列中的位置、以及状态类型，将所述待识别视频序列划分为按照证件已展平和证件正翻阅两种状态类型反复交替的多个图像序列，其中状态类型为证件已展平的图像序列为第一类图像序列，状态类型为证件正翻阅的图像序列为第二类图像序列包括：
3.根据权利要求1所述的方法，其特征在于，所述采用预设的训练后循环神经网络对所述第二类图像序列的动作类型进行识别，包括：
4.根据权利要求3所述的方法，其特征在于，所述隐层编码特征反映翻页动作是否能够使得证件展示下一页展平内容，所述根据所述隐层编码特征对所述第二类图像序列的动作类型进行识别，包括：
5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于处理后视频序列进行分页识别之前，还包括：
6.根据权利要求1至4任一项所述的方法，其特征在于，所述基于处理后视频序列进行分页识别，包括：
7.根据权利要求6所述的方法，其特征在于，所述从所述当前序
8.根据权利要求7所述的方法，其特征在于，所述采用图片质量评估模型对所述当前序列中各帧图像的清晰度、平整度、反光度、以及边界进行检测，包括：
9.根据权利要求7所述的方法，其特征在于，所述按照目标图像在处理后视频序列中的顺序将目标图像进行合并之前，还包括：
10.一种证件翻阅视频序列中图像帧比选及抽取装置，其特征在于，包括：
...【技术特征摘要】
1.一种证件翻阅视频序列中图像帧比选及抽取方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据每一帧图像在所述待识别视频序列中的位置、以及状态类型，将所述待识别视频序列划分为按照证件已展平和证件正翻阅两种状态类型反复交替的多个图像序列，其中状态类型为证件已展平的图像序列为第一类图像序列，状态类型为证件正翻阅的图像序列为第二类图像序列包括：
3.根据权利要求1所述的方法，其特征在于，所述采用预设的训练后循环神经网络对所述第二类图像序列的动作类型进行识别，包括：
4.根据权利要求3所述的方法，其特征在于，所述隐层编码特征反映翻页动作是否能够使得证件展示下一页展平内容，所述根据所述隐层编码特征对所述第二类图像序列的动作类型进行识别，包括：
<...【专利技术属性】
技术研发人员：郑嵩，韩家伟，张裕平，
申请(专利权)人：深圳市雄帝科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。