电子文件的控制方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种电子文件的控制方法、装置、计算机设备及存储介质，所述方法包括：通过采集实时视频流，进而从实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从实时视频流中获取动作帧集合，再将图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果，在每次进行电子文件的控制之前，快速校验电子文件控制的安全性，在权限校验结果为校验通过时，通过训练好的AU检测网络，对动作帧集合进行动作识别，得到目标动作，并确定目标动作对应的指令，作为目标指令，进而对电子文件执行目标指令，这种将获取到的帧图像同时进行权限校验和动作确认的方式，实现快速进行电子文件的控制，提高了电子文件控制的效率。

Control methods, devices, computer equipment and storage media of electronic documents

【技术实现步骤摘要】
电子文件的控制方法、装置、计算机设备及存储介质
本专利技术涉及信息安全领域，尤其涉及一种电子文件的控制方法、装置、计算机设备及存储介质。
技术介绍
随着互联网技术的发展和智能终端的普及，人们能够通过智能设备完成的工作和生活事项越来越多。一些原本需要进行线下处理的文件，慢慢也通过智能设备进行完成。在当前，人们主要通过触屏或者通过智能设备上的实体按钮，对电子文件进行操作，但这种操作极为不便，使得电子文件的控制效率较低，与此同时，在一些领域，涉及到一些对安全性较高的电子文件，比如电子合约、财务报表、用户隐私数据等，为确保安全，对这些电子文件进行处理往往需要进行权限验证，通过触屏(触屏输入密码或者图案解锁)或者智能设备上的实体按钮进行操作，有可能被记住解锁密码，使得安全性得不到保障，如何寻找一个在智能设备上，能够进行高效的电子文件控制方法，成了一个亟待解决的难题。
技术实现思路
本专利技术实施例提供一种电子文件的控制方法、装置、计算机设备和存储介质，以提高当前电子文件的控制效率。为了解决上述技术问题，本申请实施例提供一种电子文件的控制方法，包括：采集实时视频流；从所述实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从所述实时视频流中获取动作帧集合；将所述图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果；若所述权限校验结果为校验通过，则通过训练好的AU检测网络，对所述动作帧集合进行动作识别，得到目标动作；从预设的指令集中，获取所述目标动作对应的指令，作为目标指令；对电子文件执行所述目标指令。进一步地，所述从所述实时视频流中，获取包含当前用户的面部图像的图像集合包括：按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；采用人脸检测算法，对所述帧图像集合中的帧图像进行人脸检测，得到检测结果；将所述检测结果中，包含完整人脸特征的每个所述帧图像均作为一个所述面部图像，得到包含至少一个所述面部图像的图像集合。进一步地，所述按照预设方式，从所述实时视频流中获取动作帧集合包括：按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；按照所述帧图像集合中每个帧图像在所述实时视频流中的出现的先后顺序，对所述帧图像进行排序，得到排序后的帧图像序列；对所述帧图像序列中的每个帧图像进行标注，得到所述动作帧集合。进一步地，所述若所述权限校验结果为校验通过，则通过训练好的AU检测网络，对所述动作帧集合进行动作识别，得到目标动作包括：若所述权限校验结果为校验通过，则将获取到的所述动作帧集合中的每一个帧图像输入到所述训练好的AU检测网络中；按照动作帧标注的顺序，依次计算相邻帧之间的像素差异，得到相邻帧之间的差异内容；通过所述训练好的AU检测网络的卷积层，依次对所述差异内容进行特征提取，得到对应的特征变化内容；将每个所述特征变化内容输入到AU动作识别层，并根据所述AU动作识别层对所述特征变化内容进行分类识别，得到目标动作。进一步地，所述按照动作帧标注的顺序，依次计算相邻帧之间的像素差异，得到相邻帧之间的差异内容包括：采用帧差法计算相邻帧之间的灰度差分，得到所述差异内容。进一步地，所述AU动作识别层包括n个预设的AU分类器，其中，n为大于1的正整数，所述根据所述AU动作识别层对所述特征变化内容进行分类识别，得到目标动作包括：使用所述AU动作识别层的n个AU分类器对所述特征变化内容进行相似度计算，得到所述特征变化内容属于该AU分类器对应的动作类别的概率，共得到n个所述概率，其中，每个AU分类器对应一种动作类别；从n个所述概率中，选取概率最大的动作类别作为所述特征变化内容对应的目标动作。为了解决上述技术问题，本申请实施例还提供一种电子文件的控制装置，包括：数据采集模块，用于采集实时视频流；图像获取模块，用于从所述实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从所述实时视频流中获取动作帧集合；权限校验模块，用于将所述图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果；动作检测模块，用于若所述权限校验结果为校验通过，则通过训练好的AU检测网络，对所述动作帧集合进行动作识别，得到目标动作；指令确定模块，用于从预设的指令集中，获取所述目标动作对应的指令，作为目标指令；文件控制模块，用于对电子文件执行所述目标指令。进一步地，所述图像获取模块包括：帧图像选取单元，用于按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；人脸检测单元，用于采用人脸检测算法，对所述帧图像集合中的帧图像进行人脸检测，得到检测结果；面部图像确定单元，用于将所述检测结果中，包含完整人脸特征的每个所述帧图像均作为一个所述面部图像，得到包含至少一个所述面部图像的图像集合。进一步地，所述图像获取模块还包括：帧图像选取单元，按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；图像排序单元，用于按照所述帧图像集合中每个帧图像在所述实时视频流中的出现的先后顺序，对所述帧图像进行排序，得到排序后的帧图像序列；图像标注单元，用于对所述帧图像序列中的每个帧图像进行标注，得到所述动作帧集合。进一步地，所述动作检测模块包括：数据输入单元，用于若所述权限校验结果为校验通过，则将获取到的所述动作帧集合中的每一个帧图像输入到所述训练好的AU检测网络中；差异内容获取单元，用于按照动作帧标注的顺序，依次计算相邻帧之间的像素差异，得到相邻帧之间的差异内容；差异特征提取单元，用于通过所述训练好的AU检测网络的卷积层，依次对所述差异内容进行特征提取，得到对应的特征变化内容；动作识别单元，用于将每个所述特征变化内容输入到AU动作识别层，并根据所述AU动作识别层对所述特征变化内容进行分类识别，得到目标动作。进一步地，所述差异内容获取单元包括：帧差法计算子单元，用于采用帧差法计算相邻帧之间的灰度差分，得到所述差异内容。进一步地，所述动作识别单元包括：概率计算子单元，用于使用所述AU动作识别层的n个AU分类器对所述特征变化内容进行相似度计算，得到所述特征变化内容属于该AU分类器对应的动作类别的概率，共得到n个所述概率，其中，每个AU分类器对应一种动作类别；目标动作确定子单元，用于从n个所述概率中，选取概率最大的动作类别作为所述特征变化内容对应的目标动作。为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述电子文件的控制方法的步骤。为了本文档来自技高网...

【技术保护点】
1.一种电子文件的控制方法，其特征在于，所述电子文件的控制方法包括：/n采集实时视频流；/n从所述实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从所述实时视频流中获取动作帧集合；/n将所述图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果；/n若所述权限校验结果为校验通过，则通过训练好的AU检测网络，对所述动作帧集合进行动作识别，得到目标动作；/n从预设的指令集中，获取所述目标动作对应的指令，作为目标指令；/n对电子文件执行所述目标指令。/n

【技术特征摘要】
1.一种电子文件的控制方法，其特征在于，所述电子文件的控制方法包括：
采集实时视频流；
从所述实时视频流中，获取包含当前用户的面部图像的图像集合，并按照预设方式，从所述实时视频流中获取动作帧集合；
将所述图像集合中的面部图像与预设的人脸图像进行对比，得到权限校验结果；
若所述权限校验结果为校验通过，则通过训练好的AU检测网络，对所述动作帧集合进行动作识别，得到目标动作；
从预设的指令集中，获取所述目标动作对应的指令，作为目标指令；
对电子文件执行所述目标指令。


2.如权利要求1所述的电子文件的控制方法，其特征在于，所述从所述实时视频流中，获取包含当前用户的面部图像的图像集合包括：
按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
采用人脸检测算法，对所述帧图像集合中的帧图像进行人脸检测，得到检测结果；
将所述检测结果中，包含完整人脸特征的每个所述帧图像均作为一个所述面部图像，得到包含至少一个所述面部图像的图像集合。


3.如权利要求1或2所述的电子文件的控制方法，其特征在于，所述按照预设方式，从所述实时视频流中获取动作帧集合包括：
按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
按照所述帧图像集合中每个帧图像在所述实时视频流中的出现的先后顺序，对所述帧图像进行排序，得到排序后的帧图像序列；
对所述帧图像序列中的每个帧图像进行标注，得到所述动作帧集合。


4.如权利要求3所述的电子文件的控制方法，其特征在于，所述若所述权限校验结果为校验通过，则通过训练好的AU检测网络，对所述动作帧集合进行动作识别，得到目标动作包括：
若所述权限校验结果为校验通过，则将获取到的所述动作帧集合中的每一个帧图像输入到所述训练好的AU检测网络中；
按照动作帧标注的顺序，依次计算相邻帧之间的像素差异，得到相邻帧之间的差异内容；
通过所述训练好的AU检测网络的卷积层，依次对所述差异内容进行特征提取，得到对应的特征变化内容；
将每个所述特征变化内容输入到AU动作识别层，并根据所述AU动作识别层对所述特征变化内容进行分类识别，得到目标动作。


5.如权利要求4所述的电子文件的控制方法，其特征在于，所述按照动作帧标注的顺序，依次计算相邻帧之间...

【专利技术属性】
技术研发人员：卢宁，徐国强，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东;44