一种通用数字识别的方法、存储介质、电子设备及系统技术方案

本发明专利技术公开了一种通用数字识别的方法方法、存储介质、电子设备及系统，涉及互联网直播管理领域，该方法包括根据预设的抓图规则，抓取直播中需要进行数字识别区域的图片；将抓取的图片按时间轴排列，调整至预设的分辨率后作为待识别图片，或者，将抓取的图片调整至预设的分辨率后按时间轴排列，并得到待识别图片；将待识别图片按照时间顺序输入卷积神经网络，并由所述卷积神经网络按照时间顺序提取每张图片的第一数字特征信息；将所述第一数字特征信息按时间顺序输入循环神经网络，循环神经网络结合图片的时间顺序和第一数字特征信息，得到第二数字特征信息；对第二数字特征信息进行识别并输出识别结果。本发明专利技术能够较准确的识别互联网直播视频截图的图片中的数字。

A general digital recognition method, storage medium, electronic equipment and system

The invention discloses a general digital recognition method, storage medium, electronic equipment and system, which relates to the field of internet live broadcast management. The method includes grabbing the pictures of the digital recognition area in the live broadcast according to the preset grabbing rules, arranging the grabbing pictures according to the time axis, adjusting them to the preset resolution and then taking them as the pictures to be recognized, or grabbing The pictures of are arranged according to the time axis after being adjusted to the preset resolution, and the pictures to be recognized are obtained; the pictures to be recognized are input into the convolution neural network according to the time sequence, and the convolution neural network extracts the first digital feature information of each picture according to the time sequence; the first digital feature information is input into the cyclic neural network according to the time sequence, and the cyclic neural network combines the pictures The second digital feature information is obtained by the time sequence of the slice and the first digital feature information; the second digital feature information is recognized and the recognition result is output. The invention can accurately recognize the numbers in the pictures of the live video screenshots of the Internet.

【技术实现步骤摘要】
一种通用数字识别的方法、存储介质、电子设备及系统
本专利技术涉及互联网直播管理领域，具体涉及一种利用深度神经网络实现通用数字识别的方法。
技术介绍
在互联网直播中，为了提高用户的直播参与度以及体验，常常设置竞猜、红包等等活动鼓励主播和用户进行交流。而在竞猜等等环节中常常涉及直播过程中某项指标所达到的数量。当数量达标后，需要主播锁定竞猜等等活动，防止一些用户取巧，然而在用户进行直播过程中可能过于投入于直播的内容中，而忘记锁定竞猜导致部分用户取巧通过竞猜获得不正当的数据。如在绝地求生或者英雄联盟游戏直播中，主播开启竞猜在游戏中拿到人头数量能够超过多少，而当主播拿到人头超过后，主播过于专注游戏而没有关闭竞猜，用户仍然可以进行投注，导致竞猜失去公平性，影响直播氛围。如果系统能够自主识别直播视频中图片上数字的话，就可以智能的完成相应的操作，如竞猜中达到预设的数字后，锁定竞猜等等。人们常常使用比较传统的OCR技术，进行数字识别。它首先将数字图片进行分割，然后分别识别切割后的每个数字。但是，OCR技术分割需要较高的准确性，如果数字之间有粘连、交叉、数字为异形，或者数字分辨率较低时，其分割容易出错，进而导致识别错误。因此，在互联网直播中亟须一种方法能够较准确的识别图片中的数字。
技术实现思路
针对现有技术中存在的缺陷，本专利技术的目的在于提供一种利用深度神经网络实现通用数字识别的方法，能够更准确的识别互联网直播视频截图图片中的数字。为达到以上目的，本专利技术采取的技术方案是：一种通用数字识别的方法，应用于直播画面的数字抓取，其包括：根据预设的抓图规则，抓取直播中需要进行数字识别区域的图片；将抓取的图片按时间轴排列，调整至预设的分辨率后作为待识别图片，或者，将抓取的的图片调整至预设的分辨率后按时间轴排列，并得到待识别图片；将待识别图片按照时间顺序输入卷积神经网络，并由所述卷积神经网络按照时间顺序提取每张图片的第一数字特征信息；将所述第一数字特征信息按时间顺序输入循环神经网络，循环神经网络结合图片的时间顺序和第一数字特征信息，得到第二数字特征信息；对第二数字特征信息进行识别并输出识别结果。在上述技术方案的基础上，所述抓图规则为：识别播放视频流的直播界面；对直播界面进行特征匹配，获取直播界面中符合预设特征样式的区域；对该区域进行抓图。在上述技术方案的基础上，所述抓图规则为：预设直播间主题和直播画面抓取区域的对应关系；根据直播主题，获取直播画面中对应抓取区域的图片。在上述技术方案的基础上，所述卷积神经网络按照时间顺序提取第一数字特征信息具体为：所述卷积神经网络使用多层残差网络从待识别图片中提取特征并获得第一数字特征信息。在上述技术方案的基础上，循环神经网络结合图片的时间顺序和第一数字特征信息，得到第二数字特征信息具体为：所述循环神经网络使用LSTM网络在识别第一数字特征信息时结合第一数字特征信息图片的前后图片的第一数字特征信息来输出第二数字特征信息。在上述技术方案的基础上，对第二数字特征信息进行识别并输出识别结果具体为：使用CTC为第二数字特征信息匹配数字标签，并根据数字标签获得识别结果。在上述技术方案的基础上，所述循环神经网络中具有第一规则，所述第一规则为：时间推移和第一数字特征信息在预设场景下对应的变化规律，且识别结果的数值随时间顺序相等或增加所对应的第一数字特征信息的变化规律。在上述技术方案的基础上，对第二数字特征信息进行识别并输出识别结果具有第二规则，所述第二规则为：所述识别结果为小于预设的自然数。一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序：所述处理器执行所述计算机程序时实现上述技术方案。一种通用数字识别的系统，其包括：抓取模块，用于根据预设的抓图规则，抓取直播中需要进行数字识别区域的图片；图片编辑模块，所述图片编辑模块用于将抓取的的图片按时间轴排列，调整至预设的分辨率后作为待识别图片，或者，所述图片编辑模块用于将抓取的的图片调整至预设的分辨率后按时间轴排列，并得到待识别图片；提取模块，所述提取模块获取待识别图片，并通过卷积神经网络按照时间顺序提取每张图片的第一数字特征信息；调整模块，所述调整模块具有循环神经网络，且循环神经网络结合图片的时间顺序和第一数字特征信息得到第二数字特征信息；结果输出模块，所述结果输出模块用于对第二数字特征信息进行识别并输出识别结果。与现有技术相比，本专利技术的优点在于：本专利技术首选通过整体抓取图片并进行缩放，保证图片的有序和统一，方便了网络识别；然后通过卷积神经对图片一一提取第一数字特征信息，其通过计算表征图片的各个特征，不再简单的依赖图片的分割，使得图片的各个特点均能计算在内，即第一数字特征信息能够包含更多的图片信息；通过循环神经网络考虑了前后图片变化，从时间这一个维度上对图片进行考量，进一步使得数字识别更加精确。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面对实施例对应的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一种通用数字识别的方法的流程示意图；图2为本专利技术一种通用数字识别的系统的一个残差单元的结构示意图；图3为本专利技术一种通用数字识别的系统的结构示意图。具体实施方式以下结合附图对本专利技术的实施例作进一步详细说明。参见图1所示，本专利技术实施例提供一种通用数字识别的方法，应用于直播画面的数字抓取，其利用深度神经网络实现，该方法适用于网络直播中视频截图中数字识别，该方法包括：S1：根据预设的抓图规则，抓取直播中需要进行数字识别的图片。具体来说，抓图的规则为：识别播放视频流的直播界面。直播进行时候，除了活动的播放视频流画面，其旁边可能还存在广告展示栏目、用户推荐栏目等等区域，这些区域可能会对后续的设置抓取区域造成干扰。因此，首先需要甄别直播中，哪个区域为播放视频流的直播界面。而获取播放视频流的画面即可以是读取代码中设置播放视频流的参数，也可以是页面或者客户端预设的画面位置，在此不再冗述。对直播界面进行特征匹配，获取直播界面符合预设样式所在的区域。获取直播界面中播放视频流的界面后，其界面除了需要识别的数字，一般在数字旁边还存在文字或者花纹等等标志性的样式。该样式能够对数字进行说明以及突出显示，因而可以针对该样式的特征进行预设以及识别，并在识别后划定抓取区域。其中划定区域可以是花纹所包围的所有区域，也可以是文字区域附近的区域，根据直播内容的不同进行不同的设置。对该区域进行抓图。在设置抓取区域后，即能够针对直播进行抓图了。举例来说，如果针对直播游戏“绝地求生·大逃杀”的界面进行抓取：首先，识别直本文档来自技高网...

【技术保护点】
1.一种通用数字识别的方法，应用于直播画面的数字抓取，其特征在于，其包括：/n根据预设的抓图规则，抓取直播中需要进行数字识别区域的图片；/n将抓取的图片按时间轴排列，调整至预设的分辨率后作为待识别图片，或者，将抓取的的图片调整至预设的分辨率后按时间轴排列，并得到待识别图片；/n将待识别图片按照时间顺序输入卷积神经网络，并由所述卷积神经网络按照时间顺序提取每张图片的第一数字特征信息；/n将所述第一数字特征信息按时间顺序输入循环神经网络，循环神经网络结合图片的时间顺序和第一数字特征信息，得到第二数字特征信息；/n对第二数字特征信息进行识别并输出识别结果。/n

【技术特征摘要】
1.一种通用数字识别的方法，应用于直播画面的数字抓取，其特征在于，其包括：
根据预设的抓图规则，抓取直播中需要进行数字识别区域的图片；
将抓取的图片按时间轴排列，调整至预设的分辨率后作为待识别图片，或者，将抓取的的图片调整至预设的分辨率后按时间轴排列，并得到待识别图片；
将待识别图片按照时间顺序输入卷积神经网络，并由所述卷积神经网络按照时间顺序提取每张图片的第一数字特征信息；
将所述第一数字特征信息按时间顺序输入循环神经网络，循环神经网络结合图片的时间顺序和第一数字特征信息，得到第二数字特征信息；
对第二数字特征信息进行识别并输出识别结果。


2.如权利要求1所述的一种通用数字识别的方法，其特征在于，所述抓图规则为：
识别播放视频流的直播界面；
对直播界面进行特征匹配，获取直播界面中符合预设特征样式的区域；
对该区域进行抓图。


3.如权利要求1所述的一种通用数字识别的方法，其特征在于，所述抓图规则为：
预设直播间主题和直播画面抓取区域的对应关系；
根据直播主题，获取直播画面中对应抓取区域的图片。


4.如权利要求1所述的一种通用数字识别的方法，其特征在于，所述卷积神经网络按照时间顺序提取第一数字特征信息具体为：
所述卷积神经网络使用多层残差网络从待识别图片中提取特征并获得第一数字特征信息。


5.如权利要求1所述的一种通用数字识别的方法，其特征在于，循环神经网络结合图片的时间顺序和第一数字特征信息，得到第二数字特征信息具体为：
所述循环神经网络使用LSTM网络在识别第一数字特征信息时结合第一数字特征信息图片的前后图片的第一数字特征信息来输出第二数字特征信息。<...

【专利技术属性】
技术研发人员：钟志伟，陈少杰，张文明，
申请(专利权)人：武汉斗鱼网络科技有限公司，
类型：发明
国别省市：湖北;42