一种图像识别方法和相关装置制造方法及图纸

本申请公开了一种图像识别方法和相关装置，先获取目标应用程序的帧集合，基于帧集合中的显示画面帧训练初始自编码模型，由于该自编码模型是基于输入的显示画面帧通过特征提取后还原预测画面帧，并通过显示画面帧和预测画面帧的差异进行需无监督训练，故无需标注样本标签就可以训练得到具有很高提取精度的特征提取模型。然后将通过该特征提取模型获取的前述显示画面帧的特征向量，基于拟合正态分布的方式构建概率模型，从而当获取目标应用程序的待检测画面帧时，通过特征提取模型获取待检测画面帧的目标特征向量，并通过概率模型确定目标特征向量对应的预测概率，大大节约了样本标注成本，且可以识别全新的异常显示情况，提高了异常识别精度。高了异常识别精度。高了异常识别精度。

【技术实现步骤摘要】
一种图像识别方法和相关装置


[0001]本申请涉及图像识别领域，特别是涉及一种图像识别方法和相关装置。

技术介绍

[0002]通过运行终端设备中配置的应用程序，可以为用户提供不同的服务，例如提供玩游戏、文字阅读等服务。应用程序在运行时需要显示正常的图像才能提供相应的服务，例如针对游戏应用，应该基于玩家的控制显示正确的游戏场景和特效等。如果出现异常显示例如贴图错位，材质渲染失败等情况，会直接影响服务质量。
[0003]由此可见，需要能够准确的检测出图像中的异常显示情况，才能及时确定、解决导致异常显示的问题。相关技术中，主要采取监督训练的方式得到图像检测模型，并通过该检测模型来识别应用程序运行中所显示图像是否具有异常。
[0004]为了能够保证检测模型的精度，需要大量标注的异常显示样本，而且需要涉及各种可能的异常显示情况，标注成本非常高，而且训练完成后，检测模型难以识别新出现的异常显示情况。

技术实现思路

[0005]为了解决上述技术问题，本申请提供了一种图像识别方法和相关装置，无需标注样本标签即可实现较高的异常识别精度。
[0006]本申请实施例公开了如下技术方案：一方面，本申请提供一种图像识别方法，所述方法包括：获取目标应用程序的帧集合，所述帧集合包括所述目标应用程序对应的多个显示画面帧；将所述显示画面帧输入初始自编码模型，所述初始自编码模型包括初始特征提取子模型和初始图像还原子模型，所述初始特征提取子模型用于提取所述显示画面帧的初始特征向量，所述初始图像还原子模型用于基于所述初始特征向量还原得到预测画面帧；基于所述显示画面帧和所对应预测画面帧的差异，对所述初始自编码模型进行训练，将所述初始特征提取子模型训练为特征提取模型；根据所述特征提取模型获取所述显示画面帧对应的特征向量，并根据所述特征向量，基于拟合正态分布的方式构建概率模型；当获取所述目标应用程序的待检测画面帧时，通过所述特征提取模型获取所述待检测画面帧的目标特征向量，并通过所述概率模型确定所述目标特征向量对应的预测概率，所述预测概率用于标识所述待检测画面帧是否具有异常显示画面。
[0007]另一方面，本申请提供一种图像识别装置，所述装置包括：帧获取单元，用于获取目标应用程序的帧集合，所述帧集合包括所述目标应用程序对应的多个显示画面帧；输入单元，用于将所述显示画面帧输入初始自编码模型，所述初始自编码模型包
括初始特征提取子模型和初始图像还原子模型，所述初始特征提取子模型用于提取所述显示画面帧的初始特征向量，所述初始图像还原子模型用于基于所述初始特征向量还原得到预测画面帧；训练单元，用于基于所述显示画面帧和所对应预测画面帧的差异，对所述初始自编码模型进行训练，将所述初始特征提取子模型训练为特征提取模型；构建单元，用于根据所述特征提取模型获取所述显示画面帧对应的特征向量，并根据所述特征向量，基于拟合正态分布的方式构建概率模型；检测单元，用于当获取所述目标应用程序的待检测画面帧时，通过所述特征提取模型获取所述待检测画面帧的目标特征向量，并通过所述概率模型确定所述目标特征向量对应的预测概率，所述预测概率用于标识所述待检测画面帧是否具有异常显示画面。
[0008]另一方面，本申请提供一种计算机设备，所述设备包括处理器以及存储器：所述存储器用于存储计算机程序，并将所述计算机程序传输给所述处理器；所述处理器用于根据所述计算机程序中的指令执行上述方面所述的图像识别方法。
[0009]另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方面所述的图像识别方法。
[0010]另一方面，本申请实施例提供了一种包括计算机程序的计算机程序产品，当其在计算机设备上运行时，使得所述计算机设备执行所述的图像识别方法。
[0011]由上述技术方案可以看出，在对目标应用程序的待检测画面帧进行异常显示识别前，可以先获取目标应用程序的帧集合，基于帧集合中的显示画面帧训练初始自编码模型，由于该自编码模型是基于输入的显示画面帧通过特征提取后还原预测画面帧，并通过显示画面帧和预测画面帧的差异进行需无监督训练，故无需标注样本标签就可以训练得到具有很高提取精度的特征提取模型。然后将通过该特征提取模型获取的前述显示画面帧的特征向量，基于拟合正态分布的方式构建概率模型。由于异常显示画面一般出现概率很低，故帧集合中显示画面帧中属于正常显示的画面帧的占比非常高，甚至在一些场景下可能帧集合中没有异常显示的画面帧，故在不需要标注样本的情况下，前述概率模型学习到的正态分布规律基本可以准确描述正常显示的画面帧的特征特点。从而当获取目标应用程序的待检测画面帧时，通过特征提取模型获取待检测画面帧的目标特征向量，并通过概率模型确定目标特征向量对应的预测概率，这样通过前述特征提取模型和概率模型可以准确的获取标识其是否具有异常显示画面的预测概率，大大节约了样本标注成本，而且，由于概率模型学习的是正常显示的画面帧的整体特征特点，故即使在预测过程中待预测画面帧中出现了全新的异常显示情况，概率模型也可以基于学习到的特征特点识别出该异常，提高了异常识别精度。
附图说明
[0012]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0013]图1为本申请实施例提供的一种图像识别方法的应用场景示意图；图2为本申请实施例提供的一种图像识别方法的流程图；图3为本申请实施例提供的一种游戏应用程序中的显示画面帧的示意图；图4为本申请实施例提供的一种游戏地图的示意图；图5为本申请实施例提供的一种初始自编码模型的结构示意图；图6为本申请实施例提供的一种异常检测过程示意图；图7为本申请实施例提供的一种图像识别装置的结构框图；图8为本申请实施例提供的一种终端设备的结构图；图9为本申请实施例提供的一种服务器的结构图。
具体实施方式
[0014]下面结合附图，对本申请的实施例进行描述。
[0015]目前为了能够保证检测模型的精度，需要大量标注的异常显示样本，而且需要涉及各种可能的异常显示情况，标注成本非常高，而且训练完成后，检测模型难以识别新出现的异常显示情况。
[0016]为了解决上述技术问题，本申请实施例提供了一种图像识别方法和相关装置，无需标注样本标签即可实现较高的异常识别精度，即使在预测过程中待预测画面帧中出现了全新的异常显示情况，也能准确识别。
[0017]本申请实施例所提供的图像识别方法可以通过计算机设备实施，该计算机设备可以是终端设备或服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。终端设备以及服务器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别方法，其特征在于，所述方法包括：获取目标应用程序的帧集合，所述帧集合包括所述目标应用程序对应的多个显示画面帧；将所述显示画面帧输入初始自编码模型，所述初始自编码模型包括初始特征提取子模型和初始图像还原子模型，所述初始特征提取子模型用于提取所述显示画面帧的初始特征向量，所述初始图像还原子模型用于基于所述初始特征向量还原得到预测画面帧；基于所述显示画面帧和所对应预测画面帧的差异，对所述初始自编码模型进行训练，将所述初始特征提取子模型训练为特征提取模型；根据所述特征提取模型获取所述显示画面帧对应的特征向量，并根据所述特征向量，基于拟合正态分布的方式构建概率模型；当获取所述目标应用程序的待检测画面帧时，通过所述特征提取模型获取所述待检测画面帧的目标特征向量，并通过所述概率模型确定所述目标特征向量对应的预测概率，所述预测概率用于标识所述待检测画面帧是否具有异常显示画面。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述显示画面帧进行网格划分，得到多个画面子帧；确定所述多个画面子帧分别对应的亮度分布参数；所述根据所述特征向量，基于拟合正态分布的方式构建概率模型，包括：根据所述特征向量和所述亮度分布参数，基于拟合正态分布的方式构建概率模型。3.根据权利要求2所述的方法，其特征在于，所述对所述显示画面帧进行网格划分，得到多个画面子帧，包括：对所述显示画面帧进行灰度处理，得到所述显示画面帧对应的灰度图；对所述灰度图进行网格划分，得到多个画面子帧；所述确定所述多个画面子帧分别对应的亮度分布参数，包括：确定所述多个画面子帧分别对应的亮度均值和方差作为所述亮度分布参数。4.根据权利要求3所述的方法，其特征在于，所述根据所述特征向量和所述亮度分布参数，基于拟合正态分布的方式构建概率模型，包括：根据所述亮度分布参数确定所述多个画面子帧分别对应的高斯模糊核；利用所述高斯模糊核对所对应画面子帧的亮度特征进行卷积处理，得到对应的卷积特征；将所述特征向量与所述卷积特征进行拼接，得到图像特征；根据所述图像特征，基于拟合正态分布的方式构建所述概率模型。5.根据权利要求1
‑
4任意一项所述的方法，其特征在于，所述特征向量包括多个特征维度，在所述根据所述特征向量，基于拟合正态分布的方式构建概率模型之前，所述方法还包括：确定所述特征向量在所述多个特征维度下的子特征分别对应的离散程度；将所述多个特征维度中所述离散程度满足离散条件的确定为目标特征维度；从所述特征向量中删除所述目标特征维度对应的子特征。6.根据权利要求1
‑
4任意一项所述的方法，其特征在于，当所述目标应用程序为游戏应用程序时，所述获取目标应用程序的帧集合，包括：
获取所述目标应用程序的游戏地图；确定组成所述游戏地图的几何多边形的顶点集合；根据所述顶点集合中顶点在所述游戏地图中的位置关系，确定地图遍历路径；控制游戏角色沿所述地图遍历路径进行移动，并获取移动过程中的游戏画面作为所述显示画面帧。7.根据权利要求1
‑
4任意一项所述的方法，其特征在于，所述基于所述显示画面帧和所对应预测画面帧的差异，对所述初始自编码模型进行训练，包括：确定所...

【专利技术属性】
技术研发人员：黄超，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：