智能字迹评价系统的深度特征可视化的解释方法技术方案

本发明专利技术提供了一种智能字迹评价系统的深度特征可视化的解释方法。包括：获取字迹图像数据，利用智能字迹评价系统进行评分；以预处理后的字迹图像作为样本，以评分作为其标签，输入到深度学习卷积神经网络进行训练，得到训练好的网络；对新的字迹图像数据进行预处理并输入到训练好的网络；从网络的最后一层全连接层前提取得到字迹质量的深度特征图，通过CAM方法生成特征图的热图，将生成的热图映射到预处理后的字迹图像上，形成深度特征可视化的图像。能够直观清晰地得到对于字迹评分起决定性作用的局部特征，清楚地解释字迹评价系统所学到的质量特征与输入图像之间的关系，从而说明智能字迹评价系统对字迹进行评分的合理性。智能字迹评价系统对字迹进行评分的合理性。智能字迹评价系统对字迹进行评分的合理性。

【技术实现步骤摘要】
智能字迹评价系统的深度特征可视化的解释方法


[0001]本专利技术属深度学习领域，具体涉及一种智能字迹评价系统的深度特征可视化的解释方法。

技术介绍

[0002]目前在书写质量的评价
中，人工评价的方式没有统一的标准、主观化、效率低，很难快速合理地评价大量手写字体的质量。因此利用计算机来进行汉字书写质量的评价是一种趋势。目前相关的研究还比较少，有基于模板匹配的硬笔汉字书写质量评价方法，该方法通过正确性和工整性两方面对书写字迹进行评价，正确性的评价通过抽取出用户书写的汉字的笔画类型、笔画数量、同类笔画的空间位置关系、同类笔画长短关系、异类笔画拓扑关系等特征与标准模板的汉字特征进行比对实现，工整性的评价同样是通过抽取用户书写汉字的一些预定义的特征与标准模板汉字特征进行比对，获得各分项特征相似度，形成分项的工整性评价，为各分项特征赋予经过BP神经网络训练调整过的特征权重，进行加权运算得到。该基于模板匹配的方法，需要有标准模板的汉字库和能够对书写字迹进行有效评价的特征，形成标准的书写汉字库需要耗费大量的人力物力，同时选定能对书写字迹进行有效评价的特征也很困难，存在着主观性、效率低等问题。国外也有关于英文手写字体质量评价的相关研究，一些比较新的研究都是基于深度学习卷积神经网络进行的，能够通过深度神经网络自动学习到一些字体评价的关键特征，从而避免人工选择特征的相关局限，效果较于之前的基于模式识别的方法有了很大的提升。受此启发，引入深度神经网络设计智能字迹评分系统来自动学习手写汉字字迹的关键特征从而对大量的汉字数据进行评分。
[0003]基于深度神经网络的智能字迹评分系统可以提高标准化手写字体质量评价的效率，易于推广使用。然而智能字迹评分系统评价汉字字迹质量时缺乏可解释性，基于深度神经网络的智能字迹评分系统往往是被当作黑盒来处理，模型所学习到的字迹质量特征难以被直观地解释。要想大量推广使用智能字迹评分系统对字迹数据进行评分，需要寻求一种能将字迹评分系统中所学到的字迹质量特征进行可视化的解释方法，能直观地对影响评分的关键特征进行解释。

技术实现思路

[0004]为了解决以上技术问题，本专利技术提供一种智能字迹评价系统的深度特征可视化的解释方法。包括：获取字迹图像数据，利用智能字迹评价系统进行评分；以预处理后的字迹图像作为样本，以评分作为其标签，输入到深度学习卷积神经网络进行训练，得到训练好的网络；对新的字迹图像数据进行预处理并输入到训练好的网络；从网络的最后一层全连接层前提取得到字迹质量的深度特征图，通过CAM方法生成特征图的热图，将生成的热图映射到预处理后的字迹图像上，形成深度特征可视化的图像。能够直观清晰地得到对于字迹评分起决定性作用的局部特征，清楚地解释字迹评价系统所学到的质量特征与输入图像之间
的关系，从而说明智能字迹评价系统对字迹进行评分的合理性。
[0005]一种智能字迹评价系统的深度特征可视化的解释方法，其特征在于步骤如下：
[0006]S1：获取字迹图像数据：利用标准的田字格获取原始用户字迹数据；利用图像采集设备对原始用户字迹数据进行处理，得到字迹图像数据；利用智能字迹评价系统对原始用户字迹进行评分；
[0007]S2：字迹图像数据预处理：对字迹图像数据沿田字格进行边缘分割，得到若干单个字迹图像，将单个字迹图像均转换为灰度图像，进行归一化处理，调整为预设的大小，完成字迹图像数据预处理；
[0008]S3：模型训练：以预处理后得到的字迹图像作为样本数据，并以评分作为其标签，将样本数据及其标签输入到深度学习卷积神经网络，对网络进行训练，得到训练好的网络，网络的输入为字迹图像，输出为其预测评分；
[0009]S4：评分：获取新的字迹图像数据；对新的字迹图像数据按照步骤S2进行预处理，并将预处理后的字迹图像输入到步骤S3得到的训练好的网络，得到其预测评分；
[0010]S5：可视化：从网络最后一层全连接层前提取得到网络学习到的字迹质量特征图像，通过CAM方法生成特征图像的热图，将生成的热图映射到预处理后的字迹图像数据上，得到深度特征可视化的图像，包含网络对每个字进行评分时关注的关键特征，从而形成对智能字迹评分系统的可视化解释。
[0011]具体地，步骤S3中所述的深度学习卷积神经网络采用Resnet
‑
18网络。
[0012]本专利技术的有益效果是：能够对智能字迹评价系统学习到的深度特征进行可视化的解释，通过对深度特征进行可视化并将其映射到输入的原图中，得到特征可视化后的图像，可以让人更易理解字迹评分系统在对字迹图像进行评分时关注的特征，直观地看到对于字迹评分起决定性作用的局部特征——字迹质量特征，从而说明智能字迹评分系统对字迹进行评分的合理性。同时，本专利技术可推广到众多基于卷积神经网络的智能字迹评价系统中，对各种智能字迹评价系统中的深度特征进行可视化的解释，将网络学习到的字迹质量特征以热图形式呈现，说明智能字迹评分系统的合理性，从而推动汉字书写质量智能评价方法的推广使用。
附图说明
[0013]图1是本专利技术的智能字迹评价系统的深度特征可视化的解释方法流程图；
[0014]图2是书写纸张示意图；
[0015]图3是收集到的字迹图像数据示意图；
[0016]图4是预处理后的字迹图像示意图；
[0017]图5是采用本专利技术方法生成的深度特征可视化解释图像示意图。
具体实施方式
[0018]下面结合附图和实施例对本专利技术进一步说明，本专利技术包括但不仅限于下述实施例。
[0019]如图1所示，本专利技术提供了一种智能字迹评价系统的深度特征可视化的解释方法，其具体实现过程如下：
[0020]S1：获取字迹图像数据
[0021]利用标准的田字格获取原始用户字迹数据；利用图像采集设备对原始用户字迹数据进行处理，得到字迹图像数据；利用智能字迹评价系统对原始用户字迹进行评分；
[0022]作为一种实施例，所述原始用户字迹数据，通过书写纸张获得，图2是书写纸张的示意图；纸张大小为A4，书写纸的坐标为田字格，田字格为9列10行，同时纸张右边有学校、年级、姓名、性别等个人信息填写栏。图3是收集到的字迹图像数据，其为整幅图像，包括多个田字格内的多个单字。
[0023]S2：字迹图像数据预处理
[0024]对字迹图像数据进行预处理，具体如下：
[0025]对所述字迹图像数据沿田字格进行边缘分割，得到字迹图像数据中的单个字迹图像；
[0026]将单个字迹图像转换为灰度图像，并进行归一化操作；
[0027]将单个字迹图像调整成预设大小，本实施例中，预设大小为224*224像素。图4给出了预处理后的字迹图像中单个字迹图像数据示意图，其包括多个单字。
[0028]S3：模型训练
[0029]以预处理后得到的字迹图像作为样本数据，并以评分作为其标签，将样本数据及其标签输入到深度学习卷积神经网络，对网络进行训练，得到训练好的网络，训练好的网络能够对预处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能字迹评价系统的深度特征可视化的解释方法，其特征在于步骤如下：S1：获取字迹图像数据：利用标准的田字格获取原始用户字迹数据；利用图像采集设备对原始用户字迹数据进行处理，得到字迹图像数据；利用智能字迹评价系统对原始用户字迹进行评分；S2：字迹图像数据预处理：对字迹图像数据沿田字格进行边缘分割，得到若干单个字迹图像，将单个字迹图像均转换为灰度图像，进行归一化处理，调整为预设的大小，完成字迹图像数据预处理；S3：模型训练：以预处理后得到的字迹图像作为样本数据，并以评分作为其标签，将样本数据及其标签输入到深度学习卷积神经网络，对网络进行训练，得到训练好的网络，网络的输入为字迹图像，输出为其预测...

【专利技术属性】
技术研发人员：赵世杰，王鹏，冯雪，侯文宇，杨阳，韩军伟，郭雷，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：