【技术实现步骤摘要】
本专利技术涉及计算机视觉与模式识别，尤其是一种基于部首表示学习的零样本汉字识别方法。
技术介绍
1、汉字识别有着多年的研究背景并且受到广泛应用。然而，传统汉字识别模型是基于封闭集假设的，它们无法识别训练集中未见过的汉字类别。在当前互联网盛行的时代下，新字符和生僻字等不断涌现，使得汉字识别正面对着严峻的挑战。近年来，零样本汉字识别受到了广泛的研究关注，由于其具备识别未见类汉字的能力，例如历史文档识别、开放集文本识别。零样本汉字识别转变了传统汉字识别的识别思路，它将汉字视作一种更细粒度的目标(部首或笔画的描述)，而非一个整体(字符)。由于部首和笔画是汉字共享的属性，零样本汉字识别方法可以通过探索和学习已见字符类的属性知识，从而具备识别未见字符类的能力。现有的零样本汉字识别方法尝试将汉字分解成序列形式，通过将视觉特征经过注意力解码来预测其部首或者笔画序列，然后通过匹配算法(如编辑距离)预测汉字，根据序列最小单位可以分为部首级和笔画级方法。由于，预测序列常常出现重复、错漏，因此基于序列分解的方法容错率很低。为了解决这个问题，一些方法提出将部首根据表意描述序列(ids)构建嵌入向量，然后通过将图像特征转换到同一语义空间中进行字符识别。
2、尽管这些方法已经逐步改善零样本汉字识别的缺陷，但它们是直接地对全局图像特征解码，而这些特征并不足以表示汉字的细粒度信息(例如"说"的"讠")，因为这种关键部首仅包含在视觉图像的小部分区域中。因此，图像特征直接向语义特征的转化是有缺陷的，导致视觉语义交互性较差。另一方面，这些ids嵌入方法多为
技术实现思路
1、本专利技术的目的在于提出一种基于部首表示学习的零样本汉字识别方法，增强了区域特征关联性，以提高其可转化性。通过定位图像特征具有判别性的偏旁部首区域来学习更加细粒度的部首表示特征，从而提高图像特征向语义特征转化的可靠性，有效解决了零样本设置下的模型缺陷，提高了对未见汉字的识别能力。
2、为实现上述目的，本专利技术的技术方案是：一种基于部首表示学习的零样本汉字识别方法，包括以下步骤；
3、步骤s1、建立零样本汉字识别数据集，将汉字识别数据集中的汉字根据部首和结构解析成唯一的部首二叉树结构，通过先序遍历部首二叉树获取汉字表意描述序列，设汉字c的表意描述序列记为ids(c)＝r1,r2,r3,…,rn，其中，r1到rn表示部首或结构表示符的类别，n表示该表意描述序列中部首和结构表示符的个数；
4、步骤s2、根据数据集中所有汉字的表意描述序列，建立所有汉字的语义嵌入向量和所有部首及结构的嵌入向量其中n代表总的汉字类别数，m代表所有汉字中所包含的所有部首和结构表示符数，c表示通道数；
5、步骤s3、汉字图像经过resnet网络提取图像的深度特征，汉字图像深度特征表示为其中h、w和c分别表示特征图的高、宽和通道数；
6、步骤s4、建立特征增强编码模块，特征增强编码模块将汉字图像深度特征f网格化表示，通过计算各个网格特征之间的相对关系获取汉字图像的相对几何特征，从而对汉字图像特征进行增强，将增强特征记为增强过程中对汉字图像特征的高和宽进行展平处理，即i＝h·w；
7、步骤s5、建立部首表示解码模块，在部首及结构嵌入向量a的引导下，部首表示解码模块从中学习和定位汉字图像中最关键的部首表示特征，将经过部首化表示的图像特征记为
8、步骤s6、建立汉字匹配模块，汉字匹配模块利用经过部首化表示的图像特征fr和部首及结构的嵌入向量a来生成汉字图像的预测语义嵌入向量然后将spred与所有汉字的语义嵌入向量s进行匹配，选择概率最大的结果作为识别结果。
9、优选的，所述步骤s1中，部首二叉树的叶子节点皆为部首表示符，父节点皆为结构表示符，子节点根据父节点的结构组成汉字。
10、优选的，所述步骤s2中，汉字的语义嵌入向量根据汉字的表意描述序列获得，其嵌入表达式为：
11、
12、其中，ri∈ids(c)表示汉字c的表意描述序列中的第oi个部首或结构表示符的类别，p(ri)表示ri在所有汉字部首和结构中出现的概率。
13、优选的，部首及结构的嵌入向量通过word2vec模型嵌入获得，其嵌入表达式为：
14、
15、其中，为统计所有汉字的表意描述序列得到的所有的部首和结构表示符的集合，m表示所有的部首和结构表示符的数目，表示部首或结构表示符。
16、优选的，所述步骤s4中，相对几何特征的获取具体为：
17、将汉字图像深度特征f进行网格化编码，根据特征图的高和宽将其分割为h·w个网格，获取每个网格的2d位置坐标对，设第p个网格的2d位置坐标对为通过2d位置坐标对计算第p个网格的中心坐标(cup,cvp)以及网格的宽wp和高hp：
18、
19、其中，和分别代表网格的左上角和右下角位置坐标；
20、则第p个网格相对于第q个网格的区域几何特征gpq表示为：
21、
22、其中，relu()表示激活函数，fc()表示线性层，表示可学习超参数矩阵，rpq表示第p个网格相对第q个网格的相对几何关系；
23、在上述公式的基础上，为了表征整个汉字图像的全局几何关系，最终的相对几何特征g通过求取所有网格之间的相对几何特征的平均值获得，具体如下：
24、
25、其中，z表示特征图上的网格总数，gpq表示第p个网格相对于第q个网格的相对几何特征。
26、优选的，所述步骤s4中，增强特征是基于提取的相对几何特征g，使用缩放点积注意力对汉字图像深度特征f进行增强，获得的细化的增强特征具体如下：
27、
28、
29、其中，qf、kf和vf分别表示注意力计算中的查询、键和值，和分别表示查询、键、值中的可学习超参数矩阵，zavg表示减去几何纠缠的注意力特征，softmax()是归一化指数函数，表示注意力的比例因子，公式(10)表示减去几何纠缠的注意力特征与汉字图像深度特征f相加得到增强特征
30、优选的，所述步骤s5具体为：
31、部首解码模块采用transformer网络进行设计，利用部首及结构的嵌入向量a来学习增强特征中的部首表示，部首及结构的嵌入向量a作为多头注意力层的查询，增强特征作为键和值，解析增强特征从而得到多头注意力特征多头注意力机制计算过程表示为：
32、
33、其中，qj、kj和vj分别表示第j个注意力头的查询、键和值，和表示第j个注意力头中查询、键和值的可学习超参数矩阵，headj代表第j个注意力头，dk是比例因子，表示多头注意力特征，表示特征拼接操作，wo表示一个可学习超参数矩阵；
34、获得的多头注意力特征将进入部首解码模块的前馈层以生成部首化表示的图像特征本文档来自技高网...
【技术保护点】
1.一种基于部首表示学习的零样本汉字识别方法，其特征在于，包括以下步骤；
2.根据权利要求1所述的一种基于部首表示学习的零样本汉字识别方法，其特征在于，所述步骤S1中，部首二叉树的叶子节点皆为部首表示符，父节点皆为结构表示符，子节点根据父节点的结构组成汉字。
3.根据权利要求1所述的一种基于部首表示学习的零样本汉字识别方法，其特征在于，所述步骤S2中，汉字的语义嵌入向量根据汉字的表意描述序列获得，其嵌入表达式为：
4.根据权利要求1所述的一种基于部首表示学习的零样本汉字识别方法，其特征在于，部首及结构的嵌入向量通过Word2Vec模型嵌入获得，其嵌入表达式为：
5.根据权利要求1所述的一种基于部首表示学习的零样本汉字识别方法，其特征在于，所述步骤S4中，相对几何特征的获取具体为：
6.根据权利要求5所述的一种基于部首表示学习的零样本汉字识别方法，其特征在于，所述步骤S4中，增强特征是基于提取的相对几何特征G，使用缩放点积注意力对汉字图像深度特征F进行增强，获得的细化的增强特征具体如下：
7.根据权利要求1所述
8.根据权利要求1所述的一种基于部首表示学习的零样本汉字识别方法，其特征在于，所述步骤S6中，所述预测语义嵌入向量Spred的生成以及所述识别结果的获取具体为：
9.根据权利要求1所述的一种基于部首表示学习的零样本汉字识别方法，其特征在于，步骤S3、S4、S5和S6中提到的ResNet网络、特征增强编码模块、部首表示解码模块和汉字匹配模块作为整体采用部首嵌入交叉熵函数进行参数优化：
10.根据权利要求1所述的一种基于部首表示学习的零样本汉字识别方法，其特征在于，步骤S3、S4、S5和S6中提到的ResNet网络、特征增强编码模块、部首表示解码模块和汉字匹配模块作为整体采用部首回归损失进行优化，部首回归损失通过最小化真实语义嵌入向量和预测向量之间的均方误差来实现参数优化：
...【技术特征摘要】
1.一种基于部首表示学习的零样本汉字识别方法，其特征在于，包括以下步骤；
2.根据权利要求1所述的一种基于部首表示学习的零样本汉字识别方法，其特征在于，所述步骤s1中，部首二叉树的叶子节点皆为部首表示符，父节点皆为结构表示符，子节点根据父节点的结构组成汉字。
3.根据权利要求1所述的一种基于部首表示学习的零样本汉字识别方法，其特征在于，所述步骤s2中，汉字的语义嵌入向量根据汉字的表意描述序列获得，其嵌入表达式为：
4.根据权利要求1所述的一种基于部首表示学习的零样本汉字识别方法，其特征在于，部首及结构的嵌入向量通过word2vec模型嵌入获得，其嵌入表达式为：
5.根据权利要求1所述的一种基于部首表示学习的零样本汉字识别方法，其特征在于，所述步骤s4中，相对几何特征的获取具体为：
6.根据权利要求5所述的一种基于部首表示学习的零样本汉字识别方法，其特征在于，所述步骤s4中，增强特征是基于提取的相对几何特征g，使用缩放点积注...
【专利技术属性】
技术研发人员：王大寒，潘松良，尹华一，李焜炽，张煦尧，朱顺痣，
申请(专利权)人：厦门理工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。