手写识别方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术涉及模式识别技术领域，提供一种手写识别方法、装置、电子设备和存储介质，其中方法包括：确定待识别的手写数据，手写数据包括匹配的笔画轨迹和手写图像；基于轨迹编码器，提取笔画轨迹的轨迹特征，并基于图像编码器，提取手写图像的图像特征，轨迹编码器和图像编码器采用差异化的训练策略训练得到；基于双模态解码器，应用图像特征和轨迹特征之间的差异化信息，将轨迹特征和图像特征进行融合，并基于融合后的特征进行手写识别。本发明专利技术提供的手写识别方法、装置、电子设备和存储介质，能够显著提升在双模态数据不匹配场景下的识别能力。著提升在双模态数据不匹配场景下的识别能力。著提升在双模态数据不匹配场景下的识别能力。

【技术实现步骤摘要】
手写识别方法、装置、电子设备和存储介质


[0001]本专利技术涉及模式识别
，尤其涉及一种手写识别方法、装置、电子设备和存储介质。

技术介绍

[0002]作为一种简单方便而又高效的输入方式，手写识别改变了传统的基于复杂编码或拼音输入的键盘模式，为自然人性的人机交互提供了便利条件。
[0003]目前的手写识别主要分为在线模态和离线模态两种，其中在线模态是基于用户手写过程中采集的笔画轨迹信号进行手写识别；离线模态是基于用户手写所得的图像进行手写识别。
[0004]虽然存在将在线模态和离线模态联合建模的方案，但在实际手写识别场景中由于在线手写轨迹采集的成本较高，离线图像的数量往往大于在线轨迹的数量，导致在线模态和离线模态的数据不均衡，大大降低了识别准确率。

技术实现思路

[0005]本专利技术提供一种手写识别方法、装置、电子设备和存储介质，用以解决现有技术中单一模态识别效果有限，双模态数据不均衡，导致识别准确性差的缺陷。
[0006]本专利技术提供一种手写识别方法，包括：
[0007]确定待识别的手写数据，所述手写数据包括匹配的笔画轨迹和手写图像；
[0008]基于轨迹编码器，提取所述笔画轨迹的轨迹特征，并基于图像编码器，提取所述手写图像的图像特征，所述轨迹编码器和所述图像编码器采用差异化的训练策略训练得到；
[0009]基于双模态解码器，应用所述图像特征和所述轨迹特征之间的差异化信息，将所述轨迹特征和所述图像特征进行融合，并基于融合后的特征进行手写识别。
[0010]根据本专利技术提供的手写识别方法，所述应用所述图像特征和所述轨迹特征之间的差异化信息，将所述轨迹特征和所述图像特征进行融合，包括：
[0011]对所述手写图像的图像特征进行上下文编码，得到当前解码时刻的图像上下文特征，对所述笔画轨迹的轨迹特征进行上下文编码，得到当前解码时刻的轨迹上下文特征；
[0012]应用所述图像上下文特征和所述轨迹上下文特征之间的差异化信息，将所述轨迹上下文特征和所述图像上下文特征进行融合。
[0013]根据本专利技术提供的手写识别方法，所述应用所述图像上下文特征和所述轨迹上下文特征之间的差异化信息，将所述轨迹上下文特征和所述图像上下文特征进行融合，包括：
[0014]将所述图像上下文特征和轨迹上下文特征中的任一特征投影到另一特征的特征空间，得到与所述另一特征正交的所述任一特征中的正交特征分量；所述任一特征中的正交特征分量用于表征所述图像上下文特征和所述轨迹上下文特征之间的差异化信息；
[0015]将所述任一特征中的正交特征分量与所述另一特征进行融合。
[0016]根据本专利技术提供的手写识别方法，所述基于轨迹编码器，提取所述笔画轨迹的轨
迹特征包括：
[0017]基于轨迹编码器，提取所述笔画轨迹的第一轨迹特征，并基于图像编码器，提取所述手写图像的第一图像特征；
[0018]基于所述笔画轨迹中各轨迹点在所述第一图像特征中的位置，对所述第一图像特征进行采样，得到所述手写图像的第二图像特征；
[0019]将所述第一轨迹特征与所述第二图像特征进行融合，并将融合后的特征作为所述笔画轨迹的轨迹特征。
[0020]根据本专利技术提供的手写识别方法，所述手写数据还包括非匹配的笔画轨迹和/或非匹配的手写图像，所述方法还包括：
[0021]基于所述轨迹编码器，提取所述非匹配的笔画轨迹的轨迹特征，并基于轨迹解码器，对所述非匹配的笔画轨迹的轨迹特征进行手写识别；和/或，
[0022]基于所述图像编码器，提取所述非匹配的手写图像的图像特征，并基于图像解码器，对所述非匹配的手写图像的图像特征进行手写识别。
[0023]根据本专利技术提供的手写识别方法，所述轨迹编码器、所述图像编码器、所述双模态解码器和单模态解码器构成手写识别模型，所述单模态解码器包括所述轨迹解码器和/或所述图像解码器，所述手写识别模型的获取步骤包括：
[0024]获取初始轨迹编码器、初始图像编码器、初始双模态解码器和初始单模态解码器，并随机初始化所述初始轨迹编码器的参数，其中所述初始图像编码器为预训练图像文本识别模型；
[0025]基于所述初始单模态解码器的解码损失和所述初始双模态解码器的解码损失，对所述手写识别模型进行参数迭代，得到所述手写识别模型。
[0026]根据本专利技术提供的手写识别方法，所述基于所述初始单模态解码器的解码损失和所述初始双模态解码器的解码损失，对所述手写识别模型进行参数迭代，得到所述手写识别模型，包括：
[0027]基于所述初始双模态解码器的预测结果，对所述初始单模态解码器进行蒸馏学习，得到所述初始单模态解码器的蒸馏损失；
[0028]基于所述初始单模态解码器的蒸馏损失、所述初始单模态解码器的解码损失，以及所述初始双模态解码器的解码损失，对所述手写识别模型进行参数迭代，得到所述手写识别模型。
[0029]本专利技术还提供一种手写识别装置，包括：
[0030]数据确定单元，用于确定待识别的手写数据，所述手写数据包括匹配的笔画轨迹和手写图像；
[0031]特征提取单元，用于基于轨迹编码器，提取所述笔画轨迹的轨迹特征，并基于图像编码器，提取所述手写图像的图像特征，所述轨迹编码器和所述图像编码器采用差异化的训练策略训练得到；
[0032]手写识别单元，用于基于双模态解码器，应用所述图像特征和所述轨迹特征之间的差异化信息，将所述轨迹特征和所述图像特征进行融合，并基于融合后的特征进行手写识别。
[0033]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理
器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述手写识别方法。
[0034]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述手写识别方法。
[0035]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述手写识别方法。
[0036]本专利技术提供的手写识别方法、装置、电子设备和存储介质，将笔画轨迹和手写图像充分解耦，分别提取各自的特征，同时针对笔画轨迹和手写图像的数据量不平衡问题，采用差异化的训练策略训练得到轨迹编码器和图像编码器；在此基础上，通过学习在线轨迹模态和离线图像模态之间的差异化信息，能够显著提升在双模态数据不匹配场景下的识别能力。
附图说明
[0037]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1是本专利技术提供的手写识别方法的流程示意图之一；
[0039]图2是本专利技术提供的手写识别方法中步骤130的流程示意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手写识别方法，其特征在于，包括：确定待识别的手写数据，所述手写数据包括匹配的笔画轨迹和手写图像；基于轨迹编码器，提取所述笔画轨迹的轨迹特征，并基于图像编码器，提取所述手写图像的图像特征，所述轨迹编码器和所述图像编码器采用差异化的训练策略训练得到；基于双模态解码器，应用所述图像特征和所述轨迹特征之间的差异化信息，将所述轨迹特征和所述图像特征进行融合，并基于融合后的特征进行手写识别。2.根据权利要求1所述的手写识别方法，其特征在于，所述应用所述图像特征和所述轨迹特征之间的差异化信息，将所述轨迹特征和所述图像特征进行融合，包括：对所述手写图像的图像特征进行上下文编码，得到当前解码时刻的图像上下文特征，对所述笔画轨迹的轨迹特征进行上下文编码，得到当前解码时刻的轨迹上下文特征；应用所述图像上下文特征和所述轨迹上下文特征之间的差异化信息，将所述轨迹上下文特征和所述图像上下文特征进行融合。3.根据权利要求2所述的手写识别方法，其特征在于，所述应用所述图像上下文特征和所述轨迹上下文特征之间的差异化信息，将所述轨迹上下文特征和所述图像上下文特征进行融合，包括：将所述图像上下文特征和轨迹上下文特征中的任一特征投影到另一特征的特征空间，得到与所述另一特征正交的所述任一特征中的正交特征分量；所述任一特征中的正交特征分量用于表征所述图像上下文特征和所述轨迹上下文特征之间的差异化信息；将所述任一特征中的正交特征分量与所述另一特征进行融合。4.根据权利要求1所述的手写识别方法，其特征在于，所述基于轨迹编码器，提取所述笔画轨迹的轨迹特征，包括：基于轨迹编码器，提取所述笔画轨迹的第一轨迹特征，并基于图像编码器，提取所述手写图像的第一图像特征；基于所述笔画轨迹中各轨迹点在所述第一图像特征中的位置，对所述第一图像特征进行采样，得到所述手写图像的第二图像特征；将所述第一轨迹特征与所述第二图像特征进行融合，并将融合后的特征作为所述笔画轨迹的轨迹特征。5.根据权利要求1
‑
4中任一项所述的手写识别方法，其特征在于，所述手写数据还包括非匹配的笔画轨迹和/或非匹配的手写图像，所述方法还包括：基于所述轨迹编码器，提取所述非匹配的笔画轨迹的轨迹特征，并基于轨迹解码器，对所述非匹配...

【专利技术属性】
技术研发人员：胡金水，殷兵，夏鹏程，刘辰宇，吴嘉嘉，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：