触摸式用户界面输入中的手势笔画识别制造技术

一种用于识别经由触摸式用户界面施加到电子文档上的用户输入中的手势笔画的方法，所述方法包括：接收基于所述用户输入生成的数据，所述数据表示笔画并且包括在矩形坐标空间中的多个墨点和分别与所述多个墨点相关联的多个时间戳；将所述多个墨点分割成多个片段，所述多个片段各自对应于所述笔画的相应子笔画并且包括所述多个墨点的相应子集；分别基于所述多个片段生成多个特征向量；以及将所述多个特征向量作为表示所述笔画的输入序列施加到已训练的笔画分类器以生成概率的向量，所述概率包括所述笔画是非手势笔画的概率和所述笔画是一组手势笔画中的给定手势笔画的概率。笔画是一组手势笔画中的给定手势笔画的概率。笔画是一组手势笔画中的给定手势笔画的概率。

【技术实现步骤摘要】
【国外来华专利技术】触摸式用户界面输入中的手势笔画识别


[0001]本专利技术涉及触摸式用户界面中的手势识别领域。

技术介绍

[0002]在经由触摸式用户界面进行电子文档创建或编辑的情景中，需要在手势笔画(即与对内容实现限定的动作相关联的笔画)与非手势笔画(诸如，用户正在添加的实际内容(例如文本、公式、形状等))之间做出区分。
[0003]现有的手势识别技术是基于规则的。更具体来说，现有的手势识别技术依靠手动限定用于识别限定的一组手势的一组启发法。虽然这些技术的表现通常可接受，但其对于更复杂/非典型的手势笔画来说则通常表现不佳。另外，由于每一次都需要针对新手势笔画开发新启发法，因此更新这些技术以添加新手势笔画是困难的。

技术实现思路

[0004]本专利技术解决一些已认识到的现有技术的不足。具体来说，本专利技术提出一种识别经由触摸式用户界面施加到电子文档上的用户输入中的手势笔画的方法，所述方法包括：
[0005]接收基于所述用户输入生成的数据，所述数据表示笔画并且包括在矩形坐标空间中的多个墨点和分别与所述多个墨点相关联的多个时间戳；
[0006]将所述多个墨点分割成多个片段，所述多个片段各自对应于所述笔画的相应子笔画并且包括所述多个墨点的相应子集；
[0007]分别基于所述多个片段生成多个特征向量；以及
[0008]将所述多个特征向量作为表示所述笔画的输入序列施加到已训练的笔画分类器以生成概率的向量，所述概率包括所述笔画是非手势笔画的概率和所述笔画是一组手势笔画中的给定手势笔画的概率。
[0009]所述笔画分类器可被实施为神经网络。使用神经网络意味着可通过基于包括新手势笔画的数据简单地对所述笔画分类器进行再训练来容易地添加所述新手势笔画。
[0010]根据实施方案，所述电子文档可包括手写内容和/或排版内容。
[0011]所述子笔画分割允许沿循将获得的所述笔画的路径的顺序表示。因此每一片段对应于所述笔画的局部描述。与仅将笔画表示为一系列点相比，子笔画分割使得能维持路径信息(即，每一片段内的点之间的关系)，这会使得计算时间缩短。
[0012]在一个实施方案中，所述笔画分类器被实施为递归双向长短期记忆(BLSTM)。使用递归BLSTM神经网络意味着所述网络包括存储器块，所述存储器块使得所述网络能够学习长期相关性并且随时间推移而记住信息。此类网络使得笔画分类器能处置一系列向量(整个笔画)并且解释连续子笔画之间的时间相关性(即，记住笔画的路径的细节)。
[0013]在一个实施方案中，所述方法还包括基于所述多个时间戳生成多个校正的时间戳。
[0014]校正所述多个时间戳有利于移除与装置捕捉相关的伪影并且改善手势笔画识别。
实际上，由于装置捕捉问题，通常某些时间戳并不对应于其相应的墨点被绘制的确切时刻。例如，在某些装置中，分配给墨点的时间戳对应于将含有所述墨点的事件日志发送到处理器单元的时间，而不是对应于捕捉墨点的精确时刻。因此，在接收到的数据中不同的连续墨点可能具有相同的时间戳值。校正所述多个时间戳确保时间戳更好地反映用户绘制相应墨点的确切时刻。借此达成改善的手势识别。
[0015]在一个实施方案中，基于所述多个时间戳生成所述多个校正的时间戳包括：
[0016]确定逼近所述多个墨点的原始时间戳曲线的函数；以及
[0017]将所述多个时间戳中的一个时间戳修改为根据所述确定的函数获得的值。
[0018]在一个实施方案中，所述方法还包括对所述多个墨点进行重新取样以生成第二多个墨点和相关联的第二多个时间戳，
[0019]对所述多个墨点进行重新取样有利于确保不同的装置具有均一的性能。实际上，由于装置通常使用不同的取样技术，因此在装置之间接收到的数据可能会在取样特性方面有所不同。
[0020]在一个实施方案中，所述第二多个时间戳的特征在于连续时间戳之间的固定持续时间。
[0021]在一个实施方案中，所述重新取样包括内插所述多个墨点和所述相关联的多个时间戳以生成所述第二多个墨点和所述相关联的第二多个时间戳。
[0022]在一个实施方案中，所述分割所述多个墨点包括将所述多个墨点分割成使得所述多个片段具有相等的持续时间。另一选择为或另外，所述多个片段可具有相等数目的墨点。示出识别准确性的改善是由于使用这些分割技术中的一者或多者。
[0023]在一个实施方案中，分别基于所述多个片段生成所述多个特征向量包括针对所述多个片段中与相应子笔画对应的每一片段：
[0024]生成表示所述相应子笔画的形状的几何特征；以及
[0025]生成表示所述子笔画与邻近所述子笔画的内容之间的空间关系的邻域特征。
[0026]邻近所述子笔画的内容可被限定为与相对于所述子笔画居中的窗口相交的内容。
[0027]根据此实施方案，与子笔画相关联的特征向量描述所述子笔画的形状和绘制有所述子笔画的内容。这两种类型的信息是互补的并且允许非常准确地识别出笔画是手势笔画还是非手势笔画。
[0028]在一个实施方案中，生成几何特征包括生成所述子笔画的统计子笔画几何特征和/或全局子笔画几何特征。所述统计子笔画几何特征是从对个别墨点几何特征执行的统计分析导出的特征。所述全局子笔画几何特征是表示总体子笔画路径的特征(例如长度、曲率等)。
[0029]在一个实施方案中，生成统计子笔画几何特征包括针对一组几何特征中的每一几何特征：
[0030]确定与所述相应子笔画对应的所述片段的墨点的相应值；以及
[0031]基于所述确定的相应值计算一个或多个统计量度。
[0032]在一个实施方案中，生成所述子笔画的所述全局子笔画几何特征包括计算以下各项中的一者或多者：子笔画长度、所述子笔画内的单数墨点的计数、和所述子笔画长度与所述子笔画的第一个墨点与最后一个墨点之间的距离之间的比率。
[0033]在一个实施方案中，生成所述邻域特征包括生成以下各项中的一者或多者：
[0034]文本邻域特征，所述文本邻域特征表示所述子笔画与邻近所述子笔画的文本内容之间的空间关系；
[0035]数学邻域特征，所述数学邻域特征表示所述子笔画与邻近所述子笔画的数学内容之间的空间关系；以及
[0036]非文本邻域特征，所述非文本邻域特征表示所述子笔画与邻近所述子笔画的非文本内容之间的空间关系。
[0037]另一方面，本专利技术提供一种计算装置，所述计算装置包括：
[0038]处理器；以及
[0039]存储器，所述存储器存储指令，所述指令在由所述处理器执行时将所述处理器配置成执行根据上述方法实施方案中的任一者的方法。
[0040]在一个实施方案中，上述方法实施方案中的任一者可被实施为计算机程序的指令。因此，本公开提供一种包括指令的计算机程序，所述指令在由处理器执行时使得所述处理器执行根据上述方法实施方案中任一者的方法。
[0041]所述计算机程序可使用任何编程语言并且可呈如下形式：源代码、对象本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于识别经由触摸式用户界面施加到电子文档上的用户输入中的手势笔画的方法，所述方法包括：接收(100)基于所述用户输入生成的数据，所述数据表示笔画并且包括在矩形坐标空间中的多个墨点和分别与所述多个墨点相关联的多个时间戳；将所述多个墨点分割(104)成多个片段，所述多个片段各自对应于所述笔画的相应子笔画并且包括所述多个墨点的相应子集；分别基于所述多个片段生成(106)多个特征向量；以及将所述多个特征向量作为表示所述笔画的输入序列应用(108)于已训练的笔画分类器以生成概率的向量，所述概率包括所述笔画是非手势笔画的概率和所述笔画是一组手势笔画中的给定手势笔画的概率。2.如权利要求1所述的方法，所述方法包括：基于所述多个时间戳生成多个校正的时间戳。3.如权利要求2所述的方法，其中基于所述多个时间戳生成所述多个校正的时间戳包括：确定逼近所述多个墨点的原始时间戳曲线(304)的函数(302)；以及将所述多个时间戳中的一个时间戳修改为根据所述确定的函数(302)获得的值。4.如权利要求1至3中任一项所述的方法，所述方法包括：对所述多个墨点进行重新取样以生成第二多个墨点和相关联的第二多个时间戳，所述第二多个时间戳的特征在于连续时间戳之间的固定持续时间。5.如权利要求4所述的方法，其中所述重新取样包括内插所述多个墨点和所述相关联的多个时间戳以生成所述第二多个墨点和所述相关联的第二多个时间戳。6.如权利要求4至5中任一项所述的方法，其中所述分割包括将所述多个墨点分割成使得所述多个片段具有相等的持续时间。7.如权利要求6所述的方法，其中所述多个片段具有相等数目的墨点。8.如权利要求1至7中任一项所述的方法，其中分别基于所述多个片段生成所述多个特征向量包括针对所述多个片段中与相应子笔画对应的每一片段：生成表示所述相应子笔画的...

【专利技术属性】
技术研发人员：卡乌拉，
申请(专利权)人：迈思慧公司，
类型：发明
国别省市：