笔迹显示方法、装置、电子设备及计算机可读存储介质制造方法及图纸

一种笔迹显示方法、装置、电子设备及计算机可读存储介质，其中，笔迹显示方法，包括：获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；提取所述书写笔迹图中笔尖的图像位置信息；根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。上述笔迹显示方法、装置、电子设备及计算机可读存储介质可以无需依赖特殊硬件就可以准确地在移动终端进行笔迹显示。显示。显示。

【技术实现步骤摘要】
笔迹显示方法、装置、电子设备及计算机可读存储介质


[0001]本申请实施例涉及数据显示
，尤其涉及一种笔迹显示方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着互联网技术和智能电子设备的不断发展，在线学习已经成为一种主流的学习方式，在进行在线学习时，通常需要实时跟踪用户的书写内容并显示在移动终端上。现有技术中通常通过以下方式实时跟踪用户的书写内容并显示：使用带有电磁感应技术的数码笔，从而通过电磁感应技术跟踪数码笔的书写内容并显示在交互电子设备上。这种技术的缺点是需要特殊的数码笔和电子设备，并且可能会受到电磁干扰的影响，从而导致笔迹显示并不准确。

技术实现思路

[0003]本申请实施例提供一种笔迹显示方法、装置、电子设备及计算机可读存储介质，可实现无需依赖特殊硬件就可以准确地在移动终端进行笔迹显示的目的。
[0004]本申请实施例一方面提供了一种笔迹显示方法，包括：
[0005]获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；
[0006]提取所述书写笔迹图中笔尖的图像位置信息；
[0007]根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；
[0008]在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。
[0009]本申请实施例一方面还提供了一种笔迹显示装置，包括：
[0010]图像获取模块，用于获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的多帧书写笔迹图；
[0011]图像获取模块，用于获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；
[0012]特征提取模块，用于提取所述书写笔迹图中笔尖的图像位置信息；
[0013]笔迹预测模块，用于根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；
[0014]笔迹显示模块，用于在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。
[0015]本申请实施例一方面还提供了一种电子设备，包括：存储器和处理器；所述存储器存储有可执行程序代码；与所述存储器耦合的所述处理器，调用所述存储器中存储的所述可执行程序代码，执行如上述实施例提供的笔迹显示方法。
[0016]本申请实施例一方面还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现上述实施例提供的笔迹显示方法。
[0017]从上述本申请各实施例可知，通过获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；提取所述书写笔迹图中笔尖的图像位置信息；根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。本申请实施例无需特殊的数码笔和电子设备，通过获取书写笔迹图，进而提取笔尖的图像位置信息，再基于笔尖的图像位置信息确定笔尖的实际位置，最后根据实际位置在移动终端中可书写对象的电子文档上显示书写笔迹，实现了无需依赖特殊硬件就可以在移动终端中准确地进行笔迹显示的目的。
附图说明
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本申请一实施例提供的笔迹显示方法的实现流程图；
[0020]图2a为本申请一实施例提供的摄像头拍摄显示镜中成像的可书写对象的书写信息的示例图；
[0021]图2b为本申请一实施例提供的显示镜的侧面立体示例图；
[0022]图3为本申请一实施例提供的笔迹显示装置的结构示意图；
[0023]图4为本申请一实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0024]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]参见图1，图1为本申请一实施例提供的笔迹显示方法的实现流程图。该方法可应用于电子设备中，该电子设备可以为便携式的或固定安装于预置位置的，如图1所示，该方法具体包括：
[0026]步骤S11，获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；
[0027]本实施例中，移动终端为可移动的电子设备，可移动终端内置一个或至少两个摄像头，移动终端可以安装操作系统以及多种应用软件。例如，移动终端为平板电脑。
[0028]本实施例中，显示镜是镜子的一种，例如，显示镜为反光镜。
[0029]本实施例中，可书写对象可以是教材、试卷、笔记本等纸质材料。用户可以通过铅笔、钢笔、水性笔等常用文具在可书写对象上进行书写。
[0030]具体的，显示镜安装于移动终端上，显示镜的镜面与可书写对象成一定角度设置
(例如，显示镜的镜面与可书写对象平行设置)。因此，可书写对象可在显示镜中成像，当用户在可书写对象上进行书写时，书写信息也在显示镜中成像。
[0031]本实施例中，摄像头对显示镜进行连续或者间隔预设时间拍摄，从而能够采集到不同时刻显示镜内成像的可书写对象的书写信息，即书写笔迹图，本实施例中，可以采集多帧书写笔迹图。
[0032]本实施例中，书写笔迹图可包含用户手持书写工具(如笔)以及用户书写的内容。
[0033]请参见图2a和图2b，图2a为摄像头拍摄显示镜中成像的可书写对象的书写信息的示例图，图2b为显示镜的侧面立体示例图。
[0034]在图2a中，可书写对象为试卷，用户手持笔在试卷上书写，显示镜安装于平板电脑的摄像头前，平板电脑上的显示镜如图2b所示，显示镜的镜面为斜面的，从而可以将可书写对象(即试卷)的书写信息在显示镜中成像，并通过移动终端的摄像头直接拍摄显示镜中的内容，采集到可书写对象的书写信息的图像。
[0035]步骤S12，提取所述书写笔迹图中笔尖的图像位置信息；
[0036]本实施例中，可以通过目标检测算法提取书写笔迹图中笔尖的图像位置信息，具体的，当通过步骤S11获取到多帧书写笔迹图时，采集每帧书写笔迹图中笔尖的图像位置信息。
[0037]具体的，可以使用训练好的笔尖检测模型对书写笔迹图进行笔尖检测，将书写笔迹图输入训练好的笔尖检测模型中，进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种笔迹显示方法，其特征在于，所述方法包括：获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；提取所述书写笔迹图中笔尖的图像位置信息；根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。2.根据权利要求1所述的方法，其特征在于，所述根据多帧所述书写笔迹图中笔尖的位置信息和跟踪算法确定多帧所述书写笔迹图中笔尖的运动轨迹，包括：获取卡尔曼滤波器包括的笔尖的运动学方程、笔尖状态向量、笔尖的状态转移矩阵、笔尖的位置观测方程、过程噪声协方差矩阵、状态协方差矩阵；对所述笔尖状态向量和所述状态协方差矩阵进行初始化；利用所述笔尖的状态转移矩阵预测所述书写笔迹图中笔尖的预测位置，利用所述状态转移矩阵和所述过程噪声协方差矩阵更新所述状态协方差矩阵；利用卡尔曼增益和所述书写笔迹图中笔尖的图像位置信息和所述卡尔曼增益更新所述书写笔迹图中笔尖的预测位置。3.根据权利要求1所述的方法，其特征在于，所述提取所述书写笔迹图中笔尖的图像位置信息之前，所述方法还包括：对所述书写笔迹图进行图像矫正处理。4.根据权利要求1所述的方法，其特征在于，所述提取所述书写笔迹图中笔尖的图像位置信息，包括：通过YOLO算法提取所述书写笔迹图中笔尖的图像位置信息。5.根据权利要求1所述的方法，其特征在于，所述在所述移动终端中显示所述可书写对象的电子文档，包括：通过所述书写笔迹图获取所述可书写对象的图像信息；通过预训练的书写对象识别模型识别所述可书写对象的图像信息，得到所述可书写对象的特征信息；根据所述可书写对象的特征信息...

【专利技术属性】
技术研发人员：杨文，丛会苹，
申请(专利权)人：深圳市超像素智能科技有限公司，
类型：发明
国别省市：