用于书本阅读过程中的人机交互方法、装置及电子设备制造方法及图纸

本发明专利技术公开一种用于书本阅读过程中的人机交互方法，包括：通过电子设备实时采集书本的内容图像并通过显示屏显示书本内容；实时采集用户图像，分析用户的注视点位置；并对注视点的内容执行相应的操作，该相应的操作包括但不限于对注视点的内容在显示屏上进行扩充搜索。用户在阅读书本遇到问题时，例如遇到不认识的单词、不了解的背景知识时可以将视线由书本上转移至显示屏并注视显示屏的对应位置，电子设备便可以对注视点的对应内容进行扩充搜索。本发明专利技术能够实现精确的眼动追踪，可以更好地实现用户与书本内容的有效交互。另，本发明专利技术还公开一种用于书本阅读过程中的人机交互装置、电子设备及计算机可读存储介质。电子设备及计算机可读存储介质。电子设备及计算机可读存储介质。

【技术实现步骤摘要】
用于书本阅读过程中的人机交互方法、装置及电子设备


[0001]本专利技术涉及人机交互
，尤其涉及一种用于书本阅读过程中的人机交互方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]如今，越来越多的人机交互技术改变着人们的生活方式，伴随着科技的进步，人机交互也逐渐向非精确的交互方式转换。人们的日常生活中，一般是通过非精确的方式进行人与人之间的交流，因此非精确的人机交互方式符合人们日常的交互习惯。非精确的人机交互方式有多种形式，其中典型代表为语音识别、姿势识别、眼动追踪。
[0003]眼睛是心灵的窗户，相比于其它感知器官，眼睛接收到的信息量大概占人体全部接受信息量的80％-90％。眼动追踪开启了丰富的人机视觉交互新体验，对于一些要求快速响应的应用，例如在游戏、VR、AR的体验中，最能体现眼动追踪技术的优势。眼动追踪也成为了手指、语音之外的第三种人机交互方式。
[0004]近年来，国内外已经研发了许多以人眼图像为输入的眼动追踪系统，被广泛应用于医学、教育、工业控制以及人工智能等行业，并衍生出桌面式眼动仪和头戴便携式眼动仪两个主要分支。在很多人机交互场景中都需要眼动仪的参与，例如，桌面式眼动仪可以配合汽车驾驶使用，从而可以监测驾驶员的驾驶状态；飞行员可以佩戴头戴便携式眼动仪进行飞机驾驶研究。眼动仪还可以为平面设计、广告服务、用户体验等行业提供有力帮助。
[0005]以往，人们在进行书本阅读和学习时，当需要了解书本内容之外的更多的背景知识以及辅导时，往往需要通过手动上网搜索相关背景知识、教学视频等。例如，人们在利用课本阅读英语短文时，若遇到不认识的单词，则需要手动通过网络查找单词的意思，这会影响人们的学习效率以及学习过程中的体验感。现今，通过设置桌面式眼动仪来解决这一问题，减少了用户繁琐的手动处理，提高了用户的学习效率，给用户带来很好的体验感，不会出现由于不及时查阅过后忘掉的情况。
[0006]但是，用户在阅读书本时，书本往往是摆在桌面式眼动仪的下方位置，用户在阅读书本内容时，由于上眼皮的遮挡，桌面式眼动仪无法采集到完整的眼部特征信息，而由于眼部特征信息的丢失，桌面式眼动仪将无法精确进行眼动追踪，甚至还会出现追踪失败的问题。因此，用户使用桌面式眼动仪并不能很好地与书本上的内容进行交互。
[0007]因此，亟需提供一种能够解决上述问题的用于书本阅读过程中的人机交互方法、装置、电子设备及计算机可读存储介质。

技术实现思路

[0008]本专利技术的目的在于提供一种用于书本阅读过程中的人机交互方法、装置、电子设备及计算机可读存储介质，以更好地实现用户与书本内容的交互。
[0009]为实现上述目的，本专利技术提供了一种用于书本阅读过程中的人机交互方法，包括：书本内容采集显示步骤：采集书本的内容图像并通过显示屏显示所述内容图像。用户图像
采集步骤：实时采集用户图像。注视点获取步骤：由所述用户图像获得用户在所述显示屏上的注视点。以及，操作步骤：对所述注视点的内容执行相应的操作，所述相应的操作包括对所述注视点的内容在所述显示屏上进行扩充搜索。
[0010]较佳地，于用户在阅读书本的过程中遇到问题而同步观看所述显示屏上的对应位置时获取到所述注视点，所述“对所述注视点的内容在所述显示屏上进行扩充搜索”包括成语释义、背景资料查询、英文翻译、题目答案查询、图像检索之至少一者。
[0011]较佳地，所述“由所述用户图像获得用户在所述显示屏上的注视点”具体为：由所述用户图像判断用户的头部方向，由用户的头部方向判断用户是否注视所述显示屏；当判断出用户注视所述显示屏时，由该用户图像分析获得用户在所述显示屏上的注视点。
[0012]较佳地，当所述注视点的内容显示大小小于追踪精度时，放大所述注视点的区域，并进一步获取用户在放大后的区域内的注视点，将用户在放大后的区域的注视点作为用户的注视点。
[0013]为实现上述目的，本专利技术还提供了一种用于书本阅读过程中的人机交互装置，包括第一采集模块、显示模块、第二采集模块、图像处理模块、眼动追踪模块以及操作模块。所述第一采集模块用于采集书本的内容图像；所述显示模块用于显示所述内容图像；所述第二采集模块用于实时采集用户图像；所述图像处理模块用于对所述用户图像进行处理；所述眼动追踪模块用于根据所述图像处理模块的输出计算获得用户在所述显示屏上的注视点；所述操作模块用于对所述注视点的内容执行相应的操作，所述相应的操作包括对所述注视点的内容在所述显示屏上进行扩充搜索。
[0014]较佳地，于用户在阅读书本的过程中遇到问题而同步观看所述显示屏上的对应位置时获取到所述注视点，所述“对所述注视点的内容在所述显示屏上进行扩充搜索”包括成语释义、背景资料查询、英文翻译、题目答案查询、图像检索之至少一者。
[0015]较佳地，所述图像处理模块由所述用户图像判断用户的头部方向，由用户的头部方向判断用户是否注视所述显示屏；当判断出用户注视所述显示屏时，所述图像处理模块、眼动追踪模块由该用户图像分析获得用户在所述显示屏上的注视点。
[0016]较佳地，所述用于书本阅读过程中的人机交互装置还包括放大模块，当所述注视点的内容显示大小小于追踪精度时，所述放大模块放大所述注视点的区域；所述图像处理模块、眼动追踪模块进一步获取用户在放大后的区域内的注视点，并将用户在放大后的区域的注视点作为用户的注视点。
[0017]为实现上述目的，本专利技术还提供了一种电子设备，包括第一摄像装置、显示屏、光源模块、第二摄像装置、处理器以及存储器，所述第一摄像装置用于拍摄书本的内容图像；所述显示屏用于显示所述内容图像；所述光源模块用于发出光源以照射用户；所述第二摄像装置用于拍摄用户图像；所述处理器与所述第一摄像装置、第二摄像装置通信连接；所述存储器用于存储一个或多个程序，当一个或多个所述程序被所述处理器执行，使得所述处理器实现如上所述的用于书本阅读过程中的人机交互方法。
[0018]较佳地，所述第二摄像装置为一红外摄像头，所述光源模块包括两个红外发射器，两所述红外发射器正对设于所述第二摄像装置的两侧。
[0019]较佳地，所述第一摄像装置设于所述显示屏的上侧，所述光源模块、第二摄像装置设于所述显示屏的下侧。
[0020]较佳地，所述电子设备还包括壳体，所述第一摄像装置设于所述壳体的顶部，所述第一摄像装置可相对所述壳体翻转预设角度以调整其拍摄区域。
[0021]为实现上述目的，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理器执行以完成如上所述的用于书本阅读过程中的人机交互方法。
[0022]与现有技术相比，本专利技术通过采集书本的内容图像并由显示屏显示，用户在阅读书本的过程中遇到问题时(例如遇到不认识的单词、不了解的背景知识等)，可以同步观看显示屏上的对应位置，此时，便可获取用户在显示屏的注视点，然后再对注视点的内容在显示屏上进行扩充搜索，不存在由于上眼皮遮挡眼部而导致眼部特征信息获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于书本阅读过程中的人机交互方法，其特征在于，包括：采集书本的内容图像并通过显示屏显示所述内容图像；实时采集用户图像，由所述用户图像获得用户在所述显示屏上的注视点；对所述注视点的内容执行相应的操作，所述相应的操作包括对所述注视点的内容在所述显示屏上进行扩充搜索。2.如权利要求1所述的用于书本阅读过程中的人机交互方法，其特征在于，于用户在阅读书本的过程中遇到问题而同步观看所述显示屏上的对应位置时获取到所述注视点，所述“对所述注视点的内容在所述显示屏上进行扩充搜索”包括成语释义、背景资料查询、英文翻译、题目答案查询、图像检索之至少一者。3.如权利要求1所述的用于书本阅读过程中的人机交互方法，其特征在于，所述“由所述用户图像获得用户在所述显示屏上的注视点”具体为：由所述用户图像判断用户的头部方向，由用户的头部方向判断用户是否注视所述显示屏；当判断出用户注视所述显示屏时，由该用户图像分析获得用户在所述显示屏上的注视点。4.如权利要求1所述的用于书本阅读过程中的人机交互方法，其特征在于，当所述注视点的内容显示大小小于追踪精度时，放大所述注视点的区域，并进一步获取用户在放大后的区域内的注视点，将用户在放大后的区域的注视点作为用户的注视点。5.一种用于书本阅读过程中的人机交互装置，其特征在于，包括：第一采集模块，用于采集书本的内容图像；显示模块，用于显示所述内容图像；第二采集模块，用于实时采集用户图像；图像处理模块，用于对...

【专利技术属性】
技术研发人员：王辉，周艳洁，陈曦，
申请(专利权)人：东莞市东全智能科技有限公司，
类型：发明
国别省市：