一种机器人辅助阅读的方法及阅读机器人技术

本发明专利技术公开了一种机器人辅助阅读的方法，包括：获取用户阅读的书本的名称和版本号；根据书本的名称和版本号，查找到对应的点读目标书本；获取用户当前阅读的书页图像，识别当前阅读的书页在点读目标书本中的目标点读页的页码；采集用户的语音信息，获取相应的阅读指令；获取用户的指读图像，定位用户手指在目标点读页中的位置；根据阅读指令及用户手指在目标点读页中的位置，获取相应的语音内容进行播放。此外，本发明专利技术还公开了一种阅读机器人，小朋友可以通过阅读机器人辅助阅读，通过手指在书本的点击操作和对内容的直接询问，可以帮助小朋友快速学习到读书过程中遇到的生、字词，以帮助培养他的阅读习惯。

A Robot-aided Reading Method and Reading Robot

【技术实现步骤摘要】
一种机器人辅助阅读的方法及阅读机器人
本专利技术涉及机器人领域，尤其涉及一种机器人辅助阅读的方法及阅读机器人。
技术介绍
小朋友在成长中会接触许多纸质书本，包括课本也依然以纸质的形式存在，许多课本都会涉及知识点的认知，尤其是英语课本。但是小朋友的认字、识字是一个比较漫长的过程，常常需要借助一些阅读，在阅读过程中掌握对生字、词的用法。现在的图像识别技术能支持整本书的内容识别，但是对书的版本识别和小孩手指点读功能都没有很好地解决。有的应用甚至需要配备特殊的垫子或者标记。而小朋友在遇到书本中的不认识的字词时，请教家长或者查字典都会影响他读书的连贯性。因此如何帮助小朋友直接的学会这些生字非常对他们培养阅读习惯非常有帮助。而传统的方式可以帮助小朋友对生字词的理解，但是操作、或者使用条件比较复杂。
技术实现思路
本专利技术提供一种机器人辅助阅读的方法及阅读机器人，用以帮助小朋友快速学习到读书过程中遇到的生、字词，帮助培养他的阅读习惯。具体的，本专利技术的技术方案如下：一方面，本专利技术公开了一种机器人辅助阅读的方法，包括：获取用户阅读的书本的名称和版本号；根据所述书本的名称和版本号，查找到对应的点读目标书本；获取所述用户当前阅读的书页图像，识别当前阅读的书页在所述点读目标书本中的目标点读页的页码；采集所述用户的语音信息，获取相应的阅读指令；获取所述用户的指读图像，定位所述用户手指在所述目标点读页中的位置；根据所述阅读指令及所述用户手指在所述目标点读页中的位置，获取相应的语音内容进行播放。优选地，所述获取所述用户阅读的书本的名称和版本号包括：获取所述用户阅读的书本的封面图像和背面图像；对所述封面图像及背面图像进行图像预处理；识别所述封面图像中的文字信息，获取所述书本的名称；识别所述书本的背面图像中的条形码，获取所述书本的版本号。优选地，所述识别所述书本的背面图像中的条形码，获取所述书本的版本号包括：根据预置的条形码的位置区域信息，从所述书本的背面图像中截取条形码区域图像；对所述条形码区域图像进行二值化处理；获取所述条形码区域图像中黑条和白条的宽度信息；根据所述黑条和白条的宽度信息，结合预设的解码规则进行解码，获取条形码编码。优选地，所述获取所述用户的指读图像，定位所述用户手指在所述点读页码中的位置包括：实时采集所述用户的指读图像；识别所述指读图像中所述用户的手指；从所述指读图像中获取所述用户的手指的像素坐标，以及当前阅读的书页的边框的像素位置坐标，结合所述当前阅读的书页的边框的实际坐标位置，定位所述用户的手指相对所述目标点读页的边框的实际位置。优选地，所述采集所述用户的语音信息，获取相应的阅读指令包括：实时采集所述用户的语音信息；解析所述语音信息，获取所述语音信息对应的语义；根据所述语音信息对应的语义，选取对应的阅读指令。优选地，所述根据所述阅读指令及所述用户手指在所述目标点读页码中的位置，获取相应的语音内容进行播放包括：当所述阅读指令为阅读用户手指指向的字词时：根据所述用户手指在所述目标点读页中的位置，获取所述用户手指指向的目标字词；将所述目标字词合成为目标字词语音；播放所述目标字词语音，并显示所述目标字词的拼音及汉字；当所述阅读指令为从用户手指指向的地方开始阅读时：根据所述用户手指在所述目标点读页中的位置，获取在所述目标点读页中阅读的起始位置；根据所述起始位置与所述目标点读页的末尾位置之间的文字信息，生成对应的阅读语音；播放所述阅读语音。另一方面，本专利技术还公开了一种阅读机器人，包括：信息获取模块，用于获取用户阅读的书本的名称和版本号；查找模块，用于根据所述书本的名称和版本号，查找到对应的点读目标书本；图像获取模块，用于获取所述用户当前阅读的书页图像；还用于获取所述用户的指读图像；页码识别模块，用于识别用户当前阅读的书页在所述点读目标书本中的目标点读页的页码；语音采集模块，用于采集所述用户的语音信息；指令获取模块，用于根据所述语音信息，获取相应的阅读指令；指读定位模块，用于根据所述用户的指读图像，定位所述用户手指在所述目标点读页中的位置；语音生成模块，用于根据所述阅读指令及所述用户手指在所述目标点读页中的位置，获取相应的语音内容；语音播放模块，用于将获取的相应的语音内容进行播放。优选地，所述图像获取模块，还用于拍摄所述用户阅读的书本的封面图像和背面图像；所述信息获取模块包括：图像预处理子模块，用于对所述封面图像及背面图像进行图像预处理；书名识别子模块，用于识别所述封面图像中的文字信息，获取所述书本的名称；版本识别子模块，用于识别所述书本的背面图像中的条形码，获取所述书本的版本号。优选地，所述图像获取模块，还用于实时采集所述用户的指读图像；所述指读定位模块包括：手指识别子模块，用于识别所述指读图像中所述用户的手指；手指定位子模块，用于从所述指读图像中获取所述用户的手指的像素坐标，以及当前阅读的书页的边框的像素位置坐标，结合所述当前阅读的书页的边框的实际坐标位置，定位所述用户的手指相对所述目标点读页的边框的实际位置。优选地，所述语音生成模块包括：指令解析子模块，用于解析所述阅读指令；目标字词获取子模块，用于当所述阅读指令为阅读用户手指指向的字词时，根据所述用户手指在所述目标点读页中的位置，获取所述用户手指指向的目标字词；语音合成子模块，用于将所述目标字词合成为目标字词语音，并通过所述语音播放模块播放所述目标字词语音；目标字词显示子模块，用于显示所述目标字词的拼音及汉字；起始位置获取子模块，用于当所述阅读指令为从用户手指指向的地方开始阅读时，根据所述用户手指在所述目标点读页中的位置，获取在所述目标点读页中阅读的起始位置；所述语音合成子模块，还用于根据所述起始位置与所述目标点读页的末尾位置之间的文字信息，生成对应的阅读语音，并通过所述语音播放模块播放所述阅读语音。本专利技术至少具备以下一项技术效果：(1)通过本专利技术，用户可以通过阅读机器人辅助阅读，只需用户手指在书本的点击操作和对内容的直接询问便可获得阅读机器人的阅读辅助，帮助小朋友快速学习到读书过程中遇到的生、字词，以帮助培养良好的阅读习惯。(2)本专利技术的阅读机器人会获取到书本的名称和版本号，以便可以唯一确定点读目标书本，即使同一名称书本，版本号不同对应的书本内容也可能会略有不同。因此，本专利技术除了识别书名外，还识别版本号，从而可以快速查找到对应的点读目标书本。(3)本专利技术在采集到用户语音信息后，会对语音信息进行解析获取语义，如果解析到用户有阅读需求，则会根据语义内容选取对应的阅读指令，从而满足不同用户的阅读需求。(4)本专利技术通过采集用户的指读图像获取需要帮助阅读的内容，用户无需过多语言描述，只需手指指点相应位置即可，大大提高了用户体验，该阅读机器人的智能程度也更高。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一种机器人辅助阅读的方法的实施例的流程图；图2为本专利技术一种机器人辅助阅读的方法的另一实施例的流程图；图3为本专利技术中条形码识别流程图；图4为本专利技术一种机器人辅助阅读的本文档来自技高网...

【技术保护点】
1.一种机器人辅助阅读的方法，其特征在于，包括：获取用户阅读的书本的名称和版本号；根据所述书本的名称和版本号，查找到对应的点读目标书本；获取所述用户当前阅读的书页图像，识别当前阅读的书页在所述点读目标书本中的目标点读页的页码；采集所述用户的语音信息，获取相应的阅读指令；获取所述用户的指读图像，定位所述用户手指在所述目标点读页中的位置；根据所述阅读指令及所述用户手指在所述目标点读页中的位置，获取相应的语音内容进行播放。

【技术特征摘要】
1.一种机器人辅助阅读的方法，其特征在于，包括：获取用户阅读的书本的名称和版本号；根据所述书本的名称和版本号，查找到对应的点读目标书本；获取所述用户当前阅读的书页图像，识别当前阅读的书页在所述点读目标书本中的目标点读页的页码；采集所述用户的语音信息，获取相应的阅读指令；获取所述用户的指读图像，定位所述用户手指在所述目标点读页中的位置；根据所述阅读指令及所述用户手指在所述目标点读页中的位置，获取相应的语音内容进行播放。2.根据权利要求1所述的一种机器人辅助阅读的方法，其特征在于，所述获取所述用户阅读的书本的名称和版本号包括：获取所述用户阅读的书本的封面图像和背面图像；对所述封面图像及背面图像进行图像预处理；识别所述封面图像中的文字信息，获取所述书本的名称；识别所述书本的背面图像中的条形码，获取所述书本的版本号。3.根据权利要求2所述的一种机器人辅助阅读的方法，其特征在于，所述识别所述书本的背面图像中的条形码，获取所述书本的版本号包括：根据预置的条形码的位置区域信息，从所述书本的背面图像中截取条形码区域图像；对所述条形码区域图像进行二值化处理；获取所述条形码区域图像中黑条和白条的宽度信息；根据所述黑条和白条的宽度信息，结合预设的解码规则进行解码，获取条形码编码。4.根据权利要求1所述的一种机器人辅助阅读的方法，其特征在于，所述获取所述用户的指读图像，定位所述用户手指在所述点读页码中的位置包括：实时采集所述用户的指读图像；识别所述指读图像中所述用户的手指；从所述指读图像中获取所述用户的手指的像素坐标，以及当前阅读的书页的边框的像素位置坐标，结合所述当前阅读的书页的边框的实际坐标位置，定位所述用户的手指相对所述目标点读页的边框的实际位置。5.根据权利要求1-4任一项所述的一种机器人辅助阅读的方法，其特征在于，所述采集所述用户的语音信息，获取相应的阅读指令包括：实时采集所述用户的语音信息；解析所述语音信息，获取所述语音信息对应的语义；根据所述语音信息对应的语义，选取对应的阅读指令。6.根据权利要求5所述的一种机器人辅助阅读的方法，其特征在于，所述根据所述阅读指令及所述用户手指在所述目标点读页码中的位置，获取相应的语音内容进行播放包括：当所述阅读指令为阅读用户手指指向的字词时：根据所述用户手指在所述目标点读页中的位置，获取所述用户手指指向的目标字词；将所述目标字词合成为目标字词语音；播放所述目标字词语音，并显示所述目标字词的拼音及汉字；当所述阅读指令为从用户手指指向的地方开始阅读时：根据所述用户手指在所述目标点读页中的位置，获取在所述目标点读页中阅读的起始位...

【专利技术属性】
技术研发人员：李飞行，朱向军，钟宇文，刘火根，陈泽伟，
申请(专利权)人：广东小天才科技有限公司，
类型：发明
国别省市：广东,44