一种基于娱乐交互的AR趣味学习系统及方法技术方案

本发明专利技术公开了一种基于娱乐交互的AR趣味学习系统及方法，包括：至少一个实体书页，摄像装置，显示装置和程序运行装置；使用图像识别预处理单元处理实体书页的图像数据；导入图像识别预处理单元处理实体书页的图像后的数据，程序开发绑定图像ID与相应的三维模型和音频信息；启动趣味学习系统的移动端应用程序，打开摄像装置，实时采集真实世界实体书页图像，渲染显示真实世界的视频图像；识别模块识别图实体书页的标识信息；追踪模块实时计算出实体书页的空间位置信息，完成增强现实的体验。本发明专利技术通过上述原理及方法，解决现在教育互动程序和装置的低趣味性问题和互动体验单一问题，操作简单，成本低，非常适用儿童的多媒体互动教学。

【技术实现步骤摘要】

本专利技术涉及多媒体互动教学系统
，具体地，涉及一种基于娱乐交互的AR趣味学习系统及方法。
技术介绍
增强现实(Augmented Reality，简称AR)是一种现实信息与虚拟信息相叠加的技术。提前利用计算机技术叠加虚拟信息到现实世界某个空间位置中，用户便能够看到现实世界上这个空间位置叠加的虚拟信息，虚拟信息与现实信息相互补充增强用户对事物的理解。增强现实利用计算机图形技术生成真实环境中不存在的虚拟信息；通过计算机视觉技术和传感技术，将这些虚拟信息实时显示在真实世界的某个空间位置处，并与真实世界融为一体。虚拟信息与真实世界重新组成拥有逼真的视觉、听觉、触觉的环境，实现用户与环境的自然交互。目前市场上主流的基于实体书页的多媒体互动教学系统包括：点读机、点读笔、电子书、早教机和PC端/移动端应用程序。现有多媒体互动系统有如下缺点：1、点读机、点读笔、电子书侧重于语音朗读，没能结合生动的图像，互动体验单一片面，不能激发用户兴趣；2、早教机、PC端/移动端应用程序只能展示二维的图像信息，并且交互性弱，用户只能单方面的观看；3、高互动性的多媒体互动教学系统使用复杂，费用成本高；目前，文字与图像结合已经是主流的学习理解事物方式，但是图像仅仅是停留在二维平面上，趣味性以及互动体验较差。
技术实现思路
本专利技术克服了现有技术的不足，提供一种基于娱乐交互的AR趣味学习系统及方法，解决现在教育互动程序和装置的低趣味性问题和互动体验单一问题，并且此专利技术系统操作简单，成本低，将一些呆板的抽象的二维图像转变为三维信息，非常适用儿童的多媒体互动教学，与现在高互动性的多媒体互动教学系统相比具有极大的优势。本专利技术解决上述问题所采用的技术方案是：一种基于增强现实的趣味学习系统，包括：至少一个实体书页，每个实体书页对应一个标识信息，每个标识信息对应一个或多个三维模型以及一个或多个音频信息；摄像装置，用于采集实体书页的图像数据以及实时采集实体书页的视频画面，然后将图像信息以及视频画面提供给程序运行装置；显示装置，用于显示摄像装置采集到的实时视频画面以及显示程序运行装置计算产生的一个或多个三维图像；程序运行装置，用于当用户将所述实体书页置于摄像装置的采集范围时，及时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处，处理并分析来自摄像装置采集后传输过来的图像数据，识别出实体书页对应的标识信息，并分析出标识信息对应的三维模型和音频信息，将标识信息对应的三维模型渲染显示出来叠加在实时视频画面中，实现渲染显示摄像装置实时采集的实时视频画面和音频信息。本专利技术实现了互动体验上的重大突破，主要体现在三个方面，一是将传统二维图像转化为三维；二是用户能与三维信息进行人机交互；三是虚拟的三维信息将会与现实世界进行完美的融合，用户能观察虚拟信息在现实世界的呈现状态，再次提升教学的互动性。另外，该系统也无需额外引入额外的服务器来存储图像信息，只需采用程序运行装置即可实现，大大降低了成本，该系统操作方式与现有的点读机、早教机等的操作方式相似，操作简单方便，但是又能呈现生动的画面，吸引小朋友的注意力，从而提高小朋友的学习兴趣，本系统同时将一些呆板的抽象的二维图像转变为三维信息，尤其适用儿童的多媒体互动教学。本专利技术解决现在教育互动程序和装置的低趣味性问题和互动体验单一问题，并且此专利技术系统操作简单，成本低，与现在高互动性的多媒体互动教学系统相比具有极大的优势。进一步的，所述程序运行装置包括：识别模块，用于当用户将所述实体书页置于摄像装置的采集范围时，识别模块处理并分析来自摄像装置采集后传输过来的图像数据，识别出实体书页对应的标识信息，并分析出标识信息对应的三维模型和音频信息，依次经过图像特征点的提取、特征点筛选、特征点描述和图像匹配 实现图像处理与识别匹配；三维渲染模块，用于渲染显示摄像装置采集的实时视频画面，并且将标识信息对应的三维模型渲染显示出来叠加在实时视频画面中；音频渲染模块，用于渲染出标识信息对应的音频信息；追踪模块，用于及时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处。本方案识别模块中图像处理与识别匹配经过了图像特征点提取、特征点筛选、特征点描述和图像匹配等多个步骤的相互作用与制约，避免出现当设置的n个连续的像素点小于12时，对于采集图像上的角点，不能使用快速算法来过滤非角点，检测出来的角点不是最优的，角点分析的结果被丢弃，多个特征点容易挤在一起的缺陷，通过该识别模块采集到的图像信息更加的准确清晰，更利于后期识别和清晰成像。优选的，所述三维渲染模块包括模型预处理模块和渲染模块，模型预处理模块基于Autodesk FBX SDK解析FBX模型文件，舍弃移动端不支持的模型特性，导出模型中间文件，模型中间文件交由渲染模块读取。优选的，所述识别模块包括图像识别预处理单元和移动端识别模块，图像识别预处理单元处理实体书页图像信息，得到实体书页的标识信息，识别模块接受摄像装置实时采集的实体书页图像信息，得到图像的标识信息，从而得到标识信息对应的一个或多个三维模型以及一个或多个音频信息，最终交给三维渲染模块和音频渲染模块渲染。优选的，所述识别模块实时处理摄像装置采集的实体书籍的图像，包含图像的尺寸处理和灰度处理，提取特征点与记录图像特征点的描述文件对比得出摄像装置采集的实体书页图像ID，从而得到实体书页对应的三维模型数据和音频数据。尺寸处理可以让图像按照既定的尺寸显示，灰度的处理则可以让色彩更逼真，颜色细节更到位，通过灰度和尺寸的处理，保证了最后显示的三维图像更加的形象生动。优选的，显示装置中显示的一个或多个三维图像采用三维软件制作，导出FBX格式文件，交由3D渲染引擎预处理为模型中间文件后显示。显示装置中显示的一个或多个三维图像采用三维软件制作，导出FBX格式文件，交由3D渲 染引擎预处理为模型中间文件后显示。三维图像模型采用3DS MAX、Maya、Blender等三维建模软件制作，制作导出FBX格式文件，三维图像模型能够提高教学事物的直观性，激发受教者兴趣。并且该三维图像模型基于Autodesk FBX SDK解析FBX模型文件，舍弃移动端不支持的模型特性，导出模型中间文件，模型中间文件交由渲染模块读取。其中的渲染模块基于Opengl ES 2.0开发，读取模型中间文件后利用Opengl API交给底层操作系统执行渲染并显示。模型中间文件采用二进制方式储存，保证数据的安全性。优选的，一种基于增强现实的趣味学习方法，包括如下步骤：步骤A)使用图像识别预处理单元处理实体书页的图像数据，得到图像数据的标识信息，每个标识信息对应了一个图像的ID，每个标识信息对应一个或多个三维模型以及一个或多个音频信息；步骤B)导入图像识别预处理单元处理实体书页的图像后的数据，程序开发绑定图像ID与相应的三维模型和音频信息，并且规定好三维模型与实体书页图像的空间相对位置与大小、姿态以及交互方式；步骤C)启动趣味学习系统的移动端应用程序，打开摄像装置，实时采集真实世界实体书页图像，渲染显示真实世界的视频图像；步骤D)当用户放置实体书页到摄像装置的采集范围内，识别模块识别图实体书页的标识本文档来自技高网...

【技术保护点】
一种基于娱乐交互的AR趣味学习系统，其特征在于，包括：至少一个实体书页，每个实体书页对应一个标识信息，每个标识信息对应一个或多个三维模型以及一个或多个音频信息；摄像装置，用于采集实体书页的图像数据以及实时采集实体书页的视频画面，然后将图像信息以及视频画面提供给程序运行装置；显示装置，用于显示摄像装置采集到的实时视频画面以及显示程序运行装置计算产生的一个或多个三维图像；程序运行装置，用于当用户将所述实体书页置于摄像装置的采集范围时，及时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处，处理并分析来自摄像装置采集后传输过来的图像数据，识别出实体书页对应的标识信息，并分析出标识信息对应的三维模型和音频信息，将标识信息对应的三维模型渲染显示出来叠加在实时视频画面中，实现渲染显示摄像装置实时采集的实时视频画面和音频信息。

【技术特征摘要】
1.一种基于娱乐交互的AR趣味学习系统，其特征在于，包括：至少一个实体书页，每个实体书页对应一个标识信息，每个标识信息对应一个或多个三维模型以及一个或多个音频信息；摄像装置，用于采集实体书页的图像数据以及实时采集实体书页的视频画面，然后将图像信息以及视频画面提供给程序运行装置；显示装置，用于显示摄像装置采集到的实时视频画面以及显示程序运行装置计算产生的一个或多个三维图像；程序运行装置，用于当用户将所述实体书页置于摄像装置的采集范围时，及时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处，处理并分析来自摄像装置采集后传输过来的图像数据，识别出实体书页对应的标识信息，并分析出标识信息对应的三维模型和音频信息，将标识信息对应的三维模型渲染显示出来叠加在实时视频画面中，实现渲染显示摄像装置实时采集的实时视频画面和音频信息。2.根据权利要求1所述的一种基于娱乐交互的AR趣味学习系统，其特征在于，所述程序运行装置包括：识别模块，用于当用户将所述实体书页置于摄像装置的采集范围时，识别模块处理并分析来自摄像装置采集后传输过来的图像数据，识别出实体书页对应的标识信息，并分析出标识信息对应的三维模型和音频信息，依次经过图像特征点的提取、特征点筛选、特征点描述和图像匹配实现图像处理与识别匹配；三维渲染模块，用于渲染显示摄像装置采集的实时视频画面，并且将标识信息对应的三维模型渲染显示出来叠加在实时视频画面中；音频渲染模块，用于渲染出标识信息对应的音频信息；追踪模块，用于及时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处。3.根据权利要求2所述的一种基于娱乐交互的AR趣味学习系统，其特征在于，所述三维渲染模块包括模型预处理模块和渲染模块，模型预处理模块基于Autodesk FBX SDK解析FBX模型文件，舍弃移动端不支持的模型特性，导出模型中间文件，模型中间文件交由渲染模块读取。4.根据权利要求2所述的一种基于...

【专利技术属性】
技术研发人员：黄旋辉，
申请(专利权)人：广东博士早教科技有限公司，
类型：发明
国别省市：广东;44