一种实体图纸和线上3d模型结合的互动系统技术方案

本发明专利技术公开一种实体图纸和线上3d模型结合的互动系统，包括显示端、移动终端，显示端包括图像处理模块、展示模块，移动终端包括图像采集设备、控制模块，打开控制模块，连接网络，展示模块会打开场景界面，接收移动终端发送的图像信息，移动终端通过图像采集设备采集图像发送到显示端，图像处理模块将图像转换为图像信息，根据信息部分确定图像类别，展示模块根据图像类别找到相应的3d模型并作为贴图附在3d模型上，控制模块根据用户的操作指令向展示模块发送连接请求用于控制3d模型进行互动，本发明专利技术给孩子提供更好的学习娱乐环境，让孩子更健康享受信息技术带来的便利，实体图纸的绘制以及显示端和移动终端的互动让孩子的学习更有趣味性。

【技术实现步骤摘要】

本专利技术涉及软件教育领域，尤其涉及儿童教育互动系统。
技术介绍
目前，教育类软件大多是基于某一个平台，大多是PC端和手机端，而且几乎都是纯软件制作，这种方式会让孩子的学习环境单一，如果长时间看电脑或者手机会影响孩子的视力。而且这类软件几乎都是单人操作，不仅难以让孩子自己直接使用，还影响了和家长的互动性和交流性。
技术实现思路
本专利技术的目的在于提供一种实体图纸和线上3d模型结合的互动系统，以解决上述技术问题。本专利技术所解决的技术问题可以采用以下技术方案来实现:—种实体图纸和线上3d模型结合的互动系统，包括显示端、移动终端，其特征在于:所述显示端包括图像处理模块、展示模块，所述移动终端包括图像采集设备、控制模块，打开所述控制模块，登陆连接网络，连接成功后，所述展示模块会打开场景展示界面，接收所述移动终端发送的图像信息，所述移动终端通过所述图像采集设备采集图像发送到所述显示端，所述图像处理模块将所述图像转换为图像信息，根据信息部分确定图像类别，所述展示模块根据所述图像类别找到相应的3d模型并作为贴图附在所述3d模型上，所述控制模块根据用户的操作指令向所述展示模块发送连接请求用于控制所述3d模型进行互动。所述打开所述移动终端控制模块，进行账号登陆，账号会与所述移动终端唯一id进行绑定，当有移动终端请求连接时会根据广播的ip地址和端口进行连接。打开所移动终端图像采集设备，进行图像采集，当采集范围内有规定的图像时会自动进行识别处理，当识别完成后，根据识别出的图像信息，找到类别，根据所述类别将屏幕的有效图像信息存储到显示端，并将其转换为二进制，等待用户的发送操作。当用户进行向上划所述移动终端屏操作时，会将已存储的所述图像信息以二进制方式传到所述显示端。所述显示端对所述图像信息进行处理，所述显示端接收到所述图像信息后，要先进行解包操作，将收到的数据解析为数据信息部分和图像部分，再把所述图像部分转换为图像信息，根据所述信息部分确定图像类别。所述显示端收到所述处理后的图像根据所述图像类别找到相应的3d模型，并将其作为此模型的贴图，模型的Uv坐标是预先设定好的，保证获取的图像完全契合所述3d模型。所述控制终端对所述贴图后的3d模型进行控制与互动。所述移动终端可以是手机或带有扫描功能的设备。所述显示端可以是电视机或投影设备。有益效果:本专利技术旨在给孩子提供一个更好的学习娱乐环境，让孩子更合理健康的享受信息技术带来的便利和优势，实体图纸的绘制以及显示端和移动终端的互动也让孩子的学习更有趣味性。【附图说明】图1为实施例1电视端与手机端网络连接示意图；图2为实施例1工作流程示意图；图3为实施例1手机端控制模块界面图；图4为实施例1电视端展示模块界面图；图5为实施例2的工作流程示意图；【具体实施方式】为了使本专利技术的目的、
技术实现思路
及优点更加清楚明白，以下结合附图以及两个实施案例对本专利技术作进一步的详细说明。实施例1如图1、图2所示，电视端打开后启动TCP服务器，电视无线发射器用UDP网络协议广播创建的TCP服务器的IP和端口，手机端打开后用无线接收器接收电视端的广播信息，接收到后，利用TCP协议连接电视端创建的服务器，到这里手机电视连接成功。先在电视端下载展示APP，安装后打开第一个界面是二维码，手机打开二维码识另IJ，会自动下载手机端的控制软件，二维码是一个网络下载地址。手机端下载安装后，打开，如果没有账号会进行注册，账号为可用的邮箱;有账号直接登录，登录获得当前账户信息，比如已购买的图纸和主题。手机端点击连接按钮，会自动搜索周围局域网中已打开的电视，找到后连接，电视端会自动跳转到展示场景，等待图像的传入。孩子在A4线稿图纸上涂色，家长用手机打开扫描功能，对着图纸进行扫描，如果是可用的图纸，会将图纸上的颜色信息存入手机，识别用的Vuforia，获取是根据图像类别选择那些像素可用，只把可用的像素存入手机。扫描成功后，手机端出现上划提示，按提示操作，会进行网络传输，此时会把图像信息转换的二进制和关于此图像的其他信息(比如属于什么鱼种类，当前信息的类型)一起用TCP协议传输到电视端。电视端根据传递来的信息，把图像转换为模型贴图，并加载相关模型，把贴图附到模型上，如图4所示电视端就会出现一条游动的鱼了。手机端如图3所示可以对贴图后的模型进行喂食跳舞等操作，采用TCP协议并向电视端发送相关指令，电视端根据指令对模型进行操作进行互动。实施例2如图3所示，本专利技术实施例是采用一套扫描仪、电脑与投影仪通信并与实体图纸相结合的互动解决方案。使用的开发工具为unity3d引擎，主要步骤包括:扫描仪与电脑连接，扫描仪扫描图纸获取图像，图像数据的传输至电脑，电脑对图像信息进行处理，图像信息与3d模型相结合，通过投影仪将匹配后的图像投影到幕布上，最后由于雷达的作用，人可以在幕布前对投影出的模型进行互动。扫描仪的作用是将图纸上的内存扫描到PC端并存储为jpg文件，只要是可以扫描成jpg格式的扫描仪都可以用，以ScanSnap SV600这款扫描仪来说，需要设定扫描文件的存储路径和文件名格式。连接扫描仪到PC，需要插入USB接口的数据线和电源线，只要按照扫描仪的安装说明正常连接使用即可。按扫描仪上的扫描按钮，扫描仪工作，扫描结束后，在自定义文件目录下生成jpg图像文件。此时PC端的展示软件会检测到有新文件生成，并对新文件进行加载和处理。电脑识别到有新文件时，会加载此图像进入软件中，程序先取得图像上的二维码进行解析，如果为正确的二维码，会根据二维码提供的图像信息，对此图像进行处理，比如当前图像所代表的鱼种类，解析完成后，根据种类id加载相应的模型，并将此图像作为模型的贴图，显示在3d场景中。已收到的处理后的图像根据类别找到相应的3d模型，并将其作为此模型的贴图，模型的UV坐标是预先设定好的，保证获取的图像完全契合此模型。模型的动画也是预设的，程序只要控制播放动画并让运行轨迹随机即可。模型的控制根据其类别会有不同的控制代码，比如鱼是自由游动，随机目标点，向目标点移动，到达后有概率进入停留状态，到达时间后，随机下一目标点，继续游动。螃蟹会自动落到水底，进行左右移动，移动速度会随机，当超出屏幕会自动往中间移动。将雷达的usb数据线连接到PC，安装usb驱动，当有雷达设备连接成功时，在展示软件中会检测到，并打开线程接收串口数据，根据串口传递来的数据(角度和距离)，进行位置解析，当有物体遮挡住雷达时，程序会计算出遮挡的位置，并将此位置传递给主线程，主线程控制鱼的过程中，如果收到此位置信息，会将此位置告诉每条鱼的控制代码，鱼根据此位置来做加速运动，展现出“逃跑”的行为，完成互动。【主权项】1.一种实体图纸和线上3d模型结合的互动系统，包括显示端、移动终端，其特征在于:所述显示端包括图像处理模块、展示模块，所述移动终端包括图像采集设备、控制模块，打开所述控制模块，登陆连接网络，连接成功后，所述展示模块会打开场景展示界面，接收所述移动终端发送的图像信息，所述移动终端通过所述图像采集设备采集图像发送到所述显示端，所述图像处理模块将所述图像转换为图像信息，根据信息部分确定图像类别，所述展示模块根据所述图像类别找到相应的3d模型并作为贴图附在所述3d模型上，所述控制模本文档来自技高网...

【技术保护点】
一种实体图纸和线上3d模型结合的互动系统，包括显示端、移动终端，其特征在于：所述显示端包括图像处理模块、展示模块，所述移动终端包括图像采集设备、控制模块，打开所述控制模块，登陆连接网络，连接成功后，所述展示模块会打开场景展示界面，接收所述移动终端发送的图像信息，所述移动终端通过所述图像采集设备采集图像发送到所述显示端，所述图像处理模块将所述图像转换为图像信息，根据信息部分确定图像类别，所述展示模块根据所述图像类别找到相应的3d模型并作为贴图附在所述3d模型上，所述控制模块根据用户的操作指令向所述展示模块发送连接请求用于控制所述3d模型进行互动。

【技术特征摘要】

【专利技术属性】
技术研发人员：孙志龙，杨磊，
申请(专利权)人：青岛爱维互动信息技术有限公司，
类型：发明
国别省市：山东;37