本发明专利技术涉及一种基于增强现实的移动平台三维生物分子展示系统和方法，在移动平台上实现了对传统纸质印刷物生物分子二维图片的识别和对应分子的三维实时展示。其对图像特征点检测和匹配方法进行改进，使其在移动客户端和云端服务器协同完成，提高了灵活性，节约了客户端资源。三维分子建模数据来源于蛋白质结构信息数据库PDB(Protein Data Bank)，保证了准确性和权威性。本发明专利技术将增强现实技术进行了扩展，并在生物化学与分子生物学教育学习方面提出了一种典型应用，其技术手段和框架可应用于任何教育教学领域，由于移动终端的发展和普及，以及其便于携带的特点，使用者可随时随地使用本系统，可极大的提高教学效率和学习兴趣。
【技术实现步骤摘要】
基于增强现实的移动平台三维生物分子展示系统和方法
本专利技术为一种在移动平台上实现的三维蛋白质、核酸分子实时渲染、交互和追踪技术，涉及增强现实技术的应用。
技术介绍
长久以来，基础医学科学，尤其是类似生物化学与分子生物学这样的学科教研中，最大的一个难题就是研究对象的微观性、不可见性。随着后基因组时代、蛋白质组时代的到来，这个矛盾越来越突出。学科的迅猛发展要求从学、从业人员尽快掌握新理论和新技术，传统的以纸质媒介作为载体的教学、研究手段已跟不上要求。增强现实(AR,augmentedreality)技术是一种利用计算机技术对用户所看到的真实世界进行景象扩展的技术。AR源于虚拟现实(VirtualReality,VR)技术，后者是利用计算机生成的虚拟环境逼真地模拟人在自然环境中的视觉、听觉、运动等行为的技术。与之不同的是，AR是模拟仿真后再将现实场景进行叠加，它把计算机产生的图形、文字按指定的位置和姿态融合到真实场景中，使用户沉浸在真实与虚拟的混合环境中，产生一种新型的人机交互方式。增强现实已经成为虚拟现实研究中的一个重要领域,它在军事、安全、工业、医疗、教育和娱乐等行业有着广泛的应用前景。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、传感器、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。本专利技术利用了移动平台便于携带、方便使用的特点和云端数据检索。在移动终端完整实现了AR技术，并结合实际情况做出了扩展和改进。本专利技术首次将AR技术和生物分子三维展示结合起来，以RCSB蛋白质与核酸结构信息数据库作为三维分子建模依据制作三维模型及动画，为AR技术在微观分子教学、模拟领域提出了一种典型实现。
技术实现思路
本专利技术解决的技术问题是：一种基于增强现实的移动平台三维生物分子虚拟展示技术。包括图片特征点云端存储、识别检测与模型匹配、以图片特征点识别为基础的云端服务器-蛋白质数据库数据检索和传输、移动端生物分子三维模型的实时绘制、移动终端摄像头位置标定与场景绘制。本专利技术克服了传统纸质媒体对三维分子结构和功能展示的局限性，提出了一种全新的三维分子实时展示技术和教学手段，克服了复杂多边形在手机平台显示的效率和速度问题，为AR技术在微观分子教学、模拟领域的应用提出一个典型实现。本专利技术采用的技术方案为：一种基于增强现实的移动平台三维生物分子虚拟展示技术，包括以下五个步骤：步骤(1)图片特征点提取：对教材上的平面图片进行拍照或扫描，提取特征点数据并存储在服务端。步骤(2)PDB文件获取及处理：对每一张图片规定其PDBID号，服务器以PDBID号在PDB进行检索，获得pdb文件后进行处理，并存储在服务器，将图片ID与pdb文件以及图片相关信息进行关联。步骤(3)图片识别：移动端提取图片特征点矩阵，以一定时间间隔上传到服务端，在服务端遍历数据库中的特征点矩阵进行相似度比较。当两幅图像特征点匹配数量大于设定的阈值时认为两幅图像匹配。步骤(4)三维分子模型的绘制：在移动端根据获得的PDB文件中的原子三维点坐标，实时绘制分子C原子骨架飘带模型和表面三维模型。步骤(5)基于视觉标记的跟踪注册：移动客户端系统将步骤(4)中生成的模型与摄像头拍摄的真实图片进行叠加显示。客户端摄像头位置发生变化时进行相机重新标定，经坐标变换实时更新视角，使观察者可从任意角度和距离观察模型。本专利技术与现有技术相比的优点在于：1.识别效率和准确性：AR技术中常用的特征点识别方法是角点检测，如Roberts、Sobel、Prewitt、Canny算子检测方法等。而实际的书本插图中，必然有一些图片特征点较少，采用这些方法无法提取到有效的特征点。导致识别率的下降。本专利技术中，图片特征点的识别匹配使用Surf算法。Surf算法基于Sift算法，但在构建尺度空间时不需对图像进行二次抽样，从而提高算法性能。其最大的特点是识别速度快。适中的条件下，完成两幅图像中物体的匹配基本实现了实时处理。相对其它算法，能够有效识别特征点，识别的速度和准确率有很大的提升。2.多张图片的识别、网络识别：传统的AR技术是将识别图片作为模板保留在本地，占用空间大且不灵活。且只能识别几张特定的图片，应用范围有限。本专利技术中，识别图片作为模板保留在云端服务器，减小了客户端体积占用，理论上可识别任意多张图片；图片识别依赖于网络，客户端向服务器发送的实际是提取出来的特征点数据，其数据量很小，可以理解为简单的文本文件，可减少网络流量、缩短传输时间。3.三维分子模型实时绘制：传统的AR技术一般是先制作好待显示的三维模型，需要时进行显示和隐藏。本专利技术在移动客户端，利用OpenGLES完成三维分子模型的实时绘制。服务器将相应的PDB文件进行处理，只向客户端只发送少量的信息(三维分子空间坐标)，进一步提高了识别的实时性；需要改变模型时，只需再次传输坐标文件即可，减轻了移动端系统负担。4.本专利技术首次将AR技术运用于与生物分子的三维实时展示。5.本专利技术利用移动端便携性的特点，可随时随地使用，克服了利用桌面电脑等实现AR技术的局限性。附图说明图1为本专利技术的系统原理和实现方式示意图；图2为服务器将检索得到的pdb文件进行处理；图3为根据Surf方法，服务端图片和客户端拍摄到的图片特征点匹配示意图；图4摄像机模型采用针孔模型近似表示，真实环境中标志物的重心P在图像上的投影位置p，为光学中心O与P点的连线OP与图像平面的交点；图5为最终结果(人血红蛋白，PDBID：2dhb)。具体实施方式下面结合附图对本专利技术具体实施方式进行说明：步骤：1.图片特征点提取1.1图像采集：用扫描仪或拍照的形式获取书中插图。1.2图片预处理：S1：亮度校正：对每一个像素的RGB值同时加上或减去一个特定的值。S2：：灰度级变换：将灰度图直方图化，计算各个像素级的像素数目；形成累积直方图，然后进行直方图均衡化；建立新的亮度查找表。S3：平滑处理，对图像长宽各×2，并高斯过滤进行平滑。1.3Surf算法实现及特征点生成：本部分主要分为5个步骤：S1：构建Hessian矩阵，用图像像素L(x，y)代替函数值f(x，y)，选用二阶标准高斯函数作为滤波器，通过特定核间的卷积计算二阶偏导数，这样便能计算出H矩阵，式中，Lxx(x,σ)，Lxy(x,σ),Lyy(x,σ)为X点处高斯函数的二阶导数与图像的卷积。S2：构建尺度空间：在Sift算法中，每层图像依赖于前一层图像，并且图像需要重设尺寸，因此，这种计算方法运算量较大，而Surf算法在使用金字塔方面与Sift不同。算法允许尺度空间多层图像同时被处理，不需对图像进行二次取样，从而提高了性能。S3：定位特征点：确定一个合适的预设极值，使用与S2中尺度层图像解析度相对应大小的滤波器进行检测，像素点的特征值若大于周围像素则可确定该点为该区域的特征点。所有小于预设极值的取值都被丢弃。S4：主方向确定：以特征点为中心，计算半径为6s(S为特征点所在的尺度值)的邻域内的点在z、y方向的Haar小波(Haar小波边长取4s)响应，并给这些响应值赋高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小，其次将60°范围内的响应相加以形成新的矢量，遍历整个圆形区域，本文档来自技高网...
【技术保护点】
一种基于增强现实的移动平台三维生物分子展示系统，其特征是：包括移动终端(101)、无线网络通讯(102)、云端服务器(103)、蛋白质结构信息数据库(104)，移动终端(101)通过无线网络通讯(102)与云端服务器(103)进行通讯，云端服务器(103)和蛋白质结构信息数据库(104)进行通讯，移动终端(101)做为最终显示设备。
【技术特征摘要】
1.一种基于增强现实的移动平台三维生物分子展示方法，其特征包括以下步骤：步骤(1)、图片特征点提取：对教材上的平面图片进行拍照或扫描，提取特征点后将特征点数据存储在服务端；步骤(2)、PDB文件获取及处理：对每一张图片，人工确定其对应的蛋白质结构信息数据库中PDBID号，服务器以此PDBID号在蛋白质结构信息数据库进行检索，获得PDB文件后进行处理和本地存储，将图片ID与PDB文件以及图片相关信息进行关联；步骤(3)、图片识别：移动客户端使用摄像头捕获教材上的平面图片，提取特征点后，以一定间隔时间将提取到的特征点上传到服务器，与步骤(1)中每一张图片的特征点进行相似度比较，若不匹配则丢弃步骤(1)中的该图片；若匹配则认为识别到了一个标记；将对应的PDB文件及相关信息发往移动客户端；步骤(4)、三维分子模型的绘制：在移动客户端根据获得的PDB文件中的原子三维点坐标，利用OpenGLES库实时绘制生物分子C原子骨架飘带模型和分子表面三维模型；步骤(5)、基于视觉标记的跟踪注册：移动客户端系统将步骤(4)中生成的模型与移动客户端摄像头拍摄的真实背景进行叠加显示；移动客户端摄像头空间位移或旋转发生变化时系统实时地重绘窗口，经坐标变换实时更新视角，使观察者可从任意角度和距离观察模型。2.根据权利要求1所述的基于增强现实的移动平台三维生物分子展示方法，其特征在于：步骤(1)图片特征点提取，通过基于SIFT即Scale-InvariantFeatureTransform算法改进的SURF即SpeededUpRobu...
【专利技术属性】
技术研发人员：罗益民，郝爱民，李帅，朱润凯，胡文洁，
申请(专利权)人：济宁医学院，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。