可交互数字化立体沙盘系统技术方案

一种可交互数字化立体沙盘系统，由立体图像生成系统和人机交互系统两大部分构成；立体图像生成系统采用Opengl等3D引擎绘制三维地形，应用人眼跟踪和指向光技术，实现无辅助立体显示，并且采用一系列图像的加速技术加快图像的渲染过程；使三维建筑模型置于三维地形目标区域中，具有精确的空间分布和良好的视觉效果；立体图像生成系统构成裸眼立体显示器；人机交互系统，指通过手势控制立体图像生成系统中三维地形场景或三维模型数据的系统，通过预置手势识别的接口实现；相对应的手势控制立体图像生成系统中三维地形场景或三维模型数据的放大、缩小、平移、旋转或进入等并且根据需要配置对应的可以区别不同控制意义的手势。

【技术实现步骤摘要】
爸制，购置速度慢，运输不便，已难以适应当1经发展成为大区域、立体化、多兵种，战争中适应现代战争需要的战场态势表达技术，丁交互式的数字化沙盘运用而生。近年来越6上，其人与作战环境的虚拟并自然的交互练中的问题，如费用过高、环境限制等。越玫字化沙盘全部都是平面的，不能够准确表:|」的对比分析0-7-28)提出了一种“基于实时交互式影像象模块为投影机组，交互模块分为非接触式./摄像机设备采集影像，接触式则为采用成像模块。基础模块则为适合成像模块成3-2-20)提出了 “一种交互式电子沙盘手势存放在了智能化互补，多模态(多通道)多也就是放在以人为在中心的人机交互技术I才刚刚起步并且正迅速的发展。可以说世多、娱乐方面)。然而目前我国在人机交互方匕差距，缺少新的人机技术。而利用指向光I示技术的应用尚未成熟。技术已经发展的较成熟。市面上也越来越5。然而虽然立体图像对技术能够提供立体，通过视差而立体成像。但这类技术不仅需舒适度，而且使用操作具有极大的局限性，巨调节和实现汇聚调节，长时间观看会产生立体沙盘系统，利用裸眼30技术和触摸技(如55寸)的水平显示台产生30效果，人貌，并且可以显示战争中用到的军事模型包括坦克、飞机等，并且有绚丽的战争光影效果，预置手势识别的接口通过手势控制立体图像生成系统中三维地形场景或三维模型数据，因为地形和军事模型非常的复杂，所以程序的数据量非常大。对于这样的数据量，系统采用创新的数据管理方式:即统一的三维地形场景，分块的三维军事模型数据，实现三维军事模型分层调入，使系统既是一个有机的整体，又能快速运行，解决海量数据和运行效率的问题。立体图像生成系统中立体图像的获得是利用左右眼看到的图像有细微的差别，从而在大脑中合成一幅具有深度的立体图。用虚拟摄像机拍摄模拟场景，通过坐标变换获得左右图像，对获得的左右图像进行视差控制，基于视差机制，利用Opengl, Opencv, DirectX或3D引擎绘制三维地形(进行渲染加速)。因为在视差间距过大的情况下无法在大脑中形成3D图像，所以对获得的左右图像进行视差控制(控制左右图像同名点的间距)；当由于人眼的移动会造成图像汇聚点的移动使立体图像产生畸变，这样就需要采用视觉跟踪的方法使左右图像的汇聚点保持不变，从而实现交互立体图像的生成。2)、人机交互系统指通过手势控制立体图像生成系统中三维地形场景或三维模型数据的系统，通过预置手势识别的接口实现；可交互数字化立体沙盘系统操作灵活，互操作能力很强。相对应的手势控制立体图像生成系统中三维地形场景或三维模型数据的放大、缩小、平移、旋转或进入等并且根据需要配置对应的可以区别不同控制意义的手势；由立体相机拍摄并取得手势三维信息，利用中点补偿算法对原始采样点进行处理，建立隐性马尔科夫模型，将手势空间分布特征，与样本库进行相似度对比，识别手势具体含义。还包括通过自然的手势控制，可以在三维场景中前进、后退，升高、降低视点、进入三维地形场景或三维模型数据观察内部细节(如楼盘内部观察房间内部的细节，并可以在房间中看到周围的建筑和风景，给人一种极致的人机交互体验)。图11显示了可以实现的手势操作。无侵扰手势识别装置、且实时立体内容生成构成实时的人机立体图像(影像)的生成交互；裸眼立体显示器放置无侵扰手势识别装置，通过对手势的识别，实现3D图像多人实时互动。利用裸眼3D技术和无侵扰手势识别技术实现高仿真立体画面和高精度人机互动，人眼看到的沙盘模型悬浮在裸眼立体显示器上方。所述的人机交互，根据实时记录大视角、大动态范围的用户活动区域，利用帧间差分的识别方法，达到手势对三维场景的实时控制。采用人眼跟踪和指向光技术，人眼位置的探测为非接触式，用户无需佩戴任何辅助装置。拥有手势探测的基本摄像模块，基于视觉感知的手势运动轨迹的描述，拥有手势的理解与识别算法，实现规定手势的自动识别。近场手势交互，多个手势识别的摄像头进行手势的捕捉，可实现无侵扰手势识别，手势定位的精度达到厘米级别。本系统采用的是近场手势交互技术，结合计算机视觉检测技术检测手指的位置，引导立体图像生成模块生成对应的立体像对，以实现可操控，可交互的技术要求。拥有手势探测的基本摄像模块，实时记录大视角、大动态范围的用户活动区域；拥有基于视觉感知的手势运动轨迹的描述，从而形成关于手势基本点云描述；拥有手势的理解与识别算法，实现[关系。芝校正处理。3、30裸眼显示屏4、虚拟物体5、人眼跟踪戸所在的大致区域，采用帧间差分的方法提:图像的灰度值的差分信息得到手的运动区基本原理，实时、快速地生成可交互的立体.体图像格式。在㈨的队应用程序接口中，视差图像。即通过？(:终端1、视频接口 2、以物体5在屏上，人眼跟踪器6用于对人眼I模拟观看者的双眼捕获左右图像，通过视与架虚拟相机模拟双眼获取立体图像对，有和平行式立体相机模型(图5)。汇聚式立1近景的拍摄；平行式立体相机模型光轴互目于远景的拍摄。建立数学模型，以两架相I为原点建立相机坐标系，以相机冗0投影7原点建立显示坐标系，立体相机拍摄的过坐标系、相机坐标系到图像坐标系、图像坐？问题，经常用一个比实际瞳孔距离小的间线向量为rD,双眼中心坐标为I,实际物体位置为E点,用户感知的物体位置为F点。可以定义一个转换矩阵，通过该转换矩阵可以在世界坐标系中将E点转换到F点，即F= Δ (E)0通过在坐标系中的转换可以有效地减小崎变问题，如(图9右)所不，红色的网格为崎变图像，蓝色的网格为进行逆畸变Λ-1处理后的图像。可以看出进行逆畸变处理可以有效的还原真实的场景。4)、基于视差机制的图像加速方法在虚拟场景中，根据一系列点的三维信息，利用现有程序OPENGL绘制三角形渲染出整个场景，再加以纹理贴图就可以完成地图渲染，我们可以在初始化过程中将所有点的信息存入GPU中这样在渲染的过程中就无需频繁的读取内存中的数据，加以渲染过程。在渲染之前对地形各个快进行裁剪测试，这样我们在绘制地图中较远的场景时就可以使用较少的三角形进行渲染，对于不在视野范围内的场景不进行渲染，这样就可以加快图像的渲染过程。实施例1:实际装置中，我们采用的手势识别装置是Leap mot1n。Leap mot1n传感器根据内置的两个摄像头从不同的角度捕捉的画面，重建出手掌在真是世界三维空间的联动信息。检测的范围大体在传感器上方25毫米到600毫米之间，检测的空间大体是一个到四棱锥体。首先，Leap Mot1n传感器会建立一个直角坐标系，坐标的原点式传感器的中心，坐标的X轴平行于传感器，指向屏幕右方。Y轴指向上方。Z轴之相背离屏幕的方向。单位为真实世界的毫米 。在使用过程中，Leap Mot1n传感器会定期的发送关于手的联动信息，每份这样的信息称为「帧」。每一个这样的帧包含检测到的:.所有手掌的列表及信息；.所有手指的列表及信息；.手持工具(细的，笔直的，比手指长的东西，例如一枝笔)的列表及信息；.所有可指向对象(Pointable Object)，即所有手指和工具的列表及信息；Leap传感器会给所有这些分配一个唯一标识(ID)，在手掌、手指、工具保持在视野范围内时，是不会改变的。根据这些ID,可以通过Frame:: hand O ,Frame:: finger O等函数来查询每个连动本文档来自技高网...

【技术保护点】
一种可交互数字化立体沙盘系统，其特征是由立体图像生成系统和人机交互系统两大部分构成；1)、立体图像生成系统立体图像生成系统采用Opengl，Opencv，Directx或3D引擎绘制三维地形，应用人眼跟踪和指向光技术，实现无辅助立体显示，并且采用一系列图像的加速技术加快图像的渲染过程；使三维建筑模型置于三维地形目标区域中，具有精确的空间分布和良好的视觉效果；立体图像生成系统构成裸眼立体显示器；立体图像生成系统采用独自编程，沙盘模型细节众多。不仅可以显示整个地形地貌，并且可以显示战争中用到的军事模型包括坦克、飞机等，并且有绚丽的战争光影效果，预置手势识别的接口通过手势控制立体图像生成系统中三维地形场景或三维模型数据，因为地形和军事模型非常的复杂，所以程序的数据量非常大。对于这样的数据量，系统采用创新的数据管理方式：即统一的三维地形场景，分块的三维军事模型数据，实现三维军事模型分层调入，使系统既是一个有机的整体，又能快速运行，解决海量数据和运行效率的问题。立体图像生成系统中立体图像的获得是利用左右眼看到的图像有细微的差别，从而在大脑中合成一幅具有深度的立体图。用虚拟摄像机拍摄模拟场景，通过坐标变换获得左右图像，对获得的左右图像进行视差控制，基于视差机制，利用Opengl，Opencv，Directx或3D引擎绘制三维地形(进行渲染加速)。因为在视差间距过大的情况下无法在大脑中形成3D图像，所以对获得的左右图像进行视差控制(控制左右图像同名点的间距)；当由于人眼的移动会造成图像汇聚点的移动使立体图像产生畸变，这样就需要采用视觉跟踪的方法使左右图像的汇聚点保持不变，从而实现交互立体图像的生成。2)、人机交互系统指通过手势控制立体图像生成系统中三维地形场景或三维模型数据的系统，通过预置手势识别的接口实现；相对应的手势控制立体图像生成系统中三维地形场景或三维模型数据的放大、缩小、平移、旋转或进入等并且根据需要配置对应的能区别不同控制意义的手势；由立体相机拍摄并取得手势三维信息，利用中点补偿算法对原始采样点进行处理，建立隐性马尔科夫模型，将手势空间分布特征，与样本库进行相似度对比，识别手势具体含义；还包括通过自然的手势控制，在三维场景中前进、后退，升高、降低视点、进入三维地形场景或三维模型数据观察内部细节；手势识别的接口连接无侵扰手势识别或监测装置、通过对手势的识别，且实时立体内容生成构成实时的人机立体图像(影像)的生成实时交互。...

【技术特征摘要】
1.一种可交互数字化立体沙盘系统，其特征是由立体图像生成系统和人机交互系统两大部分构成； 1)、立体图像生成系统 立体图像生成系统采用Opengl, Opencv,DirectX或3D引擎绘制三维地形,应用人眼跟踪和指向光技术，实现无辅助立体显示，并且采用一系列图像的加速技术加快图像的渲染过程；使三维建筑模型置于三维地形目标区域中，具有精确的空间分布和良好的视觉效果；立体图像生成系统构成裸眼立体显示器； 立体图像生成系统采用独自编程，沙盘模型细节众多。不仅可以显示整个地形地貌，并且可以显示战争中用到的军事模型包括坦克、飞机等，并且有绚丽的战争光影效果，预置手势识别的接口通过手势控制立体图像生成系统中三维地形场景或三维模型数据，因为地形和军事模型非常的复杂，所以程序的数据量非常大。对于这样的数据量，系统采用创新的数据管理方式:即统一的三维地形场景，分块的三维军事模型数据，实现三维军事模型分层调入，使系统既是一个有机的整体，又能快速运行，解决海量数据和运行效率的问题。 立体图像生成系统中立体图像的获得是利用左右眼看到的图像有细微的差别，从而在大脑中合成一幅具有深度的立体图。用虚拟摄像机拍摄模拟场景，通过坐标变换获得左右图像，对获得的左右图像进行视差控制，基于视差机制，利用Opengl,Opencv,Directx或3D引擎绘制三维地形(进行渲染加速)。因为在视差间距过大的情况下无法在大脑中形成3D图像，所以对获得的左右图像进行视差控制(控制左右图像同名点的间距)；当由于人眼的移动会造成图像汇聚点的移动使立体图像产生畸变，这样就需要采用视觉跟踪的方法使左右图像的汇聚点保 持不变，从而实现交互立体图像的生成。 2)、人机交互系统 指通过手势控制立体图像生成系统中三维地形场景或三维模型数据的系统，通过预置手势识别的接口实现；相对应的手势控制立体图像生成系统中三维地形场景或三维模型数据的放大、缩小、平移、旋转或进入等并且根据需要配置对应的能区别不同控制意义的手势；由立体相机拍摄并取得手势三维信息，利用中点补偿算法对原始采样点进行处理，建立隐性马尔科夫模型，将手势空间分布特征，与样本库进行相似度对比，识别手势具体含义； 还包括通过自然的手势控制，在三维场景中前进、后退，升高、降低视点、进入三维地形场景或三维模型数据观察内部细节； 手势识别的接口连接无侵扰手势识别或监测装置、通过对手势的识别，且实时立体内容生成构成实时的人机立体图像(影像)的生成实时交互。2.根据权利要求1所述的可交互数字化立体沙盘系...

【专利技术属性】
技术研发人员：王元庆，董辰辰，李异同，陆大伟，马换，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32