裸眼3D私隐式虚拟人机交互系统及方法技术方案

本发明专利技术涉及显示技术和人机交互技术领域，具体涉及一种裸眼3D私隐式虚拟人机交互系统及方法，该人机交互系统包括图像获取设备、图像处理与信息判定终端及3D显示屏幕；图像获取设备用于获取用户手部在3D显示屏幕的操作界面内的按钮上进行操作的手势图像；图像处理与信息判定终端用于对图像获取设备获取的手势图像进行处理，以确定用户手部点击的按钮与想执行的操作，在对应的左眼图像和右眼图像上执行相应的操作后将处理过的左眼图像和右眼图像传输至3D显示屏幕；3D显示屏幕用于载入左眼图像和右眼图像并显示3D图像；左眼图像和右眼图像均基于随机散点图绘制。本发明专利技术不但防窥视广角较大，而且图像的杂乱性也比较大，保证人机交互系统显示的私密性。

【技术实现步骤摘要】

本专利技术涉及显示技术和人机交互
，更具体地，涉及一种裸眼3D私隐式虚拟人机交互系统及方法。
技术介绍
传统的人机交互方式，要求显示屏幕显示清晰的内容以达到信息反馈给操作者的目的。但显示屏幕的大视角使得非操作者也可窥视到操作信息，这就降低了信息的私隐性和保密性，尤其是在一些保密性要求较高的场合中，存在信息泄露的风险，如在银行的ATM机进行操作，则可能导致操作者的密码与交易信息被侧面的旁人窥视到，进而给持卡人带来经济损失。现在这方面保密性措施还比较单一，如夏普几年前的9020C款手机，它的防窥窃功能使得只有操作者能看到屏幕信息而旁边位置看不清楚，但还存在着保密性不够等问题，如防窥视广角较小，图像杂乱性不够等问题，给持卡人带来隐患。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种裸眼3D私隐式虚拟人机交互系统及方法，该人机交互系统不但防窥视广角较大，而且图像的杂乱性也比较大，保证人机交互系统显示的私密性。为达到上述目的，本专利技术采用的技术方案是: 一种裸眼3D私隐式虚拟人机交互系统，包括图像获取设备、图像处理与信息判定终端及3D显示屏幕；图像获取设备用于获取用户手部在3D显示屏幕的操作界面内的按钮上进行操作的手势图像；图像处理与信息判定终端用于对图像获取设备获取的手势图像进行处理，以确定用户手部点击的按钮与想执行的操作，在对应的左眼图像和右眼图像上执行相应的操作后将处理过的左眼图像和右眼图像传输至3D显示屏幕;3D显示屏幕用于载入左眼图像和右眼图像并显示3D图像;所述左眼图像和右眼图像均基于随机散点图绘制。上述方案中，通过将3D显示技术与随机散点图相结合，使操作者只有在3D显示的左右眼视区内才能看到隐藏的交互画面，而在其他位置只能看到随机散点，增大了人机交互系统的防窥视广角，提高了图像的杂乱性，保证人机交互系统显示的私密性。优选地，所述图像获取设备为摄像机。优选地，为了保证摄像机可以拍摄完整个屏幕前方的区域，将所述摄像机的视角设置为大于等于90°。优选地，所述摄像机的个数为两个，两个摄像机分别位于人眼成像的虚拟屏幕的左上角与右上角，且均与水平面成45°夹角。优选地，为了防止遮蔽效应，将所述摄像机的个数设置为两个以上，且所有摄像机拍摄区域的并集为整个屏幕前方的区域。优选地，3D显示屏幕的操作界面内的按钮呈随机显示。这样设置可以进一步增加图像的杂乱性，防止按钮固定显示时，旁观者根据操作者的操作就可以大概猜出图像中的?目息O优选地，为了提示操作者正在执行的操作，裸眼3D私隐式虚拟人机交互系统还包括播放器，当用户手部点击按钮时，播放器播出声音。优选地，所述3D显示屏幕为指向性背光式的裸眼3D显示屏幕。指向性背光式的裸眼3D显示屏幕仅向屏幕前方提供两个视区，只有操作者的左、右眼同时位于视区内才可以看见随机散点图内隐藏的操作界面，而在其他位置只能看到随机散点，进一步增加了人机交互系统显示的私密性。一种裸眼3D私隐式虚拟人机交互方法，包括如下步骤: 步骤1.1:基于随机散点图绘制3D显示所需的左眼图像及右眼图像； 步骤1.2:用3D显示屏幕载入左眼图像和右眼图像并显示3D图像； 步骤1.3:用图像获取设备获取用户手部在3D显示屏幕的操作界面内的按钮上操作的手势图像； 步骤1.4:用图像处理与信息判定终端对图像获取设备获取的手势图像进行处理，以确定用户手部点击的按钮与想执行的操作，在对应的左眼图像和右眼图像上执行相应的操作后将处理过的左眼图像和右眼图像传输至3D显示屏幕； 步骤1.5:用3D显示屏幕载入左眼图像和右眼图像并显示3D图像。优选地，步骤1.4中用图像处理与信息判定终端对图像获取设备获取的手势图像进行处理，以确定用户手部点击的按钮与想执行的操作，在对应的左眼图像和右眼图像上执行相应的操作后将左眼图像和右眼图像传输至3D显示屏幕的步骤如下: 步骤2.1:在手势图像上利用畸变矫正、平滑处理及图像分割技术提取手指的轮廓；步骤2.2:根据3D显示屏幕与图像获取设备的位置关系及手指在图像获取设备获取的手势图像中的图像坐标计算出手指的世界坐标； 步骤2.3:比对手指的世界坐标和3D显示屏幕的操作界面内的各个按钮的世界坐标，即可确定用户点击的按钮与想要执行的操作； 步骤2.4:分别在对应的左眼图像和右眼图像中执行相应的操作，并将处理过的左眼图像和右眼图像传输至3D显示屏幕。与现有技术相比，本专利技术的有益效果是: 本专利技术一种裸眼3D私隐式虚拟人机交互系统及方法，通过将3D显示技术与随机散点图相结合，使操作者只有在3D显示的左右眼视区内才能看到隐藏的交互画面，而在其他位置只能看到随机散点，增大了人机交互系统的防窥视广角，提高了图像的杂乱性，保证人机交互系统显示的私密性;通过将3D显示屏幕的操作界面内的按钮设置成随机显示，可以进一步增加图像的杂乱性，防止按钮固定显示时，旁观者根据操作者的操作就可以大概猜出图像中的信息；通过将3D显示屏幕设置成指向性背光式的裸眼3D显示屏幕，仅向显示屏幕前方提供两个视区，可以进一步增加人机交互系统显示的私密性。【附图说明】图1为本专利技术实施例中人机交互界面在3D显示屏幕外面成像的原理图。图2为本专利技术实施例中的左眼图像示意图。图3为本专利技术实施例中的右眼图像示意图。图4为本专利技术实施例中两个摄像机与3D显示屏幕的位置关系结构示意图。图5为本专利技术实施例中三个摄像机与3D显示屏幕的位置关系结构示意图。图6为本专利技术实施例中四个摄像机与3D显示屏幕的位置关系结构示意图。图7为本专利技术实施例中基于指向性背光式的裸眼3D显示屏幕的显示效果图。图8为本专利技术实施例中旁观者在非设定的左右眼视区内观看到的操作界面示意图。图9为本专利技术实施例中操作者在设定的左右眼视区内观看到的操作界面示意图。图10为本专利技术实施例中在设定的左右眼视区内观看到的操作界面示意图，其中操作界面内的按钮呈随机显示。【具体实施方式】下面结合【具体实施方式】对本专利技术作进一步的说明。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制;为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸;对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件;在本专利技术的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。实施例本实施例一种裸眼3D私隐式虚拟人机交互系统的示意图如图4至图6所示，包括图像获取设备、图像处理与信息判定终端及3D显示屏幕；图像获取设备用于获取用户手部在3D显示屏幕的操作界面内的按钮上进行操作的手势图像；图像处理与信息判定终端用于对图像获取设备获取的手势图像进行处理，以确定用户手部点击的按钮与想执行的操作，在对应的左眼图像和右眼图像上执行相应的操作后将处理过的左本文档来自技高网...

【技术保护点】
一种裸眼3D私隐式虚拟人机交互系统，其特征在于，包括图像获取设备、图像处理与信息判定终端及3D显示屏幕；图像获取设备用于获取用户手部在3D显示屏幕的操作界面内的按钮上进行操作的手势图像；图像处理与信息判定终端用于对图像获取设备获取的手势图像进行处理，以确定用户手部点击的按钮与想执行的操作，在对应的左眼图像和右眼图像上执行相应的操作后将处理过的左眼图像和右眼图像传输至3D显示屏幕；3D显示屏幕用于载入左眼图像和右眼图像并显示3D图像；所述左眼图像和右眼图像均基于随机散点图绘制。

【技术特征摘要】

【专利技术属性】
技术研发人员：王嘉辉，池骋，周建英，梁浩文，李焜阳，许宇满，陈海域，林岱昆，
申请(专利权)人：广东顺德中山大学卡内基梅隆大学国际联合研究院，
类型：发明
国别省市：广东;44