基于手机动作识别确定其客户端对应id的方法和系统技术方案

本发明专利技术涉及一种基于手机动作识别确定其客户端对应id的方法和系统。其特征：其特征在于：物理场景中至少包括第一客户端id1手机、第二客户端id2手机，第一客户端id1手机通过其摄像头拍摄包含第二客户端id2手机的场景后通过识别软件获取第二客户端id2手机动作参数，同时，第二客户端id2手机通过其传感器获得其运动参数，通过比对所述动作参数及运动参数的一致性确定第二客户端id2对应的手机在视频中的位置。有益效果是：解决虚拟世界中客户端id和真实世界中手机及其持有人的对应关系，在基于手机物理位置的客户端游戏中确定手机坐标，可以进行id标注，或至少是要获取初始化的手机物理位置。

【技术实现步骤摘要】
基于手机动作识别确定其客户端对应id的方法和系统本专利技术专利申请是分案申请。原案的申请号是：2017111758789；申请日是：2017-11-22；专利技术名称是：“基于手机动作识别确定其客户端对应id的AR方法和系统”。
本专利技术涉及客户端服务器模式（C/S结构或P2P结构）的
，特别是一种基于手机动作识别确定其客户端对应id的方法和系统。
技术介绍
增强现实技术（AugmentedReality，简称AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。本专利技术基于图像识别，包括现有成熟的特征识别、物体轮廓识别、颜色识别、动作识别、人脸识别、文字识别等，不同的环境采用相应的识别策略。尤其是通过人体手臂及末端手部的识别与跟踪间接实现手机物理位置的确定与跟踪。社交软件如即时通讯QQ，微信等应用场景中，好友仅限于手机硬件屏幕中以标识（昵称、名字等）展现，标识id是唯一的，现实生活中好友也未必谋面，也就是说好友也可能是虚拟世界的好友，如果社交平台建立关系的方式是开放的，即任何标识id不需要通过主动认证均可建立关系，这样虚拟世界的id就无法在现实世界中确定其客户端硬件或硬件持有人的对应关系，而随着AR的应用，如AR游戏等，需要确定虚拟的标识id和现实的客户端硬件或硬件持有人之间的对应关系。
技术实现思路
本专利技术的目的是提供一种基于手机动作识别确定其客户端对应id的AR方法和系统，具体说，由第一客户端id1手机通过其摄像头获取包含其它客户端手机的场景（通过CCD摄像即建立了XY坐标），在该场景中至少有第二客户端id2手机，当客户端id2手机发生运动时其内置传感器获取其加速度矢量a，进而计算出速度矢量v=∫a*dt，进一步计算出运动轨迹s=∫∫a*(dt)2，第一客户端id1手机同时获取客户端id2手机发生运动的视频获得图像动作轨迹S，对S求一阶导数计算图像速度V=S′，进一步，对S求二阶导数计算图像加速度A=S′′，通过比较运动轨迹s和图像动作轨迹S的一致性、即时速度v和图像速度V的一致性、加速度a和图像加速度A的一致性确定客户端id2手机在场景中的坐标。如此可以实现其它应用服务，如识别定位、识别跟踪后叠加图像、游戏等。客户端id对应手机记为客户端id手机。第一客户端记为客户端id1、第二客户端记为客户端id2、以此类推。s=∫∫a*(dt)2为手机空间运动轨迹，由加速度矢量a进行时间t二次积分获得。v=∫a*dt为手机空间运动速度，由加速度矢量a进行时间t积分获得。手机运动参数包括运动轨迹s、运动速度v（即时速度）、加速度a。S为视频中手机（或由确定的手臂末端代替）的图像随时间产生的轨迹即图像像素动作轨迹，即图像动作轨迹。V=S′为视频中手机（或由确定的手臂末端代替）的图像随时间发生的位移速度即图像像素速度，即图像速度（图像动作速度）。A=S′′为视频中手机（或由确定的手臂末端代替）的图像随时间发生的位移的加速度即图像像素加速度，即图像加速度（图像动作加速度）。手机动作参数包括图像像素动作轨迹S、图像像素速度V、图像像素加速度A。本专利技术的技术方案是：一种基于手机动作识别确定其客户端对应id的AR方法，其特征在于：物理场景中至少包括第一客户端id1手机、第二客户端id2手机，第一客户端id1手机通过其摄像头拍摄包含第二客户端id2手机的场景后通过识别软件获取第二客户端id2手机动作参数，同时，第二客户端id2手机通过其传感器获得其运动参数，通过比对所述动作参数及运动参数的一致性确定第二客户端id2对应的手机在视频中的位置。所述的基于手机动作识别确定其客户端对应id的AR方法，其特征还在于：包括服务器，第一客户端id1手机通过其摄像头拍摄包含第二客户端id2手机的场景后通过识别软件获取第二客户端id2手机动作参数并上传服务器，同时，第二客户端id2手机通过其传感器获得其运动参数并上传服务器，由服务器比对所述动作参数及运动参数的一致性确定第二客户端id2对应的手机。所述的基于手机动作识别确定其客户端对应id的AR方法，其特征还在于：当客户端id2手机发生运动时其内置传感器获取其加速度矢量a，进而计算出速度矢量v=∫a*dt，进一步计算出运动轨迹s=∫∫a*(dt)2，第一客户端id1手机同时获取客户端id2手机发生运动的视频获得图像像素动作轨迹S，对S求一阶导数计算图像像素速度V=S′，进一步，对S求二阶导数计算图像像素加速度A=S′′，通过比较运动轨迹s和图像像素动作轨迹S的一致性、或即时速度v和图像像素速度V的一致性、或加速度a和图像像素加速度A的一致性确定客户端id2手机在场景中的坐标。所述的基于手机动作识别确定其客户端对应id的AR方法，其特征还在于：由识别软件识别后对id2手机进行跟踪并叠加图像。所述的基于手机动作识别确定其客户端对应id的AR方法，其特征还在于：由加速度传感器信号触发叠加图像的运动。所述的基于手机动作识别确定其客户端对应id的AR方法，其特征还在于：由计算的图像像素加速度A=S′′的最大值触发叠加图像的运动。一种基于手机动作识别确定其客户端对应id的AR方法，其特征还在于，包括如下步骤：(1)客户端id1~idn手机将各自的传感器运动参数上传服务器；(2)任一客户端idx手机通过其摄像头获取场景视频建立X、Y坐标，并对客户端id1~idn手机持有人手臂运动进行识别跟踪并将动作参数及对应坐标上传服务器；(3)服务器建立X、Y坐标，服务器获取客户端id1~idn手机上传的运动参数及客户端idx手机上传的动作参数及对应坐标，将动作参数和运动参数进行匹配比对确定客户端id1~idn手机对应的物理位置坐标；(4)服务器提供基于跟踪某客户端的应用，并在该客户端的手机上执行应用效果。进一步，步骤(4)中由识别软件识别后对id2手机进行跟踪并叠加图像。再进一步，由id2手机的加速度传感器信号触发叠加图像的运动，或由计算的图像像素加速度A=S′′的最大值触发叠加图像的运动。或，一种基于手机动作识别确定其客户端对应id的AR方法，其特征还在于，包括如下步骤：(1)客户端id1~idn手机将各自的传感器运动参数上传服务器；(2)任一客户端idx手机通过其摄像头获取场景视频并上传服务器；(3)服务器获取客户端idx手机上传的场景视频，建立X、Y坐标，对客户端id1~idn手机持有人手臂运动进行识别跟踪获得动作参数，服务器获取客户端id1~idn手机上传的传感器运动参数，将动作参数和运动参数进行匹配比对确定客户端id1~idn手机对应的物理位置坐标。(4)服务器提供基于跟踪某客户端的应用，并在该客户端的手机上执行应用效果。进一步，步骤(4)中由识别软件识别后对id2手机进行跟踪并叠加图像。...

【技术保护点】
1.一种基于手机动作识别确定其客户端对应id的方法，其特征是：/n（1）获取和客户端相对应的图像像素动作轨迹S，对S求一阶导数计算图像像素速度V=S′，进一步，对S求二阶导数计算图像像素加速度A=S′′，将图像像素动作轨迹S、图像像素速度V=S′、图像像素加速度A=S′′上传服务器；/n（2）同时，客户端发生运动时其内置传感器获取其加速度矢量a并上传服务器；/n（3）计算出速度矢量v=∫a*dt，进一步计算出运动轨迹s=∫∫a*(dt)

【技术特征摘要】
1.一种基于手机动作识别确定其客户端对应id的方法，其特征是：
（1）获取和客户端相对应的图像像素动作轨迹S，对S求一阶导数计算图像像素速度V=S′，进一步，对S求二阶导数计算图像像素加速度A=S′′，将图像像素动作轨迹S、图像像素速度V=S′、图像像素加速度A=S′′上传服务器；
（2）同时，客户端发生运动时其内置传感器获取其加速度矢量a并上传服务器；
（3）计算出速度矢量v=∫a*dt，进一步计算出运动轨迹s=∫∫a*(dt)2，通过比较运动轨迹s和动作轨迹S的一致性、即时速度v和图像像素速度V的一致性、加速度a和图像像素加速度A的一致性确定客户端在场景中的坐标。


2.根据权利要求1所述的一种基于手机动作识别确定其客户端对应id的方法，其特征是：
客户端获取加速度矢量a，建立X、Y、Z三维坐标，加速度矢量a分解为ax、ay、az，运动轨迹s由x、y、z轨迹合成，即x=∫∫ax*(dt)2、y=∫∫ay*(dt)2、z=∫∫az*(dt)2；
运动轨迹s为空间三维轨迹，而摄取的图像是平面图像，将运动轨迹s在某一平面的投影和图像像素动作轨迹S进行匹配识别，将即时速度v在某一平面的投影和图像像素速度V进行匹配识别，将加速度a在某一平面的投影和图像像素加速度A进行匹配识别。


3.根据权利要求2所述的一种基于手机动作识别确定其客户端对应id的方法，其特征是：图像动作速度即图像的像素速度，图像像素坐标以x、y坐标表示，图像像素速度为V=((Δx)2+(Δy)2)1/2*f，Δx为图像像素x轴偏移量，Δy为图像像素y轴偏移量，f为帧频率，图像像素加速度为A=（V1-V2）*f，检测图像像素速度至少需要一个帧，V1和V2为相邻帧的图像像素速度。


4.根据权利要求3所述的一种基于手机动作识别确定其客户端对应id的方法，其特征是：采用分量检测，将坐标统一为水平和垂直方向坐标X、Y，假设摄像平面选定为X、Y平面，忽略Z坐标，手机运动加速度为ax、ay，运动速度为vx=∫ax*dt、vy=∫ay*dt，运动轨迹为x=∫∫ax*(dt)2、y=∫∫ay*(dt)2；图像像素速度Vx=Δx*f，Vy=Δy*f，Ax=（Vx1-Vx2）*f,Ay=（Vy1-Vy2）*f,建立匹配函数：
Ax比对Ax=（Vx1-Vx2）*f；
ay比对Ay=（Vy1-Vy2）*f；
vx=∫ax*dt比对Vx=Δx*f；
vy=∫ay*dt比对Vy=Δy*f；
x=∫∫ax*(dt)2比对X值；
y=∫∫ay*(dt)2比对Y值；
在一个匹配周期的各个时刻进行数值比对，时刻间隔可以选择帧周期，这样就把轨迹匹配、速度匹配、加速度匹配转化为数值比对。


5.根据权利要求4所述的一种基于手机动作识别确定其客户端对应id的方...

【专利技术属性】
技术研发人员：吴东辉，
申请(专利权)人：吴东辉，
类型：发明
国别省市：江苏;32