【技术实现步骤摘要】
本专利技术涉及手物交互，特别是涉及获取高质量手物交互运动序列的方法及装置。
技术介绍
1、手和物体的交互是人们日常生活中十分常见的一种行为，采集高质量的手物交互运动数据对于我们研究这种行为具有重要意义和广泛的潜在价值。例如在人机交互领域中，手物交互数据可以用于研究和理解人类行为和动作，进而改进产品设计、界面互动和用户体验；在机器人领域中，这些数据可用于培训机器学习算法，使机器能够理解和模仿人类的动作和决策；对于工业自动化和制造业来说，高质量的手物交互数据可以用于优化生产流程和提高工作效率。
2、现实世界中的人与物体交互是一个完全符合物理的过程，因此物理合理的交互序列能够提供更加准确的交互信息。现有的技术一般通过动作捕捉的方法得到高质量的手物交互运动的序列，进一步来说，这些方法大致可以分为基于可穿戴式设备的方法和基于视觉的方法。前者通过在人手和物体上安装具有传感器或光学标记的设备，采集某种感知信息(例如手指弯曲角度、接触力、标记点位置)，进而解算出人手和物体的运动姿态；后者通过相机设备采集交互运动的图像序列，运用数值优化或者深度神经网络的方法寻找与图像信息最匹配的手物姿态序列。现有技术在采集和解算交互运动的时候，只考虑了最简单的物理约束(例如手和物体之间不会发生相互穿透)，而缺乏对交互过程更细致的物理建模，因此得到的序列经常有不符合物体的现象。
技术实现思路
1、本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
2、为此，本专利技术提出一种获取高质
3、本专利技术的另一个目的在于提出一种获取高质量手物交互运动序列的装置。
4、为达上述目的，本专利技术一方面提出一种获取高质量手物交互运动序列的方法，包括：
5、利用手物交互运动重建方法得到手物的第一交互运动序列；
6、获取人手每个部位的传感器上的压力传感数据，并根据所述压力传感数据计算人手每个部位是否与物体表面的接触信息；
7、基于所述第一交互运动序列和所述接触信息构建第二交互运动序列；
8、利用深度强化学习方法将所述第二交互运动序列作为参考序列进行模仿交互，以得到最终的第三交互运动序列。
9、本专利技术实施例的获取高质量手物交互运动序列的方法还可以具有以下附加技术特征：
10、在本专利技术的一个实施例中，所述第一交互运动序列，包括每一帧手的姿态和物体的姿态根据压力传感数据计算人手每个部位是否与物体表面的接触信息
11、
12、在本专利技术的一个实施例中，基于第一交互运动序列和接触信息构建第二交互运动序列
13、在本专利技术的一个实施例中，利用深度强化学习方法将所述第二交互运动序列作为参考序列进行模仿交互，以得到最终的第三交互运动序列，包括：
14、构建强化学习任务，并确定所述强化学习任务的目标为得到最优策略；其中，所述最优策略为在每个时刻的状态计算一个动作的概率分布；
15、基于所述概率分布使得在物理模拟器中根据所述最优策略模仿参考序列得到的第三交互运动序列对应的累计奖励最大化。
16、在本专利技术的一个实施例中，所述强化学习任务对应一个马尔可夫决策过程：
17、
18、其中，状态qt,分别为物理模拟器中手当前的姿态和速度，ot,为物理模拟器中物体当前的姿态和速度，为被模仿序列中下一帧的手和物体的姿态，动作表示下一帧手的目标姿态，目标姿态输入比例微分控制器计算出施加给物理人手每个关节上的力或力矩τt，转移p为物理模拟的过程，过程会根据手每个关节的力或力矩对手和物体进行物理模拟，并得到下一帧的手的姿态qt+1和速度以及物体的姿态ot+1和速度即：
19、
20、奖励r由三个部分组成：
21、r(st)＝rhand*robj*rcnt
22、其中，rhand是针对手的奖励项，计算方式为：
23、rhand＝rpose+rjoint+rvel
24、rpose模仿出的手姿态要和参考序列中手的姿态像，即：
25、
26、rjoint模仿出的手每个关节点的三维坐标要和参考序列中手关节的三维坐标相近，即：
27、
28、其中j(q)表示将手的姿态q映射为关节三维坐标的函数；
29、rvel模仿出的手的关节旋转速度要和参考序列相似，即：
30、
31、其中为模仿出的手的速度，为参考序列中手的速度，通过对参考序列中手的姿态序列进行差分得到；
32、robi是针对物体的奖励项，计算方式为：
33、robj＝ropose+rovel
34、其中ropose模仿出的物体的6dof姿态和参考序列中的物体接近，即：
35、
36、rovel模仿出的物体的速度和参考序列中物体的速度接近，即：
37、
38、rcnt是针对交互的奖励项，模仿序列中的手和物体的接触状态和参考序列中的接触信息接近，计算方式为：
39、
40、其中n代表传感器的个数，表示模仿序列中手的每个部位和物体的接触状态，i是示性函数。
41、为达上述目的，本专利技术另一方面提出一种获取高质量手物交互运动序列的装置，包括：
42、第一运动序列获取模块，用于利用手物交互运动重建方法得到手物的第一交互运动序列；
43、表面接触信息计算模块，用于获取人手每个部位的传感器上的压力传感数据，并根据所述压力传感数据计算人手每个部位是否与物体表面的接触信息；
44、第二运动序列获取模块，用于基于所述第一交互运动序列和所述接触信息构建第二交互运动序列；
45、第三运动序获取模块，用于列利用深度强化学习方法将所述第二交互运动序列作为参考序列进行模仿交互，以得到最终的第三交互运动序列。
46、本专利技术实施例的获取高质量手物交互运动序列的方法和装置，基于手物交互运动重建技术以及深度强化学习技术等，生成一些完全符合物理的手物交互运动序列。
47、本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
本文档来自技高网...【技术保护点】
1.一种获取高质量手物交互运动序列的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述第一交互运动序列，包括每一帧手的姿态和物体的姿态根据压力传感数据计算人手每个部位是否与物体表面的接触信息
3.根据权利要求2所述的方法，其特征在于，基于第一交互运动序列和接触信息构建第二交互运动序列
4.根据权利要求3所述的方法，其特征在于，利用深度强化学习方法将所述第二交互运动序列作为参考序列进行模仿交互，以得到最终的第三交互运动序列，包括：
5.根据权利要求4所述的方法，其特征在于，所述强化学习任务对应一个马尔可夫决策过程：
6.一种获取高质量手物交互运动序列的装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述第一交互运动序列，包括每一帧手的姿态和物体的姿态所述表面接触信息计算模块，还用于根据压力传感数据计算人手每个部位是否与物体表面的接触信息
8.根据权利要求7所述的装置，其特征在于，所述第二运动序列获取模块，还用于基于第一交互运动序列和接触信息构建第二交
9.根据权利要求8所述的装置，其特征在于，所述第三运动序获取模块，还用于：
10.根据权利要求9所述的装置，其特征在于，所述强化学习任务对应一个马尔可夫决策过程：
...【技术特征摘要】
1.一种获取高质量手物交互运动序列的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述第一交互运动序列，包括每一帧手的姿态和物体的姿态根据压力传感数据计算人手每个部位是否与物体表面的接触信息
3.根据权利要求2所述的方法，其特征在于，基于第一交互运动序列和接触信息构建第二交互运动序列
4.根据权利要求3所述的方法，其特征在于，利用深度强化学习方法将所述第二交互运动序列作为参考序列进行模仿交互，以得到最终的第三交互运动序列，包括：
5.根据权利要求4所述的方法，其特征在于，所述强化学习任务对应一个马尔可夫决策过程：...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。