System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种机器人对视效果处理方法及装置制造方法及图纸_技高网

一种机器人对视效果处理方法及装置制造方法及图纸

技术编号:42371206 阅读:6 留言:0更新日期:2024-08-16 14:53
本申请公开了一种机器人对视效果处理方法及装置,通过获取目标用户的人脸图像,定位目标用户双眼眼球的空间坐标,从而计算目标用户的注视焦点的空间坐标,基于目标用户与机器人的位置关系以及机器人本体的位姿,计算机器人眼睛的空间坐标,以及机器人眼睛当前空间坐标与目标用户双眼眼球空间坐标的偏移路线,从而控制机器人眼球对应图层进行偏移处理,使得机器人与目标用户形成目光对视效果,丰富了机器人的交互表达方式,解决了当前机器人不能够有效的形成注视焦点,不能和用户实现眼神交流,导致的用户的体验性低,机器人的仿生性不高的技术问题。

【技术实现步骤摘要】

本申请涉及智能设备,尤其涉及一种机器人对视效果处理方法及装置


技术介绍

1、眼睛和眼神是人和人之间交流的重要渠道之一。注视外界的某一对象是生物体的眼睛特有的功能。在生物体之间的交互过程中,注视和眼神的交流也起到了非常重要的作用。人们在交流过程中,通过观察对方的眼睛,能够明确的认知到对方是否在看自己,即使是和宠物或其他有眼睛的生物交流时,也能够感知到对方是否在注视自己。在一个生物体注视外界其他非生物体时,旁观者可以通过观察该生物体的眼神明确认知到该生物体正在注视的对象是什么。

2、虽然当前的人工智能机器人很多已经有类似的眼睛的装置,可以通过眼睛的动画表达一些情绪或者意图。但这些装置并不能够有效的形成注视焦点,也就更无法实现人与人或者人与其他生物之间那种通过注视焦点实现的眼神交流,导致了用户的体验性低,机器人的仿生性不高的技术问题。


技术实现思路

1、本申请提供了一种机器人对视效果处理方法及装置,解决了当前机器人不能够有效的形成注视焦点,更不能实现和用户目光交流的功能,导致的用户的体验性低,机器人的仿生性不高的技术问题。

2、有鉴于此,本申请第一方面提供了一种机器人对视效果处理方法,所述方法包括:

3、s1、获取目标用户的人脸图像;

4、s2、基于人脸图像定位人脸的第一空间坐标以及双眼眼球的第二空间坐标,并根据第一空间坐标与第二空间坐标计算双眼眼球的注视焦点的第三空间坐标;

5、s3、获取机器人本体的第一当前位姿以及机器人头颈部的第二当前位姿,并基于第一当前位姿以及第二当前位姿计算机器人眼睛的第四空间坐标;

6、s4、以第三空间坐标为注视点,根据第四空间坐标计算机器人眼球的偏移路线;

7、s5、根据偏移路线对机器人眼球对应图层进行偏移处理,形成并执行眼球偏移动画,使得机器人与目标用户形成对视效果。

8、可选地,所述步骤s2具体包括:

9、获取机器人与目标用户的矢量距离

10、基于第一公式组计算双眼眼球的注视焦点的第三空间坐标,其中,为目标用户的第五空间坐标,为机器人本体的第六空间坐标,t为机器人本体的摄像头相对于机器人本体的第一转换矩阵,b为目标用户眼睛相对目标用户的第二转换矩阵,为目标用户双眼眼球的第二空间坐标;

11、根据目标用户双眼眼球的第二空间坐标以及目标用户的眼球直径计算双眼眼球的注视焦点的第三空间坐标。

12、可选地,所述步骤s3具体包括:

13、获取机器人本体的第一当前位姿以及机器人头颈部的第二当前位姿,计算机器人眼睛以机器人头颈部为中心的坐标系中的第七空间坐标el(x,y,z)和er(x,y,z);

14、根据机器人的位姿转换矩阵t,将第七空间坐标转换为机器人眼睛在世界坐标系中的第六空间坐标,其中elw(x,y,z)=r+t×el,erw(x,y,z)=r+t×er。

15、可选地,所述步骤s4具体包括:

16、定义双眼眼睛所在平面为yoz平面,其中左眼的空间坐标为l(x,y,z),x=0,右眼的空间坐标为r(x,y,z),x=0;

17、以第三空间坐标p(x,y,z)为注视点,根据第四空间坐标以及第二公式组计算机器人眼球的偏移路线,其中第二公式组具体为:

18、el(x)=0;

19、er(x)=0;

20、

21、

22、

23、

24、

25、其中,d为机器人眼球的直径。

26、可选地,所述步骤s5具体包括:

27、根据偏移路线分别对机器人眼球的眼皮图层、玻璃体图层、虹膜图层以及瞳孔图层进行偏移处理,形成并执行眼球偏移动画,使得机器人与目标用户形成对视效果。

28、本申请第二方面提供一种机器人对视效果处理装置,所述装置包括:

29、人脸图像获取单元,用于获取目标用户的人脸图像;

30、第一计算单元,用于基于人脸图像定位人脸的第一空间坐标以及双眼眼球的第二空间坐标,并根据第一空间坐标与第二空间坐标计算双眼眼球的注视焦点的第三空间坐标;

31、第二计算单元,用于获取机器人本体的第一当前位姿以及机器人头颈部的第二当前位姿,并基于第一当前位姿以及第二当前位姿计算机器人眼睛的第四空间坐标;

32、第三计算单元,用于以第三空间坐标为注视点,根据第四空间坐标计算机器人眼球的偏移路线;

33、偏移处理单元,用于根据偏移路线对机器人眼球对应图层进行偏移处理,形成并执行眼球偏移动画,使得机器人与目标用户形成对视效果。

34、可选地,所述第一计算单元具体用于:

35、获取机器人与目标用户的矢量距离

36、基于第一公式组计算双眼眼球的注视焦点的第三空间坐标,其中,为目标用户的第五空间坐标,为机器人本体的第六空间坐标,t为机器人本体的摄像头相对于机器人本体的第一转换矩阵,b为目标用户眼睛相对目标用户的第二转换矩阵,为目标用户双眼眼球的第二空间坐标;

37、根据目标用户双眼眼球的第二空间坐标以及目标用户的眼球直径计算双眼眼球的注视焦点的第三空间坐标。

38、可选地,所述第二计算单元具体用于:

39、获取机器人本体的第一当前位姿以及机器人头颈部的第二当前位姿,计算机器人眼睛以机器人头颈部为中心的坐标系中的第七空间坐标el(x,y,z)和er(x,y,z);

40、根据机器人的位姿转换矩阵t,将第七空间坐标转换为机器人眼睛在世界坐标系中的第六空间坐标,其中elw(x,y,z)=r+t×el,erw(x,y,z)=r+t×er。

41、可选地,所述第三计算单元具体用于:

42、定义双眼眼睛所在平面为yoz平面,其中左眼的空间坐标为l(x,y,z),x=0,右眼的空间坐标为r(x,y,z),x=0;

43、以第三空间坐标p(x,y,z)为注视点,根据第四空间坐标以及第二公式组计算机器人眼球的偏移路线,其中第二公式组具体为:

44、el(x)=0;

45、er(x)=0;

46、

47、

48、

49、

50、

51、其中,d为机器人眼球的直径。

52、可选地,所述偏移处理单元具体用于:

53、根据偏移路线分别对机器人眼球的眼皮图层、玻璃体图层、虹膜图层以及瞳孔图层进行偏移处理,形成并执行眼球偏移动画,使得机器人与目标用户形成对视效果。

54、本申请第三方面提供一种机器人对视效果处理设备,所述设备包括处理器以及存储器:

55、所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;

56、所述处理器用于根据所述程序代码中的指令,执行如上述第一方面所述的机器人对视本文档来自技高网...

【技术保护点】

1.一种机器人对视效果处理方法,其特征在于,包括:

2.根据权利要求1所述的机器人对视效果处理方法,所述步骤S2具体包括:

3.根据权利要求1所述的机器人对视效果处理方法,所述步骤S3具体包括:

4.根据权利要求1所述的机器人对视效果处理方法,所述步骤S4具体包括:

5.根据权利要求1所述的机器人对视效果处理方法,所述步骤S5具体包括:

6.一种机器人对视效果处理装置,其特征在于,包括:

7.根据权利要求6所述的机器人对视效果处理装置,其特征在于,所述第一计算单元具体用于:

8.根据权利要求6所述的机器人对视效果处理装置,其特征在于,所述第二计算单元具体用于:

9.根据权利要求6所述的机器人对视效果处理装置,其特征在于,所述第三计算单元具体用于:

10.根据权利要求6所述的机器人对视效果处理装置,其特征在于,所述偏移处理单元具体用于:

【技术特征摘要】

1.一种机器人对视效果处理方法,其特征在于,包括:

2.根据权利要求1所述的机器人对视效果处理方法,所述步骤s2具体包括:

3.根据权利要求1所述的机器人对视效果处理方法,所述步骤s3具体包括:

4.根据权利要求1所述的机器人对视效果处理方法,所述步骤s4具体包括:

5.根据权利要求1所述的机器人对视效果处理方法,所述步骤s5具体包括:

6.一种机器人对视效果处理...

【专利技术属性】
技术研发人员:魏强金友芝张明哲魏鹂萱
申请(专利权)人:北京萌友智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1