在场景中捕捉制造技术

本申请的实施例提供了一种在场景中捕捉

【技术实现步骤摘要】
【国外来华专利技术】在场景中捕捉、优化人体动作的方法及动作捕捉系统
[0001]相关专利申请
[0002]本申请是
2022
年3月3日递交的第
PCT/CN2022/079151
号国际专利申请的延续申请案，所述第
PCT/CN2022/078083
号国际专利申请要求于
2022
年2月
25
日递交的第
PCT/CN2022/078083
号国际专利申请“使用
LIDAR
捕捉三维人体动作的系统和方法”的权益和优先权
。
上述引用申请通过本专利技术的整体引用，成为本专利技术的一部分
。


[0003]本申请涉及动作捕捉
，具体而言，涉及一种在场景中捕捉
、
优化人体动作的方法及动作捕捉系统
。

技术介绍

[0004]在数字世界中，通过实现增强现实
、
虚拟现实
、
智能城市
、
机器人
、
自动驾驶等技术，数字世界的发展丰富了人们的生活，因此具有一定重要性
。
人类和环境是打造数字世界的两大组成部分
。
目前研究倾向于将动态人体动作与静态环境分离，从而帮助提高人体动作和环境的捕捉精度
。
为了捕捉人体动作，广泛使用惯性测量单元
(IMU)
传感器，将其安装在人体的不同部位，如手臂
、
腿
、
脚<br/>、
头等，即可捕捉到精确的短期动作，但随着采集时间的增加，传感器会出现漂移
。
常规方法往往将外置摄像机作为提高精度的补救措施，但这些方法可能会使捕捉空间
、
人类活动和交互受到限制
。
例如，人体定位定姿系统
(HPS)
采用头戴式摄像机，犹如人眼一样向外观看，在全局定位中作为
IMU
传感器的补充
。
在没有外置摄像机约束的情况下，
HPS
可以恢复全身姿态，并将
HPS
佩戴者注册到真实场景的大型
3D
扫描中
。
然而，
HPS
需要预先构建的地图和大型图像数据库进行自我定位，在捕捉大型场景时，这些条件并不理想
。
因此，常规方法不太适合从大规模空间中捕捉场景
。

技术实现思路

[0005]本申请的实施例提供了一种在场景中捕捉
、
优化人体动作的方法及动作捕捉系统，进而至少在一定程度上可以适于在大规模空间中捕捉场景
。
[0006]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得
。
[0007]本专利技术介绍了在场景中捕捉人体动作的方法
。
人体上可安装多个
IMU
设备和一个
LiDAR
传感器
。
利用所述
IMU
设备可以捕捉
IMU
数据，同时利用所述
LiDAR
传感器可以捕捉
LiDAR
数据
。
根据所述
IMU
数据和所述
LiDAR
数据可以对人体动作进行估计
。
根据所述
LiDAR
数据可以构建三维场景图
。
可以进行优化，获得优化的人体动作和优化的场景图
。
[0008]在一些实施例中，可以估计所述
LiDAR
传感器的自运动
。
所述
LiDAR
传感器可安装在人体的髋部
。
[0009]在一些实施例中，可根据所述
LiDAR
传感器的自运动，校准所述
LiDAR
数据和
IMU
数据
。
[0010]在一些实施例中，可在获得所述
IMU
设备捕捉的
IMU
数据和所述
LiDAR
传感器捕捉的
LiDAR
数据这一步骤中进行人体跳跃
。
根据从所述
LiDAR
数据得出的峰值和从所述
IMU
数据得出的峰值，可将所述
LiDAR
数据和
IMU
数据同步
。
[0011]在一些实施例中，可以进行基于图的优化，以融合
LiDAR
轨迹和
IMU
轨迹
。
所述
LiDAR
轨迹可包括从所述
LiDAR
数据得出的人体中心移动
。
所述
IMU
轨迹可包括从所述
IMU
数据得出的人体中心移动
。
[0012]在一些实施例中，所述优化可以基于接触约束和滑动约束
。
[0013]在一些实施例中，所述接触约束可将接触损失界定为从身体部位
(
从人体动作得出
)
到最近表面
(
从三维场景图得出
)
的距离
。
所述滑动约束可将滑动损失界定为从人体动作得出的两个连续身体部位之间的距离
。
使用梯度下降算法，可以最大程度地减少所述接触损失和滑动损失的总和，以迭代地优化人体动作
。
[0014]在一些实施例中，所述身体部位可以是人体的脚部
。
所述表面可以是地面
。
[0015]在一些实施例中，可在第二人体上安装多个第二
IMU
设备和一个第二
LiDAR
传感器
。
可以获得所述第二
IMU
设备捕捉的第二
IMU
数据和所述第二
LiDAR
传感器捕捉的第二
LiDAR
数据
。
根据所述第二
IMU
数据可以对第二人体的动作进行估计
。
根据所述第二
LiDAR
数据可以构建三维第二场景图
。
可以融合所述三维场景图和所述三维第二场景图，以获得组合场景图
。
[0016]在一些实施例中，基于所述人体的优化动作和所述优化的场景图，可以创建元宇宙
。
[0017]本专利技术介绍了一种动作捕捉系统
。
所述系统可包括多个可由人体佩戴的
IMU
设备
、
一个可安装在人体上的
LiDAR
传感器
、
一个处理器和一个存储指令的存储器，当处理器执行指令时，指令使系统在场景中执行人体动作捕捉方法，所述方法包括：获本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种在场景中捕捉人体动作的方法，所述方法包括以下步骤：在人体上安装多个
IMU
设备和一个
LiDAR
传感器；获得所述
IMU
设备捕捉的
IMU
数据和所述
LiDAR
传感器捕捉的
LiDAR
数据；根据所述
IMU
数据对人体动作进行估计；根据所述
LiDAR
数据构建三维场景图；进行优化，获得优化的人体动作和优化的场景图
。2.
根据权利要求1所述的方法，进一步包括以下步骤：估计所述
LiDAR
传感器的自运动，其中，所述
LiDAR
传感器安装在人体的髋部
。3.
根据权利要求2所述的方法，进一步包括以下步骤：根据所述
LiDAR
传感器的自运动，校准所述
LiDAR
数据和
IMU
数据
。4.
根据权利要求1所述的方法，进一步包括以下步骤：在获得所述
IMU
设备捕捉的
IMU
数据和所述
LiDAR
传感器捕捉的
LiDAR
数据这一步骤中进行人体跳跃；根据从所述
LiDAR
数据得出的峰值和从所述
IMU
数据得出的峰值，将所述
LiDAR
数据和
IMU
数据同步
。5.
根据权利要求1所述的方法，进一步包括以下步骤：进行图优化，以融合
LiDAR
轨迹和
IMU
轨迹，其中，所述
LiDAR
轨迹包括从所述
LiDAR
数据得出的人体中心移动，所述
IMU
轨迹包括从所述
IMU
数据得出的人体中心移动
。6.
根据权利要求1所述的方法，其中，所述优化基于接触约束和滑动约束
。7.
根据权利要求6所述的方法，其中，所述接触约束将接触损失界定为从由人体动作得出的身体部位到由三维场景图得出的最近表面的距离，并且所述滑动约束将滑动损失界定为从人体动作得出的两个连续身体部位之间的距离，所述方法进一步包括以下步骤：使用梯度下降算法，最大程度地减少所述接触损失和滑动损失的总和，以迭代地优化人体动作
。8.
根据权利要求7所述的方法，其中，所述身体部位是人体脚部，所述表面是地面
。9.
根据权利要求1所述的方法，进一步包括以下步骤：在第二人体上安装多个第二
IMU
设备和一个第二
LiDAR
传感器；获得所述第二
IMU
设备捕捉的第二
IMU
数据和所述第二
LiDAR
传感器捕捉的第二
LiDAR
数据；根据所述第二
IMU
数据对第二人体的动作进行估计；根据所述第二
LiDAR
数据构建三维第二场景图；融合所述三维场景图和所述三维第二场景图，以获得组合场景图；进行优化，获得人体和第二人体在优化的组合场景图中的优化动作
。10.
根据权利要求1所述的方法，进一步包括以下步骤：基于所述人体的优化动作和所述优化的场景图，创建元宇宙
。11.
一种动作捕捉系统，包括：多个人体佩戴式
IMU
设备；一个人体安装式
LiDAR
传感器；一个处理器；
一个存储指令的存储器，当处理器执行指令时，指令使系统在场景中执行人体动作捕捉方法，所述方法包括：获得所述
IMU
设备捕捉的
IMU
数据和所述
LiDAR
传感器捕捉的
LiDAR
数据
。12.
根据权利要求
11
所述的系统，进一步包括：一个
L
形支架，可将所述
LiDAR
传感器安装在人体的髋部，其中，所述
LiDAR
传感器和所述
IMU
设备可具有基本刚性变换
。13.
根据权利要求
11
所述的系统，进一步包括：一个无线接收器，与所述系统耦合，其中，所述无线接收器可接收所述
IMU
设备捕捉到的
IMU
数据
。14.
根据权利要求
11
所述的系统，其中，当执行指令时，指令进一步使系统进行：根据所述
IMU
数据和
LiDAR
数据对人体动作进行估计；根据所述
LiDAR
数据构建三维场景图；进行优化，获得优化的人体动作和优化的场景图
。15.
根据权利要求<...

【专利技术属性】
技术研发人员：温程璐，戴雨笛，许岚，王程，虞晶怡，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：