用于机器人控制的可变形软组织和具有基于位置的动态特性的其它对象的真实到模拟匹配制造技术

提供一种用于从感测数据产生和更新一或多个对象的模拟的方法

【技术实现步骤摘要】
【国外来华专利技术】用于机器人控制的可变形软组织和具有基于位置的动态特性的其它对象的真实到模拟匹配
[0001]相关申请的交叉引用
[0002]本申请要求
2021
年3月
21
日提交的第
63/168,499
号美国临时申请案的权益，所述美国临时申请案的内容以引用的方式并入本文中
。

技术介绍

[0003]为了在我们生活的
3D
世界中成功地进行导航并且与此世界交互，需要
3D
几何理解
。
对于具有复杂的非刚性对象
(
例如，组织
、
绳索
、
液体
)
的环境，为了交互，需要额外的动态理解
。
作为人类，我们获得如何处置动态对象的经验
。
举例来说，当进行倾倒一杯咖啡的简单任务时隐含地理解管控液体的流体动力学定律
。
数据驱动的方法尝试通过探索环境且与环境交互
(
例如，强化学习
)
或从任务的演示进行学习来复制此能力
。
然而，这些方法未能一般化到其训练数据之外的任务，且不具有现实世界的显式模型
。

技术实现思路

[0004]根据本文所描述的主题的一个方面，提供一种用于从感测数据产生和更新一或多个对象的模拟的方法
。
所述方法包含：
(i)
接收感测数据；
(ii)
检测所述感测数据中的一或多个对象；/>(iii)
初始化模拟器中的所述一或多个对象的模拟器几何形状和在所述模拟器中使用的模拟器参数；
(iv)
使用所述模拟器参数预测所述模拟器几何形状；
(v)
从所述预测模拟器几何形状计算预测感测数据；
(vi)
计算所述预测感测数据与所述所接收感测数据之间的损失；
(vii)
通过最小化所述计算的损失而更新所述模拟器几何形状和所述模拟器参数；
(viii)
在接收到新感测数据的情况下重复
(i)
‑
(viii)
；以及
(ix)
使用所述经更新模拟器几何形状和所述经更新模拟器参数提供所述一或多个对象的模拟
。
[0005]根据本文所描述的主题的另一实例，机器人操控所述一或多个对象且所述方法进一步包含：接收所述机器人的运动学信息；接收关于由操控所述一或多个对象的所述机器人执行的动作的机器人动作信息，其中接收所述感测数据包含接收关于正通过由所述机器人执行的所述动作操控的所述一或多个对象的感测数据，且其中预测所述模拟器几何形状也使用所述机器人动作信息
。
[0006]根据本文所描述的主题的另一实例，最小化所述计算的损失包含最小化所述计算的损失使用选自由以下各项组成的群组的最小化技术：梯度下降
、
雷文柏格
‑
马括特算法
、
信任区优化技术，和高斯
‑
牛顿算法
。
[0007]根据本文所描述的主题的另一实例，用于所述最小化技术的导数是使用自动区分
、
有限差分
、
邻接方法计算的或以分析方式导出
。
[0008]根据本文所描述的主题的另一实例，接收机器人动作包含接收机器人关节角度
、
速度和
/
或扭矩测量信息
。
[0009]根据本文所描述的主题的另一实例，所述模拟器是基于位置的动态特性模拟器
。
[0010]根据本文所描述的主题的另一实例，所述模拟器是刚性主体动态特性模拟器
。
[0011]根据本文所描述的主题的另一实例，所述模拟器是铰接式刚性主体动态特性模拟器
。
[0012]根据本文所描述的主题的另一实例，所述模拟器是光滑特定流体动力学模拟器
。
[0013]根据本文所描述的主题的另一实例，所述模拟器是基于有限元方法的动态特性模拟器
。
[0014]根据本文所描述的主题的另一实例，所述模拟器是投影动态特性模拟器
。
[0015]根据本文所描述的主题的另一实例，所述模拟器是基于能量投影的动态特性模拟器
。
[0016]根据本文所描述的主题的另一实例，所述感测数据包含图像数据
、CT/MRI
扫描
、
超声
、
深度图像数据和
/
或点云数据
。
[0017]根据本文所描述的主题的另一实例，所述感测数据在包含模拟时间步长的多个迭代的预定时间窗口内扩展
。
[0018]根据本文所描述的主题的另一实例，所述一或多个对象包含至少一个可变形对象
。
[0019]根据本文所描述的主题的另一实例，所述一或多个对象包含至少一个刚性主体
。
[0020]根据本文所描述的主题的另一实例，所述一或多个对象包含至少一个铰接式刚性主体
。
[0021]根据本文所描述的主题的另一实例，所述一或多个对象包含至少一个可变形线性对象
。
[0022]根据本文所描述的主题的另一实例，所述至少一个可变形线性对象选自由以下各项组成的群组：绳索
、
缝合线，和肌腱
。
[0023]根据本文所描述的主题的另一实例，所述一或多个对象包含至少一种液体
。
[0024]根据本文所描述的主题的另一实例，所述一或多个对象包含彼此交互的至少两个不同对象
。
[0025]根据本文所描述的主题的另一实例，所述方法进一步包含根据所述模拟操控所述一或多个对象，使得所述一或多个对象的物理几何形状与目标几何形状对准
。
[0026]根据本文所描述的主题的另一实例，所述模拟在所述一或多个对象的操控期间经更新以提供闭环控制
。
[0027]根据本文所描述的主题的另一实例，所述模拟用以提供开环控制
。
[0028]根据本文所描述的主题的另一实例，所述方法进一步包含计算目标几何形状与模拟器几何形状之间的控制损失，且最小化所述控制损失以计算用以操控所述一或多个对象的机器人动作的序列
。
[0029]根据本文所描述的主题的另一实例，所述方法进一步包含执行所述机器人动作的序列以操控所述一或多个对象，使得所述一或多个对象的物理几何形状与目标几何形状对准
。
[0030]根据本文所描述的主题的另一实例，最小化所述控制损失使用选自由以下各项组成的群组的最小化技术：梯度下降
、
雷文柏格
‑
马括特算法
、
信任区优化技术，和高斯
‑
牛顿算法
。
[0031]根据本文所描述的主题的另一实例，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种用于从感测数据产生和更新一或多个对象的模拟的方法，其包括：
i.
接收感测数据；
ii.
检测所述感测数据中的一或多个对象；
iii.
初始化模拟器中的所述一或多个对象的模拟器几何形状和在所述模拟器中使用的模拟器参数；
iv.
使用所述模拟器参数预测所述模拟器几何形状；
v.
从所述预测模拟器几何形状计算预测感测数据；
vi.
计算所述预测感测数据与所述所接收感测数据之间的损失；
vii.
通过最小化所述计算损失而更新所述模拟器几何形状和所述模拟器参数；
viii.
在接收到新感测数据的情况下重复
(i)
‑
(viii)
；以及
ix.
使用所述经更新模拟器几何形状和所述经更新模拟器参数提供所述一或多个对象的模拟
。2.
根据权利要求1所述的方法，其中机器人操控所述一或多个对象，且所述方法进一步包括：接收所述机器人的运动学信息；接收关于由操控所述一或多个对象的所述机器人执行的动作的机器人动作信息；且其中接收所述感测数据包含接收关于正通过由所述机器人执行的所述动作操控的所述一或多个对象的感测数据，且其中预测所述模拟器几何形状也使用所述机器人动作信息
。3.
根据权利要求1所述的方法，其中最小化所述计算损失包含最小化所述计算损失使用选自由以下各项组成的群组的最小化技术：梯度下降
、
雷文柏格
‑
马括特算法
、
信任区优化技术和高斯
‑
牛顿算法
。4.
根据权利要求3所述的方法，其中用于所述最小化技术的导数是使用自动区分
、
有限差分
、
邻接方法计算的或以分析方式导出
。5.
根据权利要求2所述的方法，其中接收机器人动作包含接收机器人关节角度
、
速度和
/
或扭矩测量信息
。6.
根据权利要求1所述的方法，其中所述模拟器是基于位置的动态特性模拟器
。7.
根据权利要求1所述的方法，其中所述模拟器是刚性主体动态特性模拟器
。8.
根据权利要求1所述的方法，其中所述模拟器是铰接式刚性主体动态特性模拟器
。9.
根据权利要求1所述的方法，其中所述模拟器是光滑特定流体动力学模拟器
。10.
根据权利要求1所述的方法，其中所述模拟器是基于有限元方法的动态特性模拟器
。11.
根据权利要求1所述的方法，其中所述模拟器是投影动态特性模拟器
。12.
根据权利要求1所述的方法，其中所述模拟器是基于能量投影的动态特性模拟器
。13.
根据权利要求1所述的方法，其中所述感测数据包含图像数据
、CT/MRI
扫描
、
超声
、
深度图像数据和
/
或点云数据
。14.
根据权利要求1所述的方法，其中所述感测数据在包含模拟时间步长的多个迭代的预定时间窗口内扩展
。15.
根据权利要求1所述的方法，其中所述一或多个对象包含至少一个可变形对象
。
16.
根据权利要求1所述的方法，其中所述一或多个...

【专利技术属性】
技术研发人员：刘飞，M，
申请(专利权)人：加利福尼亚大学董事会，
类型：发明
国别省市：