【技术实现步骤摘要】
本申请涉及抓取，特别地，涉及一种基于高斯飞溅的抓取方法、系统、机器人以及存储介质。
技术介绍
1、通过语言引导机器人的操作是机器人智能化的重要一环，其在促进人机交互、实现机器人家庭服务等方面具有巨大潜力，有着重要的经济意义和社会意义。
2、然而，实际工作中机器人往往面临复杂的工作环境。例如在杂乱、非结构化的环境中完成水杯抓取任务。此时，机器人首先需要通过响应语言的描述来定位水杯，其次需要关注水杯几何形状，以执行稳定的抓取。在这个过程中，了解开放世界中具有不同形状和材料属性的各类物体是完成复杂任务的关键。
3、传统的机器人抓取系统通常依赖于预定义的物体数据库而非自然语言，导致其因场景理解能力不足而无法较好地承受语言引导操作；并且大多是基于2d图像构建场景，机器人很难从错位的多视角图像中推断出视觉遮挡和空间关系，从而造成机器人对目标物体抓取的局限性。此外，在抓取操作过程中，场景可能发生变化，如一次抓取后物体的移除或位置改变，这些都将影响机器人对实时场景的准确理解，进而影响抓取效果。
4、该
技术介绍
内容的描述仅适用于帮助理解本申请所公开的技术方案，该内容并不一定属于本申请的现有技术。
技术实现思路
1、本申请一方面提供了一种基于高斯飞溅的抓取方法，包括：提供初始化的3d高斯场；结合所述3d高斯场构建3d特征场；解析自然语言指令，并定位所述3d特征场中的目标物体；执行3d场景渲染以提供所述目标物体的特定信息；以及依据所述特定信息获得抓握位姿并进行所述目标
2、在一个实施方式中，所述方法还包括：在进行所述目标物体的抓取后，更新所述3d高斯场。
3、在一个实施方式中，提供所述3d高斯场的方法包括：捕获操作环境的多视角rgb-d图像；利用三维重建算法从所述rgb-d图像中输出稀疏点云，并构建高斯基元；根据所述稀疏点云中每个点的深度信息和rgb颜色信息为每个所述高斯基元分配权重；以及进行空间分布优化、特征提取，并将构建好的所述高斯基元的集合作为场景的初始表示形成所述3d高斯场。
4、在一个实施方式中，更新所述3d高斯场的方法包括：检测当前场景中的物体相较于最近一次抓取前的场景中的物体的变化；采集当前场景的rgb-d图像并将其与所述3d高斯场数据融合以形成融合数据；以及基于所述融合数据更新所述3d高斯场中的高斯基元。
5、在一个实施方式中，构建所述3d特征场的方法包括：通过高效特征蒸馏将高维对比语言模型特征压缩到低维潜在空间，并使用特征光栅器渲染特征图；结合所述3d高斯场的几何信息和通过高效特征蒸馏提炼的特征，构建所述3d特征场，其中，所述3d特征场包括所述目标物体的几何形状和语义信息。
6、在一个实施方式中，提供所述特定信息的方法包括渲染深度和/或法线信息，其中，所述特定信息包括几何形状、表面朝向和待抓取点中的至少一种。
7、在一个实施方式中，解析自然语言指令并定位目标物体的方法包括：使用分割注意力机制和所述对比语言模型提取每个视角的2d图像特征；将从所述自然语言指令中提取到的特征与经场景分析得到的特征进行匹配；以及计算场景中的每个潜在目标物体与所述自然语言指令的相关性分数，生成相关性热图，并形成预测的分割图以定位所述目标物体的位置。
8、在一个实施方式中，使用所述特征光栅器渲染特征图满足：
9、
10、其中，l(u)为所述3d高斯场渲染得到的特征图，li为高斯基元i携带的潜码特征，αi为高斯基元i的不透明度，j是将高斯基元按照到待渲染平面的距离进行排序；
11、
12、其中，m为像素的总数，f(u)代表视觉基础模型提取的像素u的开放语义特征；以及
13、
14、其中，n(u)为所述3d高斯场渲染得到的法向图，ni为所述高斯基元i的法向。
15、在一个实施方式中，所述高效特征蒸馏的步骤包括：将所述2d图像特征映射到3d空间中；以及使用对比学习策略优化特征映射。
16、在一个实施方式中，确定所述抓握位姿的方法包括：获取所述目标物体的法线信息；以及结合力闭合优化策略和所述法线信息评估抓握位姿的集合，并筛选获得所述抓握位姿。
17、在一个实施方式中，所述变化包括物体的位置移动、旋转、变形、新增和移除中的至少一种。
18、本申请的另一方面提供了一种基于高斯飞溅的抓取系统，包括：第一模块，用于提供初始化的3d高斯场；第二模块，通过所述3d高斯场构建3d特征场；定位模块，用于解析自然语言指令并定位所述3d特征场中的目标物体；渲染模块，进行3d场景渲染以提供所述目标物体的特定信息；以及抓取模块，依据所述特定信息获得抓握位姿并进行所述目标物体的抓取。
19、在一个实施方式中，所述系统还包括：图像采集模块，用于捕获当前场景中的物体相较于最近一次抓取前的场景中的物体的变化，其中，所述当前场景的rgb-d图像与所述3d高斯场的数据融合形成融合数据，所述第二模块基于所述融合数据更新所述3d高斯场中的高斯基元。
20、在一个实施方式中，所述系统还包括：高效特征蒸馏模块，用于将高维对比语言模型特征压缩到低维潜在空间并提炼特征。
21、在一个实施方式中，所述特定信息包括几何形状、表面朝向和待抓取点中的至少一种；以及所述3d场景渲染包括渲染深度和/或法线信息。
22、在一个实施方式中，所述3d特征场包括所述目标物体的几何形状和语义信息。
23、在一个实施方式中，所述抓握位姿基于力闭合优化策略和所述法线信息的结合而获得。
24、本申请的再一方面提供了一种基于高斯飞溅的机器人，包括：如上述任一实施方式中的抓取系统；机械臂；以及控制单元，分别与所述抓取系统和所述机械臂通信连接，其中，所述抓取模块包括执行抓取动作的夹爪，所述机械臂带动所述夹爪的运动。
25、本申请的再一方面提供了一种计算机可读存储介质，包括：存储有计算机执行指令，当所述指令被处理器执行时，可实现如上述任一实施方式中的抓取方法。
26、本专利技术实施方式的特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术实施方式的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或功能来实现和获得。
本文档来自技高网...【技术保护点】
1.一种基于高斯飞溅的抓取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，提供所述3D高斯场的方法包括：
4.根据权利要求2所述的方法，其特征在于，更新所述3D高斯场的方法包括：
5.根据权利要求3所述的方法，其特征在于，构建所述3D特征场的方法包括：
6.根据权利要求5所述的方法，其特征在于，提供所述特定信息的方法包括渲染深度和/或法线信息，
7.根据权利要求5所述的方法，其特征在于，解析自然语言指令并定位目标物体的方法包括：
8.根据权利要求5所述的方法，其特征在于，使用所述特征光栅器渲染特征图满足：
9.根据权利要求7所述的方法，其特征在于，所述高效特征蒸馏的步骤包括：
10.根据权利要求6所述的方法，其特征在于，确定所述抓握位姿的方法包括：
11.根据权利要求4所述的方法，其特征在于，所述变化包括物体的位置移动、旋转、变形、新增和移除中的至少一种。
12.
13.根据权利要求12所述的系统，其特征在于，所述系统还包括：
14.根据权利要求13所述的系统，其特征在于，所述系统还包括：
15.根据权利要求14所述的系统，其特征在于，所述特定信息包括几何形状、表面朝向和待抓取点中的至少一种；以及
16.根据权利要求15所述的系统，其特征在于，所述3D特征场包括所述目标物体的几何形状和语义信息。
17.根据权利要求15所述的系统，其特征在于，所述抓握位姿基于力闭合优化策略和所述法线信息的结合而获得。
18.一种基于高斯飞溅的机器人，其特征在于，包括：
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机执行指令，当所述指令被处理器执行时，实现如权利要求1至11中任一所述的方法。
...【技术特征摘要】
1.一种基于高斯飞溅的抓取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，提供所述3d高斯场的方法包括：
4.根据权利要求2所述的方法，其特征在于，更新所述3d高斯场的方法包括：
5.根据权利要求3所述的方法，其特征在于，构建所述3d特征场的方法包括：
6.根据权利要求5所述的方法，其特征在于，提供所述特定信息的方法包括渲染深度和/或法线信息，
7.根据权利要求5所述的方法，其特征在于，解析自然语言指令并定位目标物体的方法包括：
8.根据权利要求5所述的方法，其特征在于，使用所述特征光栅器渲染特征图满足：
9.根据权利要求7所述的方法，其特征在于，所述高效特征蒸馏的步骤包括：
10.根据权利要求6所述的方法，其特征在于，确定所述抓握位姿的方法包括：
11.根据权利要求4所述的...
【专利技术属性】
技术研发人员：郑宇航，郑宇鹏，陈翔宇，张腾飞，叶鲁斌，
申请(专利权)人：享刻智能技术北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。