【技术实现步骤摘要】
本申请涉及机器人，尤其涉及一种机器人夹取控制方法、装置及机器人。
技术介绍
1、机器人通常具有环境感知、图像采集、信息提供、物品夹取等功能。随着机器人性能不断地完善，机器人的应用范围不断扩大，不仅在工业、农业、医疗、服务等行业中得到广泛的应用，而且在城市和场馆等的安防领域也得到了很好的应用。例如，在机场、车站、商场等设施内，需要机器人夹取用户所指示的物品等。
2、相关技术中提出了有关机器人的语音控制方案：语音控制装置能够搭载到移动机器人上，包括：对讲部，与第一终端进行语音通话，接收来自所述第一终端的对讲音频信号；扬声器部；网络通信部，与第二终端进行网络通信，接收来自所述第二终端的广播内容；以及控制部，所述控制部从所述对讲音频信号和基于所述广播内容的广播音频信号之中选择一个音频信号，并控制所述扬声器部输出。
3、相关技术提出了可以对机器人进行语音控制，但是相关技术并没有关于如何提高对机器人夹取物品控制的准确性，提高机器人的夹取控制效果的技术方案。
技术实现思路
1、本申请提供了一种机器人夹取控制方法、装置及机器人，用以解决现有技术识别要夹取的目标物位置的准确性较差，进而导致夹取控制效果不佳的问题。
2、第一方面，本申请提供了一种机器人夹取控制方法，所述方法包括：
3、获取机器人夹取控制的语音指令，通过对所述语音指令进行语音识别，确定所述语音指令对应的目标对象的目标方向信息和第一目标关键点信息；
4、根据预先保存的各个方向信息
5、基于目标检测算法和目标语义分割算法，确定包含所述目标对象的图像中所述目标对象的第一目标关键点信息；根据预先保存的各个关键点信息各自与空间矩阵编码的第二对应关系，确定所述第一目标关键点信息对应的至少一个第二候选空间矩阵编码；
6、将所述至少一个第一候选空间矩阵编码和所述至少一个第二候选空间矩阵编码进行匹配，确定目标空间矩阵编码；根据所述第二对应关系确定所述目标空间矩阵编码对应的第二目标关键点信息；
7、根据所述图像中所述第二目标关键点信息所在的目标位置信息生成夹取控制指令，并控制所述机器人根据所述夹取控制指令夹取所述目标对象。
8、第二方面，本申请提供了一种机器人夹取控制装置，所述装置包括：
9、第一确定模块，用于获取机器人夹取控制的语音指令，通过对所述语音指令进行语音识别，确定所述语音指令对应的目标对象的目标方向信息和第一目标关键点信息；
10、第二确定模块，用于根据预先保存的各个方向信息各自与空间矩阵编码的第一对应关系，确定所述目标方向信息对应的至少一个第一候选空间矩阵编码；
11、第三确定模块，用于基于目标检测算法和目标语义分割算法，确定包含所述目标对象的图像中所述目标对象的第一目标关键点信息；根据预先保存的各个关键点信息各自与空间矩阵编码的第二对应关系，确定所述第一目标关键点信息对应的至少一个第二候选空间矩阵编码；
12、第四确定模块，用于将所述至少一个第一候选空间矩阵编码和所述至少一个第二候选空间矩阵编码进行匹配，确定目标空间矩阵编码；根据所述第二对应关系确定所述目标空间矩阵编码对应的第二目标关键点信息；
13、夹取控制模块，用于根据所述图像中所述第二目标关键点信息所在的目标位置信息生成夹取控制指令，并控制所述机器人根据所述夹取控制指令夹取所述目标对象。
14、第三方面，本申请提供了一种机器人，包括控制器、机械臂、移动组件、声音采集组件和摄像组件；
15、所述声音采集组件，用于采集机器人夹取控制的语音指令，并将所述夹取控制的语音指令发送至所述控制器；
16、所述摄像组件，用于采集机器人所在场景中的图像，并将所述图像发送至所述控制器；
17、所述控制器，用于通过对所述语音指令进行语音识别，确定所述语音指令对应的目标对象的目标方向信息和第一目标关键点信息；根据预先保存的各个方向信息各自与空间矩阵编码的第一对应关系，确定所述目标方向信息对应的至少一个第一候选空间矩阵编码；基于目标检测算法和目标语义分割算法，确定包含所述目标对象的图像中所述目标对象的第一目标关键点信息；根据预先保存的各个关键点信息各自与空间矩阵编码的第二对应关系，确定所述第一目标关键点信息对应的至少一个第二候选空间矩阵编码；将所述至少一个第一候选空间矩阵编码和所述至少一个第二候选空间矩阵编码进行匹配，确定目标空间矩阵编码；根据所述第二对应关系确定所述目标空间矩阵编码对应的第二目标关键点信息；根据所述图像中所述第二目标关键点信息所在的目标位置信息生成移动控制指令和夹取控制指令，并将所述移动控制指令发送至所述移动组件，将所述夹取控制指令发送至所述机械臂；
18、所述移动组件，用于承载所述机器人，并根据所述移动控制指令进行移动；
19、所述机械臂，用于根据所述夹取控制指令夹取所述目标对象。
20、第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被控制器执行时实现所述的方法步骤。
21、本申请提供了一种机器人夹取控制方法、装置及机器人，所述方法包括：获取机器人夹取控制的语音指令，通过对所述语音指令进行语音识别，确定所述语音指令对应的目标对象的目标方向信息和第一目标关键点信息；根据预先保存的各个方向信息各自与空间矩阵编码的第一对应关系，确定所述目标方向信息对应的至少一个第一候选空间矩阵编码；基于目标检测算法和目标语义分割算法，确定包含所述目标对象的图像中所述目标对象的第一目标关键点信息；根据预先保存的各个关键点信息各自与空间矩阵编码的第二对应关系，确定所述第一目标关键点信息对应的至少一个第二候选空间矩阵编码；将所述至少一个第一候选空间矩阵编码和所述至少一个第二候选空间矩阵编码进行匹配，确定目标空间矩阵编码；根据所述第二对应关系确定所述目标空间矩阵编码对应的第二目标关键点信息；根据所述图像中所述第二目标关键点信息所在的目标位置信息生成夹取控制指令，并控制所述机器人根据所述夹取控制指令夹取所述目标对象。
22、上述的技术方案具有如下优点或有益效果：
23、本申请从语音识别和图像处理两个方面结合实现机器人夹取控制。第一方面，通过对语音指令进行语音识别，确定出目标对象的目标方向信息和第一目标关键点信息，进而确定目标方向信息对应的至少一个第一候选空间矩阵编码；第二方面，基于目标检测算法和目标语义分割算法，确定图像中目标对象的第一目标关键点信息；进而确定第一目标关键点信息对应的至少一个第二候选空间矩阵编码；然后再将至少一个第一候选空间矩阵编码和至少一个第二候选空间矩阵编码进行匹配，确定目标空间矩阵编码；最后根据目标空间矩阵编码对应的第二目标关键点信息生成夹取控制指令，并控制机器人根据所述夹取控制指令夹取所述目标对象。本文档来自技高网...
【技术保护点】
1.一种机器人夹取控制方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述通过对所述语音指令进行语音识别，确定所述语音指令对应的目标对象的目标方向信息和目标关键点信息包括：
3.如权利要求1所述的方法，其特征在于，所述根据预先保存的各个方向信息各自与空间矩阵编码的第一对应关系，确定所述目标方向信息对应的至少一个第一候选空间矩阵编码包括：
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
5.如权利要求1所述的方法，其特征在于，所述基于目标检测算法和目标语义分割算法，确定包含所述目标对象的图像中所述目标对象的第一目标关键点信息包括：
6.如权利要求4所述的方法，其特征在于，所述根据预先保存的各个关键点信息各自与空间矩阵编码的第二对应关系，确定所述第一目标关键点信息对应的至少一个第二候选空间矩阵编码包括：
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
8.如权利要求7所述的方法，其特征在于，将所述至少一个第一候选空间矩阵编码和所述至少一个第二候选空间矩阵编
9.一种机器人，其特征在于，包括控制器、机械臂、移动组件、声音采集组件和摄像组件；
10.一种机器人夹取控制装置，其特征在于，所述装置包括：
...【技术特征摘要】
1.一种机器人夹取控制方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述通过对所述语音指令进行语音识别，确定所述语音指令对应的目标对象的目标方向信息和目标关键点信息包括：
3.如权利要求1所述的方法，其特征在于，所述根据预先保存的各个方向信息各自与空间矩阵编码的第一对应关系，确定所述目标方向信息对应的至少一个第一候选空间矩阵编码包括：
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
5.如权利要求1所述的方法，其特征在于，所述基于目标检测算法和目标语义分割算法，确定包含所述目标对象的图像中所述目标对象的第一目...
【专利技术属性】
技术研发人员：刘微，陈维强，翟世平，孙萁浩，田友强，张玉，刘帅帅，姜悦樱，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。