一种应用于机器人交互的多模态数据处理方法技术

本发明专利技术公开了一种应用于机器人交互的多模态数据处理方法，其中方法包括获取目标视觉信息数据，并获取目标触觉信息数据；基于多模态数据融合模型对所述目标视觉信息数据和所述目标触觉信息数据进行融合处理，得到融合后的指令信息数据，其中，所述多模态数据融合模型通过对能够反映机器人动作指令的视觉信息样本数据和触觉信息样本数据进行训练得到；识别所述指令信息数据，输出所述指令信息数据至与所述指令信息数据相关联的机器人的动作构件中。本发明专利技术实施例提供的应用于机器人交互的多模态数据处理方法，通过对视觉数据和触觉数据进行多模态的融合，提高了数据处理的精度，推进了机器人的智能化进程。推进了机器人的智能化进程。推进了机器人的智能化进程。

【技术实现步骤摘要】
一种应用于机器人交互的多模态数据处理方法


[0001]本专利技术涉及机器人
，尤其是涉及一种应用于机器人交互的多模态数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着人工智能技术的不断发展，智能家居机器人凭借着灵活的机械爪，高灵敏度的各种传感器，不仅可以识别三维物体，而且能够执行各种复杂的动作，逐渐受到了消费者的青睐。
[0003]为了实现“人与物”之间的信息交互，进而达到家居机器人控制的智能化，如何对接收到的数据进行处理就显得尤为重要，在现有技术中，主要依靠图像识别和神经网络等相关技术，通过将摄像头采集到的图像信号输入至训练好的神经网络模型中，得到能够反映目标用户需求的数据，再将数据传递至机器人的控制器中以生成对应的动作信号，由机器人的动作构件执行动作。
[0004]但是，当智能家居机器人在复杂的诸如遮挡物较多的环境下时，图像信号的获取不可避免地会受到影响，导致数据的处理精度降低，难以反映真实的用户需求，不利于机器人的智能化发展。

技术实现思路

[0005]本专利技术提供了一种应用于机器人交互的多模态数据处理方法、装置、设备及存储介质，以解决现有的机器人仅依靠视觉数据，导致数据的处理精度较低的技术问题，通过对视觉数据和触觉数据进行多模态的融合，提高了数据处理的精度，推进了机器人的智能化进程。
[0006]为了解决上述技术问题，本专利技术实施例提供了一种应用于机器人交互的多模态数据处理方法，包括：
[0007]获取目标视觉信息数据，并获取目标触觉信息数据；
[0008]基于多模态数据融合模型对所述目标视觉信息数据和所述目标触觉信息数据进行融合处理，得到融合后的指令信息数据，其中，所述多模态数据融合模型通过对能够反映机器人动作指令的视觉信息样本数据和触觉信息样本数据进行训练得到；
[0009]识别所述指令信息数据，输出所述指令信息数据至与所述指令信息数据相关联的机器人的动作构件中。
[0010]作为其中一种优选方案，所述多模态数据融合模型的构建，具体包括：
[0011]将所述视觉信息样本数据转换为高维视觉数据，并将所述触觉信息样本数据转换为高维触觉数据；
[0012]分别提取所述高维视觉数据的视觉特征和所述高维触觉数据的触觉特征；
[0013]基于CNN卷积神经网络技术，由卷积神经网络的全连接层输出对所述视觉特征和所述触觉特征进行特征共性融合后得到的融合特征；
[0014]对所述融合特征进行识别，根据识别出的与所述融合特征相关联的机器人动作指令构建多模态数据融合模型。
[0015]作为其中一种优选方案，所述分别提取所述高维视觉数据的视觉特征和所述高维触觉数据的触觉特征，具体包括：
[0016]基于C3D三维卷积网络提取所述高维视觉数据的视觉特征，并基于TCN时间卷积网络提取所述高维触觉数据的触觉特征。
[0017]作为其中一种优选方案，所述方法还包括：
[0018]基于CNN卷积神经网络中的反向传播算法对所述多模态数据融合模型进行训练。
[0019]本专利技术另一实施例提供了一种应用于机器人交互的多模态数据处理装置，包括：
[0020]数据获取模块，用于获取目标视觉信息数据，并获取目标触觉信息数据；
[0021]模型处理模块，用于根据多模态数据融合模型对所述目标视觉信息数据和所述目标触觉信息数据进行融合处理，得到融合后的指令信息数据，其中，所述多模态数据融合模型通过对能够反映机器人动作指令的视觉信息样本数据和触觉信息样本数据进行训练得到；
[0022]指令输出模块，用于识别所述指令信息数据，输出所述指令信息数据至与所述指令信息数据相关联的机器人的动作构件中。
[0023]作为其中一种优选方案，所述多模态数据融合模型，包括：
[0024]高维转换单元，用于将所述视觉信息样本数据转换为高维视觉数据，并将所述触觉信息样本数据转换为高维触觉数据；
[0025]特征提取单元，用于分别提取所述高维视觉数据的视觉特征和所述高维触觉数据的触觉特征；
[0026]特征融合单元，用于根据CNN卷积神经网络技术，由卷积神经网络的全连接层输出对所述视觉特征和所述触觉特征进行特征共性融合后得到的融合特征；
[0027]识别单元，用于对所述融合特征进行识别，根据识别出的与所述融合特征相关联的机器人动作指令构建多模态数据融合模型。
[0028]作为其中一种优选方案，所述特征提取单元，具体用于：
[0029]基于C3D三维卷积网络提取所述高维视觉数据的视觉特征，并基于TCN时间卷积网络提取所述高维触觉数据的触觉特征。
[0030]作为其中一种优选方案，所述应用于机器人交互的多模态数据处理装置还包括：
[0031]模型训练模块，用于根据CNN卷积神经网络中的反向传播算法对所述多模态数据融合模型进行训练。
[0032]本专利技术再一实施例提供了一种应用于机器人交互的多模态数据处理设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的应用于机器人交互的多模态数据处理方法。
[0033]本专利技术再一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的应用于机器人交互的多模态数据处理方法。
[0034]相比于现有技术，本专利技术实施例的有益效果在于以下所述中的至少一点：首先获取目标视觉信息数据，并获取目标触觉信息数据，从而为后续的数据处理提供了两个模态
的数据类型；然后基于多模态数据融合模型对所述目标视觉信息数据和所述目标触觉信息数据进行融合处理，得到融合后的指令信息数据，其中，所述多模态数据融合模型通过对能够反映机器人动作指令的视觉信息样本数据和触觉信息样本数据进行训练得到；最后识别所述指令信息数据，输出所述指令信息数据至与所述指令信息数据相关联的机器人的动作构件中，由机器人的动作构件执行相应的诸如机械爪的开启或关闭动作。由此可见，整个过程针对于视觉和触觉两个模态的数据类型，通过构建的多模态数据融合模型进行数据处理，输出能够反映机器人动作的指令信息，不同于现有技术的仅依靠视觉数据的单一方式，当外界环境存在遮挡物时，机器人能够根据接收到的视觉数据和触觉数据进行同步分析处理，从而提高了复杂环境下机器人对数据处理的精度，实现了机器人的数据感知、判断和分析，以及决策控制，从而更好地保证机器人的工作效率，保障机器人的动作合理性，大幅度减少因数据处理方面而导致的决策失误，处理后的数据更能精准地反映用户的需求，完善后续对机器人的动作构件的控制流程，推进了机器人的智能化进程。
附图说明
[0035]图1是本专利技术其中一种实施例中的应用于机器人交互的多模态数据处理方法的流程示意图；
[0036]图2是本专利技术其中一种实施例中的应用于机器人交互的多模态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于机器人交互的多模态数据处理方法，其特征在于，包括：获取目标视觉信息数据，并获取目标触觉信息数据；基于多模态数据融合模型对所述目标视觉信息数据和所述目标触觉信息数据进行融合处理，得到融合后的指令信息数据，其中，所述多模态数据融合模型通过对能够反映机器人动作指令的视觉信息样本数据和触觉信息样本数据进行训练得到；识别所述指令信息数据，输出所述指令信息数据至与所述指令信息数据相关联的机器人的动作构件中。2.如权利要求1所述的应用于机器人交互的多模态数据处理方法，其特征在于，所述多模态数据融合模型的构建，具体包括：将所述视觉信息样本数据转换为高维视觉数据，并将所述触觉信息样本数据转换为高维触觉数据；分别提取所述高维视觉数据的视觉特征和所述高维触觉数据的触觉特征；基于CNN卷积神经网络技术，由卷积神经网络的全连接层输出对所述视觉特征和所述触觉特征进行特征共性融合后得到的融合特征；对所述融合特征进行识别，根据识别出的与所述融合特征相关联的机器人动作指令构建多模态数据融合模型。3.如权利要求2所述的应用于机器人交互的多模态数据处理方法，其特征在于，所述分别提取所述高维视觉数据的视觉特征和所述高维触觉数据的触觉特征，具体包括：基于C3D三维卷积网络提取所述高维视觉数据的视觉特征，并基于TCN时间卷积网络提取所述高维触觉数据的触觉特征。4.如权利要求1所述的应用于机器人交互的多模态数据处理方法，其特征在于，所述方法还包括：基于CNN卷积神经网络中的反向传播算法对所述多模态数据融合模型进行训练。5.一种应用于机器人交互的多模态数据处理装置，其特征在于，包括：数据获取模块，用于获取目标视觉信息数据，并获取目标触觉信息数据；模型处理模块，用于根据多模态数据融合模型对所述目标视觉信息数据和所述目标触觉信息数据进行融合处理，得到融合后的指令信息数据，其中，所述多模态数据融合模型通过对能够反映机器人动...

【专利技术属性】
技术研发人员：石光明，张凡，李旭阳，谢雪梅，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：