【技术实现步骤摘要】
本专利技术涉及机械臂控制，具体涉及一种基于目标物体数字孪生的机械臂遥操作交互方法。
技术介绍
1、在传统系统中，用户使用操纵杆、游戏手柄、键盘和鼠标控制远程机械臂，并同时接收来自2d显示器的视觉反馈，而使用2d显示器来观察工作场景，会导致用户在获取工作场景信息方面有困难。单个2d显示器只能从一个方向观察工作空间，在这种情况下，用户不能直接感知深度，同时在判断机械臂末端器和工件之间距离上也有困难。此外用户在操作时需要同时关注显示器和控制器，导致交互过程中用户无法专注于机械臂的控制上。多摄像机布局虽然允许用户观察和判断不同视角下物体之间的距离，从而补偿只有一个单目2d摄像机的限制，但通过多个2d摄像机反馈来避免机械臂和周围的物体碰撞，使得遥控机器人系统变得更加复杂，必然导致机械臂操作的低效和增加操作者工作负担。
2、混合现实(mr)提供了一个三维、立体、虚拟与现实结合的场景和更加自然、直观的交互，使用户更容易理解工作环境，提供更好的用户体验。通过mr，将2d可视化改进为3d可视化，可以提供更加立体的工作场景和一定的深度信息。这主要是将2d显示器替换为点云界面、纯虚拟界面或者点云与真实机器人同时显示的界面，其中点云界面面临数据量过大会导致实时性不足的问题；在mr中还可以通过显示有关机械臂操作的额外信息来帮助用户更好地理解工作场景，如机械臂末端器的终点位姿、机械臂的安全区域、规划的机械臂运动轨迹等；mr还可以用于改变机械臂的操作方法，主要有使用语音识别和头部注视来选择虚拟抓手的姿势、通过手势移动虚拟末端器来控制真实的机械臂，
3、尽管mr界面给机械臂的遥操作带来了更好的用户体验，但目前三维虚拟场景主要以点云形式呈现，而点云模型的数据量往往十分巨大，这导致实时场景模型、数据转换和描绘非常困难。同时，点云模型仅能显示扫描设备所面对的区域，对于无法扫描到的物体背面则没有点云显示。在操作方式上，目前基于混合现实的机械臂遥操作方法主要是对末端器进行操作，这种方法在mr环境下不够直观且操作复杂，在多物体环境下容易发生碰撞。
技术实现思路
1、本专利技术要解决现有技术中基于混合现实的机械臂遥操作方法存在的重建过程数据量过大、在mr环境下不够直观且操作复杂的问题，提供一种基于目标物体数字孪生的机械臂遥操作交互方法。本专利技术的交互方法，是一种直接对目标物体的交互操作方式，减少由于用户的操作失误而发生的不必要的碰撞，同时降低使用时的工作量和使用难度；使用预制三维模型代替点云模型，极大减少了需要传输的数据量，保证了实时性，提高了用户体验。
2、为了解决上述技术问题，本专利技术的技术方案具体如下：
3、一种基于目标物体数字孪生的机械臂遥操作交互方法，包括以下步骤：
4、所述的机械臂遥操作交互方法适用的系统包括：机械臂、服务器、rgb相机、深度相机和hololens设备；所述深度相机、rgb相机、机械臂、hololens设备分别与所述服务器连接，所述深度相机和rgb相机固定在所述机械臂上；
5、步骤1：通过rgb相机和深度相机获得机械臂周围环境物体的rgb图像和深度图像，服务器读取获取到的rgb图像和深度图像，并利用获取的图像对场景中的物体进行识别和定位；
6、步骤2：在步骤1获取物体的类别和位置后，服务器将相关信息发送给hololens设备，hololens设备便会在虚拟场景的对应位置生成真实物体的数字孪生；
7、步骤3：用户通过hololens设备的手势识别，抓取虚拟物体，并移动到想要的位置，在用户按下虚拟的确认按钮后，hololens设备便会检测所有虚拟物体，判断出已移动的虚拟物体，并将这些虚拟物体的类别和目标位置发送到服务器，服务器自主控制机械臂将对应的真实物体从当前位置移动到目标位置。
8、在上述技术方案中，步骤1中服务器利用获取的图像对场景中的物体进行识别的步骤如下：
9、以颜色识别不同的物体，服务器对rgb图像依次进行高斯模糊处理、转换hsv图像、腐蚀处理后，通过设置hsv图像的颜色范围，以获取对应颜色的边界框，并用四个值(x,y,w,h)表示，其中(x,y)表示边界框的左上角，(w,h)表示边界框的宽度和高度，以此计算物体边界框的中心在rgb图像中的像素坐标
10、在上述技术方案中，步骤1中服务器利用获取的图像对场景中的物体进行定位的步骤如下：
11、根据物体边界框的中心在rgb图像中的像素坐标，确定其在深度图像中对应的位置，这个位置对应的值就是所需要的物体的深度值，将物体在深度图像中的像素坐标乘以深度相机的内参矩阵和深度值，获得物体在深度相机坐标下的坐标，将物体在深度相机坐标下的坐标分别乘以深度相机坐标系到机械臂底座坐标系的坐标变换矩阵，得到物体在机械臂底座坐标系上的坐标。
12、在上述技术方案中，步骤2中的相关信息包括：物体的类别、代表物体位置的三维坐标、代表物体姿态的四元数。
13、在上述技术方案中，步骤2中在hololens设备接收物体的相关信息后，便会以虚拟机械臂底座坐标系为参考坐标系，在虚拟场景的对应位置生成真实物体的数字孪生。
14、在上述技术方案中，步骤2中的在虚拟场景的对应位置生成真实物体的数字孪生的步骤具体为：
15、在hololens设备中利用unity软件生成虚拟场景，在unity中创建一个类objmsg，用来存储物体的相关信息，包括物体的名称name、三维坐标posx、posy、posz和四元数rotx、roty、rotz、rotw，创建ros信息接收脚本，在其中使用subscriber()接收ros的信息，unity收到ros的物体信息后，将其信息用objectposenow.add()函数存储在哈希表objectposenow中，哈希表以物体名称为键，三维坐标和四元数为值，并按接收顺序依次使用objadd()函数将物体的预制三维模型加入到虚拟场景中，并生成真实物体的数字孪生。
16、在上述技术方案中，所述深度像机与服务器、rbg相机与服务器、机械臂与服务器均采用有线连接，服务器与hololens设备之间采用无线连接。
17、在上述技术方案中，服务器与hololens设备之间利用ros-tcp-connector和ros-tcp-endpoint实现通讯。
18、本专利技术的有益效果是：
19、本专利技术的基于目标物体数字孪生的机械臂遥操作交互方法，通过物体识别和定位，使用预制三维模型在虚拟场景的对应位置生成真实物体的数字孪生，而且可以将新的预制三维模型放入模型库中用于重建场景，同时将机械臂的操作结合在场景中。相比于传统的2d图像数据，三维数据提供了物体的深度信息，提高了用户远程操作的效率和完成工作任务的成功率。为了让用户不需要同时关注显示器和控制器，本专利技术将三维场景和机械臂的操作结合到一起，让用户可以在观察虚本文档来自技高网...
【技术保护点】
1.一种基于目标物体数字孪生的机械臂遥操作交互方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的机械臂遥操作交互方法，其特征在于，步骤1中服务器利用获取的图像对场景中的物体进行识别的步骤如下：
3.根据权利要求2所述的机械臂遥操作交互方法，其特征在于，步骤1中服务器利用获取的图像对场景中的物体进行定位的步骤如下：
4.根据权利要求1所述的机械臂遥操作交互方法，其特征在于，步骤2中的相关信息包括：物体的类别、代表物体位置的三维坐标、代表物体姿态的四元数。
5.根据权利要求1所述的机械臂遥操作交互方法，其特征在于，步骤2中在HoloLens设备接收物体的相关信息后，便会以虚拟机械臂底座坐标系为参考坐标系，在虚拟场景的对应位置生成真实物体的数字孪生。
6.根据权利要求5所述的机械臂遥操作交互方法，其特征在于，在虚拟场景的对应位置生成真实物体的数字孪生的步骤如下：
7.根据权利要求1所述的机械臂遥操作交互方法，其特征在于，所述深度像机与服务器、RBG相机与服务器、机械臂与服务器均采用有线连接，服务器与Holo
8.根据权利要求1所述的机械臂遥操作交互方法，其特征在于，服务器与HoloLens设备之间利用ROS-TCP-Connector和ROS-TCP-Endpoint实现通讯。
...【技术特征摘要】
1.一种基于目标物体数字孪生的机械臂遥操作交互方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的机械臂遥操作交互方法，其特征在于，步骤1中服务器利用获取的图像对场景中的物体进行识别的步骤如下：
3.根据权利要求2所述的机械臂遥操作交互方法，其特征在于，步骤1中服务器利用获取的图像对场景中的物体进行定位的步骤如下：
4.根据权利要求1所述的机械臂遥操作交互方法，其特征在于，步骤2中的相关信息包括：物体的类别、代表物体位置的三维坐标、代表物体姿态的四元数。
5.根据权利要求1所述的机械臂遥操作交互方法，其特征在于，步骤2中在hololens设备接收...
【专利技术属性】
技术研发人员：武岩，赵斌，李奇，高宁，李华，权巍，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。