一种基于双机械臂协同的肖像轮廓智能绘制方法技术

本发明专利技术公开了一种基于双机械臂协同的肖像轮廓智能绘制方法，将原始RGB彩色图像输入深度学习人脸识别模型，获得五官的像素坐标信息；进行图像预处理操作，获得二值图像；通过二值图像轮廓提取，得到轮廓图像；然后将轮廓图像分为左右两部分；对左半边轮廓图像和右半边轮廓图像进行像素点排列，形成若干段不连续的轨迹段；将像素坐标转换为机械臂工具坐标系下的坐标；对轨迹段坐标增加机械臂姿态信息，形成机械臂可识别的一系列轨迹；对轨迹进行无干涉双臂绘图运动规划；通过TCP/IP协议将不干涉的轨迹传输给两只机械臂，进行双机械臂协同肖像图绘制。本发明专利技术方法实现了双机械臂协同绘图的功能，绘制效率高且效果逼真，便于在教育教学等场合进行展示。学等场合进行展示。学等场合进行展示。

【技术实现步骤摘要】
一种基于双机械臂协同的肖像轮廓智能绘制方法


[0001]本专利技术涉及一种基于双机械臂协同的肖像轮廓智能绘制方法，属于机器人绘图


技术介绍

[0002]随着科技的进步，人工智能技术得到飞速发展,在当今时代这种高新技术也用在了越来越多的场合，尤其是与机器人的结合，使得智能机器人的应用范围也非常广泛。通过机械臂进行绘画也逐渐走进大众视野。
[0003]目前机械臂绘画多数都是通过单臂进行像素点的逐行打印，其还是不能模仿人类画家一样的绘图顺序和手法进行肖像图的绘制。双臂机器人在智能绘图方面目前应用较少，通过两只机械臂的协作配合，能够表现出比单臂机器人更优雅的姿态和绘制技巧，且绘制效率高，便于在教育教学等多种场合进行展示。

技术实现思路

[0004]为了解决现有技术问题，本专利技术的目的在于克服已有技术存在的不足，提供一种基于双机械臂协同的肖像轮廓智能绘制方法，该方法采用十四自由度的冗余双臂机器人进行绘制，每只手臂都是七自由度的冗余机械臂，可以很好地避开奇异点进行运动。利用深度学习人脸识别模型和图像预处理技术，获得肖像图五官的像素坐标和二值图像；采用轮廓提取技术获得轮廓图像，提出逆/顺时针搜索算法对轮廓中每一轨迹段的若干像素点进行排序；通过坐标系转换矩阵得到机械臂工具坐标系下的坐标信息，与机械臂姿态信息组合形成一系列可用于机械臂运动控制的轨迹点，通过TCP/IP协议实现上位机与机械臂之间的数据传输以实现肖像图轮廓绘制。该方法实现了双机械臂协同绘图的功能，绘制效率高且效果逼真，便于在教育教学等场合进行展示。
[0005]为达到上述专利技术创造目的，本专利技术采用如下技术方案：
[0006]一种基于双机械臂协同的肖像轮廓智能绘制方法，操作步骤如下：
[0007](1)将原始RGB彩色图像输入卷积神经网络CNN，得到肖像图五官在像素坐标系——以下简称坐标系I中的坐标信息；
[0008](2)将所述原始RGB彩色图像经过图像预处理操作得到二值图像；
[0009](3)提取上述二值图像的轮廓，得到轮廓中的每一个像素点在坐标系I中的坐标信息(x
i
，y
i
，z
i
)，坐标系I一般为平面坐标系，默认z
i
为0；
[0010](4)利用过两只眼睛的中心位置且平行于坐标系I中Y轴的直线将轮廓图像分为左右两部分；
[0011](5)对于左半边轮廓图像，采用逆时针搜索算法对每条轨迹中的像素点进行排序；对于右半边轮廓图像，采用顺时针搜索算法对每条轨迹中的像素点进行排序；由此，形成若干段不连续的轨迹段；
[0012](6)将所有轨迹段像素点在坐标系I中的坐标信息转换为机械臂工具坐标系——
以下简称坐标系T中的坐标信息用于轨迹绘制；
[0013](7)对所述转换到坐标系T中的坐标信息增加机械臂姿态信息，将坐标系T中所述坐标信息与姿态信息进行组合，得到一系列可以用于机械臂运动控制的轨迹点；
[0014](8)基于左臂优先原则的无干涉双臂绘图运动规划；以左臂当前轨迹段为基准，从右臂的所有轨迹段中找到第一条不与左臂发生干涉的轨迹段，如果找到，则左右机械臂同时绘制各自当前轨迹段；如果未找到，则右臂在安全位置等待，直到左臂完成当前轨迹段的绘制；然后，再依照上述过程进行左臂下一条轨迹段的绘制，直至完成左臂所有轨迹段的绘制；最后，将右臂剩余轨迹段绘制完毕；
[0015](9)上位机通过TCP/IP协议获得机械臂的静态IP地址，实现数据传输，将上述所有轨迹段传输给左右机械臂的控制器进行绘制。
[0016]优选地，上述步骤1中，所述将原始RGB彩色图像输入卷积神经网络CNN得到肖像图五官的位置信息，包括：
[0017]卷积神经网络由三个级联网络组成，用于人脸识别，可以获得五官的位置信息；
[0018]五官的位置信息用(x1，y1，z1)，(x2，y2，z2)，，(x3，y3，z3)，(x4，y4，z4)，(x5，y5，z5)等坐标表示，其中(x1，y1，z1)表示左眼的中心坐标，(x2，y2，z2)表示右眼的中心坐标，(x3，y3，z3)表示鼻子的中心坐标，(x4，y4，z4)表示左边嘴角的坐标，(x5，y5，z5)表示右边嘴角的坐标。
[0019]优选地，上述步骤2中，所述将所述原始RGB彩色图像经过图像预处理操作得到二值图像，包括：
[0020]图像预处理包括背景去除、风格转换、图像灰度化、自适应阈值处理、形态学运算操作。
[0021]优选地，上述步骤4中，所述利用过两只眼睛的中心位置且平行于坐标系I中Y轴的直线将轮廓图像分为左右两部分，包括：
[0022]所述左右两部分包括左半边轮廓图像和右半边轮廓图像，它们分别由若干段不连续的轨迹段组成，每条轨迹段由若干个相邻的像素点组成，为使机器人按照轨迹段进行绘制，需将所述轨迹中的像素点进行逐个排序，形成若干条由顺序连贯像素点组成的轨迹段。
[0023]优选地，上述步骤5中，所述对于左半边轮廓图像，采用逆时针搜索算法对每条轨迹中的像素点进行排序；对于右半边轮廓图像，采用顺时针搜索算法对每条轨迹中的像素点进行排序，包括：
[0024]在对每条轨迹段中的若干个像素点进行排序的过程中，由于机械臂绘制每一条轨迹段是一个连续的过程，在轨迹段j的起始位置落笔，在轨迹段j的末端位置抬笔，再移动到第j+1条轨迹段的起始位置落笔，所以在每条轨迹段的起始位置和末端位置设置1和0标记落笔与抬笔动作；
[0025]所述逆时针搜索算法即首先遍历左半边轮廓图像中的每一行，找到第一个黑色像素点，像素值为0，以此像素点为中心点，在8邻域内从正上方开始，按照逆时针的方向去寻找下一个黑色像素点，如果找到，就将此像素点加入当前轨迹段队列；如果没找到，就继续对下一行的像素点进行搜寻，直至左半边轮廓图像的像素点全部搜索完毕，其中搜索过的像素点像素值设为255，表示已遍历。
[0026]优选地，上述步骤6中，所述将所有轨迹段像素点在坐标系I中的坐标信息转换为
坐标系T中的坐标信息用于轨迹绘制，包括：
[0027]转换公式为其中表示坐标系I到坐标系T的转换矩阵，
T
P
i
表示像素点i在坐标系T中的坐标信息，具体为(
T
X
i
,
T
Y
i
,
T
Z
i
)，
I
P
i
表示像素点i在坐标系I中的坐标信息，具体为(
I
X
i
,
I
Y
i
,
I
Z
i
)。
[0028]优选地，上述步骤7中，所述对所述转换到坐标系T中的坐标信息增加机械臂姿态信息，将坐标系T中所述坐标信息与姿态信息进行组合，得到一系列可用于机械臂运动的坐标点，包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，操作步骤如下：(1)将原始RGB彩色图像输入卷积神经网络CNN，得到肖像图五官在像素坐标系——以下简称坐标系I中的坐标信息；(2)将所述原始RGB彩色图像经过图像预处理操作得到二值图像；(3)提取上述二值图像的轮廓，得到轮廓中的每一个像素点在坐标系I中的坐标信息(x
i
，y
i
，z
i
)，坐标系I一般为平面坐标系，默认z
i
为0；(4)利用过两只眼睛的中心位置且平行于坐标系I中Y轴的直线将轮廓图像分为左右两部分；(5)对于左半边轮廓图像，采用逆时针搜索算法对每条轨迹中的像素点进行排序；对于右半边轮廓图像，采用顺时针搜索算法对每条轨迹中的像素点进行排序；由此，形成若干段不连续的轨迹段；(6)将所有轨迹段像素点在坐标系I中的坐标信息转换为机械臂工具坐标系——以下简称坐标系T中的坐标信息用于轨迹绘制；(7)对所述转换到坐标系T中的坐标信息增加机械臂姿态信息，将坐标系T中所述坐标信息与姿态信息进行组合，得到一系列可以用于机械臂运动控制的轨迹点；(8)基于左臂优先原则的无干涉双臂绘图运动规划；以左臂当前轨迹段为基准，从右臂的所有轨迹段中找到第一条不与左臂发生干涉的轨迹段，如果找到，则左右机械臂同时绘制各自当前轨迹段；如果未找到，则右臂在安全位置等待，直到左臂完成当前轨迹段的绘制；然后，再依照上述过程进行左臂下一条轨迹段的绘制，直至完成左臂所有轨迹段的绘制；最后，将右臂剩余轨迹段绘制完毕；(9)上位机通过TCP/IP协议获得机械臂的静态IP地址，实现数据传输，将上述所有轨迹段传输给左右机械臂的控制器进行绘制。2.根据权利要求1所述的基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，所述将原始RGB彩色图像输入卷积神经网络CNN得到肖像图五官的位置信息，包括：卷积神经网络由三个级联网络组成，用于人脸识别，可以获得五官的位置信息；五官的位置信息用(x1，y1，z1)，(x2，y2，z2),，(x3，y3，z3)，(x4，y4，z4)，(x5，y5，z5)等坐标表示，其中(x1，y1，z1)表示左眼的中心坐标，(x2，y2，z2)表示右眼的中心坐标，(x3，y3，z3)表示鼻子的中心坐标，(x4，y4，z4)表示左边嘴角的坐标，(x5，y5，z5)表示右边嘴角的坐标。3.根据权利要求1所述的基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，所述将所述原始RGB彩色图像经过图像预处理操作得到二值图像，包括：图像预处理包括背景去除、风格转换、图像灰度化、自适应阈值处理、形态学运算操作。4.根据权利要求1所述的基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，所述利用过两只眼睛的中心位置且平行于坐标系I中Y轴的直线将轮廓图像分为左右两部分，包括：所述左右两部分包括左半边轮廓图像和右半边轮廓图像，它们分别由若干段不连续的轨迹段组成，每条轨迹段由若干个相邻的像素点组成，为使机器人按照轨迹段进行绘制，需将所述轨迹中的像素点进行逐个排序，形成若干条由顺序连贯像素点组成的轨迹段。5.根据权利要求1所述的基于双机械臂协同的肖像轮廓智能绘制方法，...

【专利技术属性】
技术研发人员：沈南燕，李静，欧雪，
申请(专利权)人：上海大学，
类型：发明
国别省市：