智联产线目标态势感知与协同操作的自主智能学习方法技术

本发明专利技术构建了一种智联产线目标态势感知与协同操作的自主智能学习方法，并应用于智能移动机器人的自主控制。方法步骤为：1)获取视觉图像信息；2)对图像数据进行特征提取与编码；3)将提取的图像特征信息进行解码和处理；4)使用生成对抗模仿模仿学习分析图像信息；5)针对目标执行处理动作；6)寻找新的目标。本方法具有定位效率高、排查能力强的特点，模型收敛速度快，目标定位精度高，对移动目标也有良好检测能力等优点，并在生产线线流动检测作业、大型仪器设备自检、大型灾害机器搜寻、重要场景故障自排查，智能车间等领域具有广阔的应用前景。用前景。用前景。

【技术实现步骤摘要】
智联产线目标态势感知与协同操作的自主智能学习方法


[0001]本专利技术属于目标态势感知领域，具体说是智联产线目标态势感知与协同操作的自主智能学习方法。

技术介绍

[0002]态势感知是一种基于环境的、动态、整体地洞悉安全风险的能力，是以安全大数据为基础，从全局视角提升对安全威胁的发现识别、理解分析、响应处置能力的一种方式，最终是为了决策与行动，是安全能力的落地。无人检测技术指在无人环境下，检测仪器具备环境感知、目标锁定、状态判断、智能维护等使用功能的智能化检测方法，其目的是保证产线的安全运行。检测仪器需要通过视觉传感器采集目标信息，并通过提取和分析目标状态特征，并与已有的正常模型进行对比，从而判断目标的实际状态，并做出相应操作。这不仅需要检测系统对目标具有较高的锁定能力，同时也对检测的精确度有着较高的要求。因此，解决无人系统中的感知和协同问题是当前无人系统研究中的重要课题。
[0003]然而，目前的无人检测技术所采用的视觉设备往往清晰度较低，同时检测时对角度等因素有着较高要求，因此误判率相对较高。同时，检测仪器往往对光暗的变化比较敏感，如果光暗度发生变化，机器往往会错误判断目标状态，造成物力的浪费。同时，对于存在遮挡的目标，检测仪器常常出现难以锁定的情况，影响正常工作效率。以上问题是目前急需解决的问题。

技术实现思路

[0004]本专利技术结合深度学习技术和生成对抗模仿学习模型，将两者合二为一，提出了一种智联产线目标态势感知与协同操作的自主智能学习方法，其目的在于实现无人检测装置在视觉精度低、环境光线复杂、目标存在少量遮挡的情况下，完成目标准确定位与精细检测的目标任务。
[0005]本专利技术为实现上述目的所采用的技术方案是：
[0006]智联产线目标态势感知与协同操作的自主智能学习方法，包括以下步骤：
[0007]1)使用生成对抗网络提高待感知图像的质量，得到图像特征；
[0008]2)使用卷积神经网络提取图像特征信息；
[0009]3)基于示教图像对图像特征信息进行解析并定位待感知图像中的目标点；
[0010]4)基于定位结果，产线机器人根据自定义的策略，对目标进行操作；
[0011]5)操作结束后，对目标进行重新检测，判断产线机器人的操作是否满足要求；若不满足，则重新执行步骤4)，否则，完成本次操作，寻找下一目标。
[0012]所述生成对抗网络为：
[0013][0014]其中，θ
G
和θ
D
为生成网络和判别网络中的网络参数，I
T
为、I
B
均为图像，P
T
为I
T
高质
量图像的概率分布，P
G
为生成器的概率分布，为分类为真实图像的概率分布。
[0015]所述卷积神经网络为VGG
‑
16模型，并对模型输出数据进行自适应平均池化处理，以完成对图像的特征提取。
[0016]所述步骤3)包括以下步骤：
[0017]3.1)利用生成对抗网络对示教图片进行处理，得到其特征信息作为近似样本，存储到样本池中；
[0018]3.2)使用样本池中的近似样本对生成对抗网络进行训练；
[0019]3.3)使用训练好的生成对抗网络对待感知图像的图像特征信息进行分类；
[0020]3.4)将分类结果映射到公共语义空间进行匹配，得到图像中目标的类型；
[0021]3.5)根据目标类型，基于示教信息定位目标点以及目标点的空间位置和方向。
[0022]所述步骤3.4)具体为：
[0023]为两个图像x1和x2学习投影矩阵U1和U2，计算投影矩阵的最大相关程度，即：
[0024][0025]其中，∑x
1 x2、∑x
1 x1、∑x
2 x2为协方差矩阵；
[0026]对投影矩阵的列进行加权，然后归一化，得到：
[0027][0028]其中，D是对角矩阵，其元素值为相应维度的特征值，g1和g2表示两个图像的语义表示即特征信息；
[0029]在公共语义空间中，寻找g1和g2中的最大值，其所在的语义空间即为图像中目标的类型。
[0030]智联产线目标态势感知与协同操作的自主智能学习系统，包括：
[0031]图像特征生成模块，用于使用生成对抗网络提高待感知图像的质量，得到图像特征；
[0032]图像图像特征提取模块，用于使用卷积神经网络提取图像特征信息并对其编码；
[0033]目标点感知模块，用于基于示教图像对图像特征信息进行解析并定位待感知图像中的目标点；
[0034]策略执行模块，用于基于定位结果，产线机器人根据自定义的策略，对目标进行操作；操作结束后，对目标进行重新检测，判断产线机器人的操作是否满足要求；若不满足，则重新执行步骤4)，否则，完成本次操作，寻找下一目标。
[0035]智联产线目标态势感知与协同操作的自主智能学习系统，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现所述的智联产线目标态势感知与协同操作的自主智能学习方法。
[0036]一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现所述的智联产线目标态势感知与协同操作的自主智能学习方法。
[0037]本专利技术具有以下有益效果及优点：
[0038]1.本专利技术提出了一种智联产线目标态势感知与协同操作的自主智能学习方法，主要应用于无人系统中的检测与协同部分。该方法结合深度学习算法可以有效提高特征提取速度和准确度，大大提高了算法可靠性。
[0039]2.本专利技术中的方法采用生成对抗网络的方法提升图像质量，降低了对视觉传感器本身精度的要求，从而大大降低了应用成本。
[0040]3.本专利技术中采用生成对抗模仿学习的方法，提高了目标识别的灵敏度和精确度，降低了检测中光暗、遮挡、角度等因素的影响，提高了检测的准确性。
[0041]4.本专利技术的方法可以实现自动巡航、态势感知、智能检测、协同操作、行为预测等功能。采用生成对抗网络进行图像优化，卷积神经网络进行图像分析，生成对抗模仿学习算法进行动作决策，充分结合现有先进方法技术，各取其长，对维护生产线的高效稳定作业提供了保障。
附图说明
[0042]图1为基于生成对抗模仿学习的机器人自动巡检方法的流程图；
[0043]图2为卷积神经网络VGG
‑
16模型示意图；
[0044]图3为生成对抗模仿学习原理图；
[0045]图4为强化学习算法原理图。
具体实施方式
[0046]下面结合附图及实施例对本专利技术做进一步的详细说明。
[0047]如图1所述，智联产线目标态势感知与协同操作的自主智能学习方法所采用的技术方案内容步骤如下：
[0048]步骤一，增强图像质量；...

【技术保护点】

【技术特征摘要】
1.智联产线目标态势感知与协同操作的自主智能学习方法，其特征在于，包括以下步骤：1)使用生成对抗网络提高待感知图像的质量，得到图像特征；2)使用卷积神经网络提取图像特征信息；3)基于示教图像对图像特征信息进行解析并定位待感知图像中的目标点；4)基于定位结果，产线机器人根据自定义的策略，对目标进行操作；5)操作结束后，对目标进行重新检测，判断产线机器人的操作是否满足要求；若不满足，则重新执行步骤4)，否则，完成本次操作，寻找下一目标。2.根据权利要求1所述的智联产线目标态势感知与协同操作的自主智能学习方法，其特征在于，所述生成对抗网络为：其中，θ
G
和θ
D
为生成网络和判别网络中的网络参数，I
T
为、I
B
均为图像，P
T
为I
T
高质量图像的概率分布，P
G
为生成器的概率分布，为分类为真实图像的概率分布。3.根据权利要求1所述的智联产线目标态势感知与协同操作的自主智能学习方法，其特征在于，所述卷积神经网络为VGG
‑
16模型，并对模型输出数据进行自适应平均池化处理，以完成对图像的特征提取。4.根据权利要求1所述的智联产线目标态势感知与协同操作的自主智能学习方法，其特征在于，所述步骤3)包括以下步骤：3.1)利用生成对抗网络对示教图片进行处理，得到其特征信息作为近似样本，存储到样本池中；3.2)使用样本池中的近似样本对生成对抗网络进行训练；3.3)使用训练好的生成对抗网络对待感知图像的图像特征信息进行分类；3.4)将分类结果映射到公共语义空间进行匹配，得到图像中目标的类型；3.5)根据目标类型，...

【专利技术属性】
技术研发人员：库涛，俞宁，林乐新，刘金鑫，李进，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：