一种集成视觉系统的夹爪控制方法、装置及夹爪控制设备制造方法及图纸

本发明专利技术实施例提供了一种集成视觉系统的夹爪控制方法、装置及夹爪控制设备，通过在夹爪的夹持部分集成设置视觉相机，并且通过夹爪的行程中具有多个检测传感器的设计，在夹爪控制过程中通过结合夹爪和相机的控制信息对夹爪在全行程的任意位置精确检测和控制，并且通过集成设置与夹爪中的视觉相机的设计，在使用时能够自动手动控制视觉相机以调整视觉相机与夹爪之间的相互关系，极大提高了调试效率和调试精度方面，降低人工成本和时间成本。

A Claw Control Method, Device and Claw Control Equipment for Integrated Vision System

【技术实现步骤摘要】
一种集成视觉系统的夹爪控制方法、装置及夹爪控制设备
本专利技术涉及夹爪控制领域，具体而言，涉及一种集成视觉系统的夹爪控制方法、装置及夹爪控制设备。
技术介绍
现有产品通常只能检测夹爪起点和终点两个点的位置，而无法检测到全行程中其他任意点的位置，无法对夹爪在任意位置进行控制；此外，传统的夹爪在使用时需要手动调试视觉系统和夹爪之间的相互关系，包括硬件位置和软件，在调试效率和精度方面有诸多不便。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种集成视觉系统的夹爪控制方法、装置及夹爪控制设备，可以实现夹爪在全行程的任意位置精确检测和控制，并且通过集成设置与夹爪中的视觉相机的设计，在使用时能够自动手动控制视觉相机以调整视觉相机与夹爪之间的相互关系，极大提高了调试效率和调试精度方面，降低人工成本和时间成本。根据本专利技术实施例的一个方面，提供一种集成视觉系统的夹爪控制方法，应用于夹爪控制设备，所述夹爪控制设备用于控制行程中的夹爪，所述夹爪的夹持部分集成设置有视觉相机，所述夹爪的行程中具有多个检测传感器，所述夹爪控制设备中存储有所述视觉相机在各个预设工作模式下的待选位置，所述方法包括：获取所述夹爪在目标行程中自起始点移动的位移数据以及所述夹爪上的视觉相机所获取的视觉采集数据以及所述视觉相机在目标工作模式下的后续位置，其中，所述视觉采集数据包括所述夹爪在目标行程中自起始点移动过程中的视频流数据；根据所述位移数据和所述位移数据与上一控制周期所存储的检测传感器方位记录之间的对应关系确定对应的目标检测传感器以及该目标检测传感器的待调整检测方位，并控制所述目标检测传感器调整到该待调整检测方位，在当所述夹爪位于该目标检测传感器的待调整检测方位的有效检测范围时，通过该目标检测传感器获取所述夹爪的位置信息后，根据获取的所述夹爪的位置信息确定夹爪在所述目标行程中的第一控制信息；根据所述视觉相机所获取的视觉采集数据以及所述后续位置，确定所述视觉相机的第二控制信息；根据所述第一控制信息和所述第二控制信息控制所述夹爪。在一种可能的示例中，所述控制所述目标检测传感器调整到该待调整检测方位，还包括：执行计数指令，所述计数指令中包括所述目标检测传感器在方位调整过程中的多个定时器数值；根据所述计数指令执行多次计数，并在每次计数达到对应的定时器数值时触发中断信号；根据每次触发的中断信号控制所述目标检测传感器调整对应的角度和/或位移；所述执行计数指令的步骤，包括：读取当前上一控制周期中针对所述目标检测传感器的控制曲线，并根据所述控制曲线，计算所述目标检测传感器在调整方位过程中的定时器数值；基于所述定时器数值执行所述计数指令；所述根据所述控制曲线，计算所述目标检测传感器在调整方位过程中的定时器数值的步骤，包括：根据所述控制曲线，获取所述目标检测传感器的每个控制周期以及每个控制周期对应的角度单位和/或位移单位；根据所述每个控制周期以及每个控制周期对应的角度单位和/或位移单位计算得到所述目标检测传感器在调整方位中的多个定时器数值。在一种可能的示例中，所述根据所述视觉相机所获取的视觉采集数据以及所述后续位置，确定所述视觉相机的第二控制信息的步骤，包括：根据所述视觉相机所获取的视觉采集数据以及所述后续位置，通过前向估计算法得到所述视觉相机的候选朝向角度以及每个候选朝向角度所对应的位移点和时刻点；根据所述视觉相机所获取的视觉采集数据，采用预先训练得到的二型模糊神经分类器分析出所述视觉相机的运动信息，并基于所述视觉相机的运动信息提取视觉相机历史轨迹信息；将所述视觉相机历史轨迹信息与预设运动轨迹进行匹配判断，在所述视觉相机历史轨迹信息与预设运动轨迹匹配时，根据预先存储的轨迹信息与预存控制信息之间的对应关系以及所述预存控制信息与预测控制信息之间的对应关系将所述视觉相机轨迹信息转换为对应的所述视觉相机的第二控制信息。在一种可能的示例中，所述根据所述视觉相机所获取的视觉采集数据，采用预先训练得到的二型模糊神经分类器分析出所述视觉相机的运动信息的步骤，包括：将所述视觉相机所获取的视觉采集数据转化为灰度视觉采集数据，并将所述灰度视觉采集数据进行二值化处理后进行HOG特征提取，得到HOG特征提取数据，所述二型模糊神经分类器通过视觉采集HOG特征样本训练得到；根据预先构造的二型模糊神经分类器对所述HOG特征提取数据进行视觉目标与非视觉目标的二值判决，得到二值判决结果；根据所述二值判决结果对所检测到的视觉目标进行跟踪，获得所述视觉目标相对于所述夹爪的相对跟踪数据；根据所述相对跟踪数据分析出所述视觉相机的运动信息。在一种可能的示例中，所述根据所述二值判决结果对所检测到的视觉目标进行跟踪，获得所述视觉目标相对于所述夹爪的相对跟踪数据的步骤，包括：根据所述二值判决结果确定视觉目标图像，并将所述视觉目标图像的像素值值转化到HSV空间的像素值，以计算出所述视觉目标图像在H分量的特征直方图；根据所述视觉目标图像在H分量的特征直方图将所述视觉目标图像转化为色彩概率分布图像；计算所述色彩概率分布图像在预设搜索窗口内的质心位置，并判断所述质心位置是否移动到所述预设搜索窗口的固定位置的质心位置；如果所述质心位置移动到所述预设搜索窗口的固定位置的质心位置，则将所述质心位置作为所述视觉目标的目标位置；根据得到的多个所述视觉目标的目标位置得到所述视觉目标相对于所述夹爪的相对跟踪数据。在一种可能的示例中，所述二型模糊神经分类器通过以下方式训练得到：预先获得视觉采集HOG特征样本，并将获得的视觉采集HOG特征样本存储于训练数据库中；标注所述训练数据库中各视觉采集HOG特征样本的信息得到标注特征样本；采用初始神经分类器识别各个标注特征样本，得到所述各个标注特征样本中的视觉目标，得到图像预判信息；根据所述图像预判信息更新所述二型模糊神经分类器。在一种可能的示例中，所述根据所述第一控制信息和所述第二控制信息控制所述夹爪的步骤，包括：根据所述第一控制信息和所述第二控制信息生成所述夹爪的第一三维坐标控制信号和所述视觉相机的第二三维坐标控制信号；根据所述第一三维坐标控制信号驱动所述夹爪位移，并根据所述第二三维坐标控制信号驱动所述视觉相机位移。根据本专利技术实施例的另一方面，提供一种集成视觉系统的夹爪控制装置，应用于夹爪控制设备，所述夹爪控制设备用于控制行程中的夹爪，所述夹爪的夹持部分集成设置有视觉相机，所述夹爪的行程中具有多个检测传感器，所述夹爪控制设备中存储有所述视觉相机在各个预设工作模式下的待选位置，所述装置包括：获取模块，用于获取所述夹爪在目标行程中自起始点移动的位移数据以及所述夹爪上的视觉相机所获取的视觉采集数据以及所述视觉相机在目标工作模式下的后续位置，其中，所述视觉采集数据包括所述夹爪在目标行程中自起始点移动过程中的视频流数据；第一确定模块，用于根据所述位移数据和所述位移数据与上一控制周期所存储的检测传感器方位记录之间的对应关系确定对应的目标检测传感器以及该目标检测传感器的待调整检测方位，并控制所述目标检测传感器调整到该待调整检测方位，在当所述夹爪位于该目标检测传感器的待调整检测方位的有效检测范围时，通过该目标检测传感器获取所述夹爪的位置信息后，根据获取的所述夹爪的位置信息确定夹爪在所述目标行程中的第一控制本文档来自技高网...

【技术保护点】
1.一种集成视觉系统的夹爪控制方法，其特征在于，应用于夹爪控制设备，所述夹爪控制设备用于控制行程中的夹爪，所述夹爪的夹持部分集成设置有视觉相机，所述夹爪的行程中具有多个检测传感器，所述夹爪控制设备中存储有所述视觉相机在各个预设工作模式下的待选位置，所述方法包括：获取所述夹爪在目标行程中自起始点移动的位移数据以及所述夹爪上的视觉相机所获取的视觉采集数据以及所述视觉相机在目标工作模式下的后续位置，其中，所述视觉采集数据包括所述夹爪在目标行程中自起始点移动过程中的视频流数据；根据所述位移数据和所述位移数据与上一控制周期所存储的检测传感器方位记录之间的对应关系确定对应的目标检测传感器以及该目标检测传感器的待调整检测方位，并控制所述目标检测传感器调整到该待调整检测方位，在当所述夹爪位于该目标检测传感器的待调整检测方位的有效检测范围时，通过该目标检测传感器获取所述夹爪的位置信息后，根据获取的所述夹爪的位置信息确定夹爪在所述目标行程中的第一控制信息；根据所述视觉相机所获取的视觉采集数据以及所述后续位置，确定所述视觉相机的第二控制信息；根据所述第一控制信息和所述第二控制信息控制所述夹爪。

【技术特征摘要】
1.一种集成视觉系统的夹爪控制方法，其特征在于，应用于夹爪控制设备，所述夹爪控制设备用于控制行程中的夹爪，所述夹爪的夹持部分集成设置有视觉相机，所述夹爪的行程中具有多个检测传感器，所述夹爪控制设备中存储有所述视觉相机在各个预设工作模式下的待选位置，所述方法包括：获取所述夹爪在目标行程中自起始点移动的位移数据以及所述夹爪上的视觉相机所获取的视觉采集数据以及所述视觉相机在目标工作模式下的后续位置，其中，所述视觉采集数据包括所述夹爪在目标行程中自起始点移动过程中的视频流数据；根据所述位移数据和所述位移数据与上一控制周期所存储的检测传感器方位记录之间的对应关系确定对应的目标检测传感器以及该目标检测传感器的待调整检测方位，并控制所述目标检测传感器调整到该待调整检测方位，在当所述夹爪位于该目标检测传感器的待调整检测方位的有效检测范围时，通过该目标检测传感器获取所述夹爪的位置信息后，根据获取的所述夹爪的位置信息确定夹爪在所述目标行程中的第一控制信息；根据所述视觉相机所获取的视觉采集数据以及所述后续位置，确定所述视觉相机的第二控制信息；根据所述第一控制信息和所述第二控制信息控制所述夹爪。2.根据权利要求1所述的集成视觉系统的夹爪控制方法，其特征在于，所述控制所述目标检测传感器调整到该待调整检测方位，还包括：执行计数指令，所述计数指令中包括所述目标检测传感器在方位调整过程中的多个定时器数值；根据所述计数指令执行多次计数，并在每次计数达到对应的定时器数值时触发中断信号；根据每次触发的中断信号控制所述目标检测传感器调整对应的角度和/或位移；所述执行计数指令的步骤，包括：读取当前上一控制周期中针对所述目标检测传感器的控制曲线，并根据所述控制曲线，计算所述目标检测传感器在调整方位过程中的定时器数值；基于所述定时器数值执行所述计数指令；所述根据所述控制曲线，计算所述目标检测传感器在调整方位过程中的定时器数值的步骤，包括：根据所述控制曲线，获取所述目标检测传感器的每个控制周期以及每个控制周期对应的角度单位和/或位移单位；根据所述每个控制周期以及每个控制周期对应的角度单位和/或位移单位计算得到所述目标检测传感器在调整方位中的多个定时器数值。3.根据权利要求1所述的集成视觉系统的夹爪控制方法，其特征在于，所述根据所述视觉相机所获取的视觉采集数据以及所述后续位置，确定所述视觉相机的第二控制信息的步骤，包括：根据所述视觉相机所获取的视觉采集数据以及所述后续位置，通过前向估计算法得到所述视觉相机的候选朝向角度以及每个候选朝向角度所对应的位移点和时刻点；根据所述视觉相机所获取的视觉采集数据，采用预先训练得到的二型模糊神经分类器分析出所述视觉相机的运动信息，并基于所述视觉相机的运动信息提取视觉相机历史轨迹信息；将所述视觉相机历史轨迹信息与预设运动轨迹进行匹配判断，在所述视觉相机历史轨迹信息与预设运动轨迹匹配时，根据预先存储的轨迹信息与预存控制信息之间的对应关系、所述预存控制信息与预测控制信息之间的对应关系以及所述视觉相机的候选朝向角度以及每个候选朝向角度所对应的位移点和时刻点将所述视觉相机轨迹信息转换为对应的所述视觉相机的第二控制信息。4.根据权利要求3所述的集成视觉系统的夹爪控制方法，其特征在于，所述根据所述视觉相机所获取的视觉采集数据，采用预先训练得到的二型模糊神经分类器分析出所述视觉相机的运动信息的步骤，包括：将所述视觉相机所获取的视觉采集数据转化为灰度视觉采集数据，并将所述灰度视觉采集数据进行二值化处理后进行HOG特征提取，得到HOG特征提取数据，所述二型模糊神经分类器通过视觉采集HOG特征样本训练得到；根据预先构造的二型模糊神经分类器对所述HOG特征提取数据进行视觉目标与非视觉目标的二值判决，得到二值判决结果；根据所述二值判决结果对所检测...

【专利技术属性】
技术研发人员：韩凤磷，刘福东，
申请(专利权)人：斯瑞而苏州智能技术有限公司，
类型：发明
国别省市：江苏,32