一种基于机器视觉的工业现场生产数据的采集方法技术

本发明专利技术涉及工业现场生产数据采集领域，尤其是涉及一种基于机器视觉的工业现场生产数据的采集方法。本发明专利技术采用机器视觉的方法直接从设备外部获取工业现场的生产加工数据，不需要担心车间设备陈旧以及设备的多样性。在采集工业现场生产加工数据时，该方法具有一定的通用性和适用性；本发明专利技术的系统利用相机拍摄每台设备的生产加工数据，然后在计算机上开发一个多功能图像识别系统，识别出设备显示界面上的生产加工数据，接着将数据保存至服务器的数据库中，从而实现了生产加工数据的采集和存储。

A method of collecting industrial field production data based on machine vision

The invention relates to the field of industrial production data acquisition, in particular to an industrial production data acquisition method based on machine vision. The invention adopts the method of machine vision to obtain the production and processing data of the industrial field directly from the outside of the equipment without worrying about the outdated equipment in the workshop and the diversity of the equipment. The method has certain generality and applicability when collecting the data of industrial production and processing; the system of the invention takes the production and processing data of each equipment with a camera, then develops a multi-function image recognition system on a computer, identifies the production and processing data on the display interface of the equipment, and then takes the data. Saved to the database of the server, thus achieving the collection and storage of production and processing data.

【技术实现步骤摘要】
一种基于机器视觉的工业现场生产数据的采集方法
本专利技术涉及工业现场生产数据采集领域，尤其是涉及一种基于机器视觉的工业现场生产数据的采集方法。
技术介绍
随着《中国制造2025》行动纲领的提出，传统制造业纷纷走上转型升级的道路。目前，很多制造业公司面临着生产数据采集不准确及时，作业安排不合理，生产效率不高等问题，企业的生产制造水平和管理水平亟待改造提升。当前企业制造车间采集生产加工数据大多是采用现场总线的方式，通过加工设备的预留接口，直接从设备中读取出来，但是，由于部分企业的生产加工设备比较陈旧，没有预留的接口，所以无法直接从设备内部读取出生产加工数据，另外，由于车间生产加工设备的多样性，如果直接通过接口来读取数据，需要单独对每台设备进行操作，工作量较大。为此，急需提供一种无需考虑生产加工设备的多样性，且通用性和适用性均较好的工业现场生产数据采集方法。
技术实现思路
本专利技术的目的在于，针对
技术介绍
中存在的不足，提供一种基于机器视觉的工业现场生产数据的采集系统。为此，本专利技术的上述目的通过以下技术方案来实现：一种基于机器视觉的工业现场生产数据的采集方法，所述采集方法包括建立基于机器视觉的工业现场生产数据的采集系统，所述采集系统包括：-至少一个相机，所述相机用于拍摄生产加工设备显示屏的显示界面上的生产加工数据；-计算机，所述计算机用于存储原始图像信息以及由计算机对相机所拍摄的图像进行识别处理；计算机上设有多功能图像识别系统，所述多功能图像识别系统用于识别处理经交换机传输的相机所拍摄的生产加工数据的图像，所述多功能图像识别系统包括字符识别模块、曲线识别模块；所述字符识别模块用于识别相机拍摄图像中的数字和字母；所述曲线识别模块用于提取相机拍摄图像中的曲线数据；所述采集方法还包括：(1)相机安装在生产加工设备的显示屏前用于拍摄生产加工设备显示屏显示界面上的生产加工数据；相机和显示屏之间的安装距离一般不超过0.5米，相机轴线和显示屏平面之间的夹角不低于45度，以确保显示屏拍摄时相机的视域尺寸和显示屏基本保证一致且不会产生较大的图像畸变；(2)图像矫正：通过具有标准长度的参考系如直尺、黑白棋盘格等对相机进行标定，利用参考标准长度与所拍摄图像的尺寸对比，从而实现图像的矫正；(3)设置采集对象：采集对象分别为数字/数字串、字母/字母串和曲线；(4)对所拍摄的显示屏图像设置采集对象的图像区域；(5)根据采集对象设置以及所确定的图像区域，分别通过字符识别模块对相机所拍摄图像中的数字/数字串、字母/字母串进行字符识别处理，以及通过曲线识别模块对相机所拍摄图像中的曲线数据进行曲线识别处理；(6)采用字符识别模块和曲线识别模块进行识别处理时，如果无法成功识别，则返回错误信息。(7)同一幅图像中可以存在多个采集对象及多个图像区域，在设置中分别标注明确。在采用上述技术方案的同时，本专利技术还可以采用或者组合采用以下进一步的技术方案：优选地，当相机数量很多，并且需要保存经计算机识别处理后的生产加工数据时，所述采集系统还包括：-交换机，所述交换机用于连接相机与计算机；-服务器，所述服务器用于存储经计算机识别处理后的生产加工数据。优选地，所述图像矫正的实现方法是：先估算出相机的内参数、外参数以及畸变参数，然后利用这些参数将图像从相机坐标系恢复到世界坐标系；设置设备显示屏的某个角点为图像的基准点，当相机存在偏移时，该基准点可用于自动地找到目标图像区域，并且可以相对于该基准点找到采集对象的图像区域。优选地，当所设置的采集对象为数字/数字串或者字母/字母串时，可以通过设定采集对象的位数来提高识别处理的准确度。优选地，所述字符识别模块通过如下实现：(1)建立训练样本；(2)设计分类器；(3)待识别图像预处理；(4)应用分类器。优选地，所述字符识别模块优选通过如下实现：(1)建立训练样本：训练样本图像全部都是只包含单个字符的图片，在建立训练样本时，需要对训练样本图像进行预处理；首先，将训练样本图像灰度化，然后采用中值滤波法进行降噪处理，接着采用双峰法求取合适的阈值对训练样本图像进行二值化，再接着对训练样本图像进行归一化，把训练样本图像全部变成大小相等的图片，最后把预处理过的训练样本图像中的黑色像素点的灰度值设为1，白色像素点的灰度值设为0，从而将每个训练样本都表示成一个0/1矩阵；(2)设计分类器：采用改进型的K近邻算法来设计分类器，先将所有训练样本转化为样本向量集，然后采用欧氏距离作为度量标准来计算待分类的实例和每个训练样本的相似度，接着从样本向量集中找到与实例相似度最高的2k个样本，再接着采用夹角余弦距离作为度量标准来计算待分类实例和这2k个样本的相似度，从这2k个样本中找到与实例相似度最高的k个样本，最后利用投票法在这k个样本中找到出现次数最多的类别作为最终的预测类别；并在改进型的K近邻算法中：k取3或5。(3)待识别图像预处理：首先，对待识别图像进行灰度化，将其变为灰度图，然后采用中值滤波法进行降噪处理，接着对其进行二值化；由于待识别图像不仅仅包含单个字符，所以需要对其进行分割，把每个字符都分割出来，然后再利用分类器对字符进行逐个识别；采用投影直方图的方法对待识别图像进行分割，待识别图像被分割成多张只包含单个字符的图像后，由于每张图像的大小不相同，采用归一化的方法，将所有单个字符图像调整为分类器能够识别的大小，然后再把归一化后的图像中的黑色像素点的灰度值设为1，白色像素点的灰度值设为0，从而将所有单个字符图像都表示成一个0/1矩阵；(4)应用分类器：对待识别图像进行预处理后，将分割好的每张单字符图像的0/1矩阵依次交给分类器来进行识别，将所有识别结果组合成一个字符串输出。优选地，所述曲线识别模块通过如下实现：(1)曲线图像预处理；(2)曲线图像分割；(3)获取曲线区域的端点坐标值；(4)计算坐标转换比例因子；(5)提取曲线数据。优选地，所述曲线识别模块优选通过如下实现：(1)曲线图像预处理：采用黑白棋盘格对相机进行标定，实现图像的矫正，然后利用标定得到的外参数将图像从相机坐标系恢复到世界坐标系，从而获取到标准的曲线图像，设置设备显示屏的左边角为曲线图像的基准点，当相机存在偏移时，该基准点可用于自动地找到目标曲线区域，接着对曲线图像进行灰度化、降噪处理以及二值化，当目标曲线和背景间像素灰度值差异较大时，采用二值化的方法能够有效地去除曲线的背景网格；(2)曲线图像分割：相对基准点切割出曲线区域1、X坐标轴区域2以及Y坐标轴区域3；(3)获取曲线区域的端点坐标值：采用投影直方图的方法切割出X坐标轴区域2的端点坐标x1和x2以及Y坐标轴区域3的端点坐标值y1和y2，并调用字符识别模块，识别出x1、x2、y1和y2的具体数值；(4)计算坐标转换比例因子：获取到曲线区域1的端点坐标值x1、x2、y1和y2后，结合曲线区域1的宽度W以及曲线区域1的高度H，其中，W和H分别代表曲线区域1的宽度和高度的像素点的个数，可以实现目标曲线的实际坐标值和像素坐标值的相互转换，这种换算关系可以用坐标转换比例因子表示，如式(1)和(2)所示：在式(1)中，P为目标曲线的x坐标转换比例因子，代表在X坐标轴上每单位长度具有像素点的个数；在式(2)中，Q为目标曲线的y坐标转换本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的工业现场生产数据的采集方法，其特征在于，所述采集方法包括建立基于机器视觉的工业现场生产数据的采集系统，所述采集系统包括：‑至少一个相机，所述相机用于拍摄生产加工设备显示屏的显示界面上的生产加工数据；‑计算机，所述计算机用于存储原始图像信息以及由计算机对相机所拍摄的图像进行识别处理；计算机上设有多功能图像识别系统，所述多功能图像识别系统用于识别处理经交换机传输的相机所拍摄的生产加工数据的图像，所述多功能图像识别系统包括字符识别模块、曲线识别模块；所述字符识别模块用于识别相机拍摄图像中的数字和字母；所述曲线识别模块用于提取相机拍摄图像中的曲线数据；所述采集方法还包括：(1)相机安装在生产加工设备的显示屏前用于拍摄生产加工设备显示屏显示界面上的生产加工数据；相机和显示屏之间的安装距离一般不超过0.5米，相机轴线和显示屏平面之间的夹角不低于45度，以确保显示屏拍摄时相机的视域尺寸和显示屏基本保证一致且不会产生较大的图像畸变；(2)图像矫正：通过具有标准长度的参考系如直尺、黑白棋盘格等对相机进行标定，利用参考标准长度与所拍摄图像的尺寸对比，从而实现图像的矫正；(3)设置采集对象：采集对象分别为数字/数字串、字母/字母串和曲线；(4)对所拍摄的显示屏图像设置采集对象的图像区域；(5)根据采集对象设置以及所确定的图像区域，分别通过字符识别模块对相机所拍摄图像中的数字/数字串、字母/字母串进行字符识别处理，以及通过曲线识别模块对相机所拍摄图像中的曲线数据进行曲线识别处理；(6)采用字符识别模块和曲线识别模块进行识别处理时，如果无法成功识别，则返回错误信息；(7)同一幅图像中可以存在多个采集对象及多个图像区域，在设置中分别标注明确。...

【技术特征摘要】
1.一种基于机器视觉的工业现场生产数据的采集方法，其特征在于，所述采集方法包括建立基于机器视觉的工业现场生产数据的采集系统，所述采集系统包括：-至少一个相机，所述相机用于拍摄生产加工设备显示屏的显示界面上的生产加工数据；-计算机，所述计算机用于存储原始图像信息以及由计算机对相机所拍摄的图像进行识别处理；计算机上设有多功能图像识别系统，所述多功能图像识别系统用于识别处理经交换机传输的相机所拍摄的生产加工数据的图像，所述多功能图像识别系统包括字符识别模块、曲线识别模块；所述字符识别模块用于识别相机拍摄图像中的数字和字母；所述曲线识别模块用于提取相机拍摄图像中的曲线数据；所述采集方法还包括：(1)相机安装在生产加工设备的显示屏前用于拍摄生产加工设备显示屏显示界面上的生产加工数据；相机和显示屏之间的安装距离一般不超过0.5米，相机轴线和显示屏平面之间的夹角不低于45度，以确保显示屏拍摄时相机的视域尺寸和显示屏基本保证一致且不会产生较大的图像畸变；(2)图像矫正：通过具有标准长度的参考系如直尺、黑白棋盘格等对相机进行标定，利用参考标准长度与所拍摄图像的尺寸对比，从而实现图像的矫正；(3)设置采集对象：采集对象分别为数字/数字串、字母/字母串和曲线；(4)对所拍摄的显示屏图像设置采集对象的图像区域；(5)根据采集对象设置以及所确定的图像区域，分别通过字符识别模块对相机所拍摄图像中的数字/数字串、字母/字母串进行字符识别处理，以及通过曲线识别模块对相机所拍摄图像中的曲线数据进行曲线识别处理；(6)采用字符识别模块和曲线识别模块进行识别处理时，如果无法成功识别，则返回错误信息；(7)同一幅图像中可以存在多个采集对象及多个图像区域，在设置中分别标注明确。2.根据权利要求1所述的基于机器视觉的工业现场生产数据的采集方法，其特征在于，当相机数量很多，并且需要保存经计算机识别处理后的生产加工数据时，所述采集系统还包括：-交换机，所述交换机用于连接相机与计算机；-服务器，所述服务器用于存储经计算机识别处理后的生产加工数据。3.根据权利要求1所述的基于机器视觉的工业现场生产数据的采集方法，其特征在于，所述图像矫正的实现方法是：先估算出相机的内参数、外参数以及畸变参数，然后利用这些参数将图像从相机坐标系恢复到世界坐标系；设置设备显示屏的某个角点为图像的基准点，当相机存在偏移时，该基准点可用于自动地找到目标图像区域，并且可以相对于该基准点找到采集对象的图像区域。4.根据权利要求1所述的基于机器视觉的工业现场生产数据的采集方法，其特征在于，当所设置的采集对象为数字/数字串或者字母/字母串时，可以通过设定采集对象的位数来提高识别处理的准确度。5.根据权利要求1所述的基于机器视觉的工业现场生产数据的采集方法，其特征在于，所述字符识别模块通过如下实现：(1)建立训练样本；(2)设计分类器；(3)待识别图像预处理；(4)应用分类器。6.根据权利要求5所述的基于机器视觉的工业现场生产数据的采集方法，其特征在于，所述字符识别模块优选通过如下实现：(1)建立训练样本：训练样本图像全部都是只包含单个字符的图片，在建立训练样本时，需要对训练样本图像进行预处理；首先，将训练样本图像灰度化，然后采用中值滤波法进行降噪处理，接着采用双峰法求取合适的阈值对训练样本图像进行二值化，再接着对训练样本图像进行归一化，把训练样本图像全部变成大小相等的图片，最后把预处理过的训练样本图像中的黑色像素点的灰度值设为1，白色像素点的灰度值设为0，从而将每个训练样本都表示成一个0/1矩阵；(2)设计分类器：采用改进型的K近邻算法来设计分类器，先将所有训练样本转化为样本向量集，然后采用欧氏距离作为度量标准来计算待分类的实例和每个训练样本的相似度，接着从样本向量集中找到与实例相似度最高的2k个样本，再接着采用夹角余弦距离作为度量标准来计算待分类实例和这2k个样本的相似度，从这2k个样本中找到与实例相似度最高的k个样本，最后利用投票法在这k个样本中找到出现次数最多的类别作为最终的预测类别；并在改进型的K近邻算法中：k取3或5；(3)待识别图像预处理：首先，对待识别图像进行灰度化，将其变为灰度图，然后采用中值滤波法进行降噪处理，接着对其...

【专利技术属性】
技术研发人员：叶炜，李潇，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33