一种MMI按键图标矩阵自动检测的实现方法，加载标准按键图标矩阵模型；按键滤板放在待检测按键图标矩阵上面；读取摄像头采集的图像；判断图像清晰度；自动识别按键图标轮廓；自动判断按键图标轮廓的正确性；按键图标数量的自动判断；对按键图标轮廓进行排序处理和按键图标位置匹配判断；根据每个按键图标轮廓的位置坐标截取对应的按键图像，逐一通过预先训练好的神经网络模型进行计算；与标准按键图标的图像计算值进行比对；判断按键图像识别结果不符合预期时在相应按键位置进行红色标识；所有按键图像均符合预期时，在原始采集图像左上角进行绿色标识。本发明专利技术能自动检测MMI按键图标矩阵中按键图标错误、顺序颠倒的情况，极大减少检测时间。少检测时间。少检测时间。
【技术实现步骤摘要】
一种MMI按键图标矩阵自动检测的实现方法
[0001]本专利技术涉及机器视觉检测领域，特别是涉及一种MMI按键图标矩阵自动检测的实现方法。
技术介绍
[0002]近年来在民用领域，机器视觉识别技术的应用越来越广泛，从人脸识别、车牌识别、到自动驾驶，其自动化的优点降低了大量人工成本。这主要得益于神经网络模型结合深度学习技术的快速发展及技术开源化，降低了产品的开发速度和难度。虽然检测准确率仍有待提高，但是作为一种辅助手段，仍然发挥了重要作用。
[0003]在工业现场领域，尤其是零部件的外观检查、缺陷检测、图形识别方面，图像自动检测技术仍未发挥出应有的作用。主要原因在于：为保证检测结果的高可靠性和高一致性，检测设备需要额外考虑采集图像的光线、角度、位置等条件的一致性，导致需要通过定制结构件和控制电机移动等方式保证条件一致性，进一步导致检测设备的外观、体积、操作方式都受到了限制，抬高了开发成本。只有在被检测零件的数量达到一定等级时，才具备定制检测设备的必要性。
[0004]目前对MMI按键图标矩阵检测的方法有如下三种。
[0005]一是靠人工肉眼检测，此方法存在如下缺点：1.由于身体疲劳带来的检测错误率的提高；2.检测速度慢；3.人工成本高。
[0006]二是利用印制板贴片检测设备改造后进行检测，如现有专利申请：202110820244.4，一种SMT贴片视觉检测设备。此方法需要检测人员预先在检测设备中人工录入每一个MMI按键图标的位置坐标，再将待检测的MMI按键图标矩阵放置到设备的指定位置上，检测设备控制电机移动摄像头至每一个MMI按键图标的位置坐标，逐一采集MMI按键图标的图像进行比对，并输出比对结果。此检测方法存在如下局限性：1.检测设备体积大；2.检测人员工作准备时间长，自动化程度不高；3.单体检测时间长；4.每次控制电机移动只能识别MMI按键图标矩阵中的一个按键图标。
[0007]三是定制全自动检测设备，控制电机每次传送整个MMI按键图标矩阵进行检测，此检测方法存在如下局限性：造价成本高，不适用于中小数量规模检测的场景。
技术实现思路
[0008]鉴于现有技术存在检测设备体积大、造价成本高、检测时间长和自动化程度低等局限性，本专利技术提供一种轻量化的MMI按键图标矩阵自动检测的实现方法，即可以解决人工肉眼检测带来的错误率问题，又可以解决检测设备体积大问题和检测时间长问题，并同时
降低了检测成本。
[0009]本专利技术采用的技术方案是：一种MMI按键图标矩阵自动检测的实现方法，利用普通商用计算机和外置摄像头作为检测平台，包括用于辅助检测流程工作的按键滤板，所述自动检测流程步骤如下：S1、开机，在普通商用计算机上加载标准按键图标矩阵模型；S2、将按键滤板放置在待检测MMI按键图标矩阵上面；S3、使摄像头显示图像区域覆盖到全部MMI按键图标矩阵，读取摄像头采集的图像；S4、对图像进行清晰度判断，当清晰度满足条件时再进行后续S5中进行自动识别按键图标轮廓，否则返回S3中，继续读取摄像头采集的图像；S5、对图像中所有按键图标的轮廓进行自动识别，并对按键图标轮廓外围进行矩形框标记；S6、对S5步骤中标记的所有矩形框标记逐一进行判断，如果矩形框标记符合预设条件，则判断此矩形框内的区域图像是一个MMI按键图标；对于不符合条件的矩形框，则舍弃；S7、对MMI按键图标矩阵的轮廓矩形框数量与标准按键图标矩阵模型的数量进行比对，当数量相同时再进行后续流程处理，否则返回S3中继续读取摄像头采集的图像；S8、S7步骤比对的按键图标数量相同时，继续对MMI按键图标矩阵的轮廓矩形框坐标进行处理并计算，对计算结果按照从小到大的顺序进行排序；S9、S8步骤排序完成后，对新排序的MMI按键图标矩阵的轮廓矩形框位置与预设的标准按键图标矩阵模型进行判断，如果位置符合再进行后续流程处理，否则返回S3中继续读取摄像头采集的图像；S10、S9步骤位置判断成功后，再根据轮廓矩形框的位置坐标截取对应的按键图像，按照S8中的排序逐一通过预先训练好的神经网络模型进行计算并识别；S11、将S10中的计算值与预先内置的每个标准按键图标的图像计算值进行比对，取出差值最小的标准按键图标作为识别结果；S12、判断当前按键图像识别结果不符合预期时，在相应按键位置标记红色矩形框，作为不合格品标识；当所有按键图像均符合预期时，在原始采集图像左上角标记绿色“PASS”字样，作为合格品标识；S13、当前MMI按键图标矩阵检测结束，继续开始下一个MMI按键图标矩阵的检测。
[0010]步骤S1中所述的标准按键图标矩阵模型包括如下信息：1） 所有按键图标的标准图像；2） 所有按键图标的排列顺序；3）按键图标矩阵的行信息，即按键图标矩阵一共分为几行，每一行有几个按键图标。
[0011]步骤S4中所述的清晰度判断步骤为：利用计算机视觉软件库OpenCV的cv2.Laplacian.var算法，对图像进行清晰度计算，计算出S3步骤中摄像头采集的图像清晰度，并与门限值进行比较，大于门限值时满足要求，否则舍弃，门限值为可调节参数，默认值为150。
[0012]步骤S5中所述的图像中所有按键图标的轮廓进行自动识别的步骤为：利用算法cv2.cvtColor进行灰度转化、利用算法cv2.medianBlur进行中值滤波、利用算法cv2.adaptiveThreshold进行自适应阈值、利用算法cv2.Canny进行边缘识别、利用算法cv2.morphologyEx进行膨胀和腐蚀手段对图像进行处理，利用算法cv2.findContours进行轮廓描绘，再利用算法cv2.boundingRect进行矩形框标注。
[0013]步骤S6中所述的预设条件为：1）面积符合预设的范围值；2）长宽比例符合预设的范围值。
[0014]步骤S8中所述的处理、计算和排序方式如下：1）对矩形框的纵坐标进行范围值归一化处理；2）对归一化的矩形框坐标进行计算，计算公式为：纵坐标*k+横坐标；3）对计算值按照从小到大排序；参数k表示为矩形框纵坐标的加权参数，需要根据具体的MMI按键图标矩阵的长宽尺寸进行设置，默认值为10。
[0015]所述的按键滤板上开有数个通孔，数个通孔的位置、形状及尺寸与MMI按键图标矩阵的按键图标相同，在按键滤板上表面先进行喷砂工艺处理构成喷砂层，在喷砂层上面再进行涂色处理，涂色处理按照MMI按键图标背景色的反色进行喷涂构成反色喷涂层。
[0016]步骤S10中所述的预先训练好的神经网络模型，是利用TensorFlow机器学习框架搭建的一种孪生神经网络模型，已经利用每一种MMI按键图标的图像预先训练完毕，能够对采集的MMI按键图标图像进行识别。
[0017]本专利技术的有益效果是：1、检测流程均为自动完成，所有按键位置坐标及标准按键图像模型均已提前预置，无需检测人员人工录入。
[0018]2、由于不需要控制电机逐个采集MMI按键图标，所以极大缩短了检测时间，完成单个MMI按键图标矩阵检测仅耗时5至15秒钟。
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种MMI按键图标矩阵自动检测的实现方法，利用普通商用计算机和外置摄像头作为检测平台，包括用于辅助检测流程工作的按键滤板，其特征在于，所述自动检测流程步骤如下：S1、开机，在普通商用计算机上加载标准按键图标矩阵模型；S2、将按键滤板放置在待检测MMI按键图标矩阵上面；S3、使摄像头显示图像区域覆盖到全部MMI按键图标矩阵，读取摄像头采集的图像；S4、对图像进行清晰度判断，当清晰度满足条件时再进行后续S5中进行自动识别按键图标轮廓，否则返回S3中，继续读取摄像头采集的图像；S5、对图像中所有按键图标的轮廓进行自动识别，并对按键图标轮廓外围进行矩形框标记；S6、对S5步骤中标记的所有矩形框标记逐一进行判断，如果矩形框标记符合预设条件，则判断此矩形框内的区域图像是一个MMI按键图标；对于不符合条件的矩形框，则舍弃；S7、对MMI按键图标矩阵的轮廓矩形框数量与标准按键图标矩阵模型的数量进行比对，当数量相同时再进行后续流程处理，否则返回S3中继续读取摄像头采集的图像；S8、S7步骤比对的按键图标数量相同时，继续对MMI按键图标矩阵的轮廓矩形框坐标进行处理并计算，对计算结果按照从小到大的顺序进行排序；S9、S8步骤排序完成后，对新排序的MMI按键图标矩阵的轮廓矩形框位置与预设的标准按键图标矩阵模型进行判断，如果位置符合再进行后续流程处理，否则返回S3中继续读取摄像头采集的图像；S10、S9步骤位置判断成功后，再根据轮廓矩形框的位置坐标截取对应的按键图像，按照S8中的排序逐一通过预先训练好的神经网络模型进行计算并识别；S11、将S10中的计算值与预先内置的每个标准按键图标的图像计算值进行比对，取出差值最小的标准按键图标作为识别结果；S12、判断当前按键图像识别结果不符合预期时，在相应按键位置标记红色矩形框，作为不合格品标识；当所有按键图像均符合预期时，在原始采集图像左上角标记绿色“PASS”字样，作为合格品标识；S13、当前MMI按键图标矩阵检测结束，继续开始下一个MMI按键图标矩阵的检测。2.根据权利要求1所述的一种MMI按键图标矩阵自动检测的实现方法，其特征在于：步骤S1中所述的标准按键图标矩阵模型包括如下信息：所有按键图标的标准图像；所有按键图标的排列顺序；3）按键图标矩阵的行信息，即按键图标矩阵一共分为几行，每一行有几个按键图标。3.根据权利要求...
【专利技术属性】
技术研发人员：黄志刚，王永佳，董成文，赵化磊，路远，邹华勇，刘征，
申请(专利权)人：天津七一二移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。