作业者品质管理方法和作业者品质管理装置制造方法及图纸

本发明专利技术的课题为从以重复进行同一作业为特征的作业现场的图像，自动判定各作业者的作业状况是正常还是异常。本发明专利技术提供作业者品质管理方法和作业者品质管理装置。对于进行重复动作的作业的作业者的作业品质管理方法的特征为具备：根据过去的作业者的动作路线数据、该作业对象物过去的中间品质数据和该作业对象物过去的最终品质数据，在统计学上构建以动作路线数据和中间品质数据为输入，以最终品质数据为输出的预测模型的模型构建步骤；根据拍摄的图像数据，识别作业者位置的作业者位置识别步骤；把在作业者位置识别步骤中识别出的作业者位置代入模型构建步骤中构建的模型中，判定对象的作业是正常还是异常的作业者位置异常判定步骤。

【技术实现步骤摘要】

本专利技术涉及作业者品质管理方法和作业者品质管理装置。
技术介绍
作为本
的
技术介绍
，有日本特开2010-211626号公报(专利文献1)。该公报记载了“动作路线监视系统包括：拍摄装置200，其生成对在输送装置中输送的第一移动体和第二移动体进行拍摄得到的时序拍摄数据；特征点抽出单元140，其从时序拍摄数据中按时序抽出第一移动体的特征点的位置；时序位置坐标计算单元150，其基于从时序拍摄数据求出的、第二移动体相对于第一移动体的特征点的相对位置，计算在使第一移动体静止的状态下表示的基准坐标上的第二移动体的时序位置坐标；数据蓄积部170，其蓄积基准坐标上的第二移动体的时序位置坐标”。在上述专利文献1中记载了从拍摄数据取得移动体的动作路线的技术。但是，在专利文献1中无法判定取得的动作路线是正常还是异常。专利文献1：日本特开2010-211626号公报
技术实现思路
本专利技术的目的在于，从以反复进行同一作业为特征的作业现场的图像，自动判定各作业者的作业状况是正常还是异常。为了解决上述的问题，例如采用权利要求中记载的方法。作为代表性的手段，具有以下的方法：把从拍摄数据取得的作业者的位置(本体位置、间接位置)数据与品质检查结果之间的关系在统计学上模型化，通过把判定对象的位置数据或间接的位置数据代入模型，判定动作路线是正常还是异常。根据本专利技术，能够在以反复进行同一作业为特征的作业现场，自动判定各作业者的作业状况是正常还是异常。通过以下的实施方式的说明，会使上述以外的问题、结构和效果变得明确。附图说明图1是作业者品质管理方法的处理流程图。图2是过去的动作路线数据的例子。图3是品质数据的例子。图4是距离矩阵的例子。图5是存储了贝叶斯网络(Bayesian network)中的网络结构的例子。图6是贝叶斯网络中的带条件概率的例子。图7是作业品质管理方法和系统的第二实施方式的处理流程图。图8是作业状态标志的例子。图9是作业品质管理方法和系统的第二个实施方式的例子中的框图。图10是异常度推移显示画面的例子。图11是标准动作路线比较结果显示画面的例子。图12是作业时间推移显示画面的例子。图13是标准动作路线定义画面的例子。图14是检测条件设定画面的例子。图15是用于推定概率分布的处理方法。附图标记的说明101：过去数据取得步骤；102：模型构建步骤；103：图像数据取得步骤；104：作业位置识别步骤；105：作业者位置异常判定步骤；201：帧编号；202：重心的X坐标；203：重心的Y坐标；204：头的X坐标；205：头的Y坐标；206：肩的X坐标；207：肩的Y坐标；208：经过时间；601：对象节点；602：父节点；603：带条件概率；701：图像数据取得步骤(图像取得步骤)；702：作业状态判定步骤；703：作业开始识别步骤；704：作业者位置识别步骤；705：作业者位置异常检测步骤；706：作业结束识别步骤；707：作业时间异常检测步骤；708：动作路线识别步骤；709：动作路线异常检测步骤；801：作业状态标志；901：DB部；902：传感器部；903：引擎部；904：显示部；1101：异常检测对象的动作路线；1102：标准的动作路线；1301：节点；1302：时刻；1501：过去的动作路线数据取得步骤；1502：过去的动作路线数据选择步骤；
1503：概率分布推定步骤。具体实施方式以下，使用附图说明实施例。图1是作业品质管理方法和作业者品质管理装置的处理流程图。本实施例由以下步骤构成：过去数据取得步骤101，取得过去的动作路线数据、制品完成前的各作业的数值检查即中间品质数据、判定制品完成后是否能够作为制品出厂的最终品质数据；模型构建步骤102，根据取得的过去数据构建统计模型；图像数据取得步骤103，取得通过照相机等装置拍摄到的图像(动画或以预定的时间间隔取得的连续的静止画面)数据；作业者位置识别步骤104，识别图像数据中包含的作业者，取得该作业者的位置信息；作业者位置异常判定步骤105，把在作业者位置识别步骤中识别出的位置信息即动作路线数据(重心位置等整个作业者的动作路线数据或头、关节(肩、肘、膝等)这样的作业者身体一部分的动作路线数据)代入到在上述模型构建步骤102中构建的模型中，判定是否为正常。在过去数据取得步骤101中，取得过去识别出的动作路线数据、过去的中间品质数据，过去的最终品质数据。图2表示在上述的过去数据取得步骤101中取得的过去的动作路线数据的例子。201表示对象的图像数据的帧编号。202～207表示取得的作业者的重心、头的位置、肩的位置各自的XY坐标。208表示从对象的图像数据的作业开始起的经过时间。图3表示品质数据的例子。在上述的过去数据取得步骤101中，通过该表取得中间品质数据和最终品质数据。第1列表示用于识别制品的制品ID，第2列以后表示品质数据。在模型构建步骤102中，基于在上述的过去数据取得步骤101中取得的过去数据，构建以动作路线数据和中间品质数据为输入，预测并输出最终品质数据的统计模型，将该统计模型存储在DB部901中。后述的统计模型构建引擎执行该处理。由于针对每个制品ID动作路线数据的长度不同，所以变换成距离矩阵。图4表示距离矩阵的例子。第1列表示制品ID。另外，例如，图4的表中的2行3列成分表示针对制品ID1的作业者的动作路线数据与针对制品ID2的动作路线数据的距离。作为距离的例子，有Gromov-Hausdorff距离。然后，生成以制品ID为关键字在列方向上结合了距离矩阵、中间品质数据以及最终品质数据而得到的矩阵，从而构建统计模型。作为统计模型的例子，有贝叶斯网络等。贝叶斯网络是具有带条件概率的有向网络。图5表示存储了贝叶斯网络的网络结构的例子。行方向表示子节点，列方向表示父节点。例如，第2行第5列的值为1，这表示对制品ID＝1距离与中间品质数据1之间存在父子关系。即，对制品ID＝1距离与中间品质数据1通过边缘连接，关于方向是以中间品质数据1为始发，以对制品ID＝1距离为目的地。图6表示了贝叶斯网络的带条件概率的例子。对象节点601、父节点602分别表示对象的节点。带条件概率603的数字表示概率的值。图像数据取得步骤103是从在作业现场设置的照相机等电子设备或者保存过去取得的图像数据的数据库取得图像数据的步骤。可以利用的电子设备有照相机、把照相机图像和深度传感器数据组合起来的3D照相机等。关于要取得的图像数据，具有从电子设备只取得一帧最新的图像的方法、与数据库中保存的过去取得的图像数据一起取得多个帧的方法等。作业者位置识别步骤104是搜索在取得的图像数据内拍摄到的作业者，取得图像数据内的作业者的重心、头的位置和肩的位置的XY坐标、以及从作业开始起的经过时间的步骤。作为搜索作业者的方法，具有事先向计算机输入拍摄到作业者的图像数据和没有拍摄到作业者的图像数据，使用机械学习技术，根据图像数据构建用于判定是否拍摄到作业者的模型，使用该模型的方法；比较多个帧的图像，抽出运动的物体，将其作为作业者(作业者本体、作业者的身体的一部分)的方法。作为取得从作业开始起的经过时间的方法，有从工厂的制造执行系统的起始履历取得作业开始和结束时刻，将其与从电子设备取得图像数据的时刻进行本文档来自技高网...

【技术保护点】
一种对于进行重复动作的作业的作业者的作业品质管理方法，其特征在于，具备：图像数据取得步骤，其取得对作业进行拍摄得到的图像数据；作业者位置识别步骤，其从图像数据识别作业者的位置；预测模型取得步骤，其取得根据过去的作业者的动作路线数据、中间品质数据以及过去的最终品质数据在统计学上构建的预测模型；以及作业者位置异常判定步骤，其把在上述作业者位置识别步骤中识别出的作业者位置代入上述预测模型，判定对象的作业是正常还是异常。

【技术特征摘要】
2015.02.26 JP 2015-0360311.一种对于进行重复动作的作业的作业者的作业品质管理方法，其特征在于，具备：图像数据取得步骤，其取得对作业进行拍摄得到的图像数据；作业者位置识别步骤，其从图像数据识别作业者的位置；预测模型取得步骤，其取得根据过去的作业者的动作路线数据、中间品质数据以及过去的最终品质数据在统计学上构建的预测模型；以及作业者位置异常判定步骤，其把在上述作业者位置识别步骤中识别出的作业者位置代入上述预测模型，判定对象的作业是正常还是异常。2.根据权利要求1所述的作业品质管理方法，其特征在于，在上述模型构建步骤中在模型构建中使用的作业者的动作路线数据包含作业者的重心、头位置或关节位置的动作路线数据，在上述作业者位置识别步骤中，作为作业者的位置，识别作业者的重心、头或关节的位置。3.根据权利要求1所述的作业品质管理方法，其特征在于，上述异常的判定使用异常度来进行判定，具有显示上述异常度的步骤。4.一种对于进行重复动作的作业的作业者的作业品质管理装置，其特...

【专利技术属性】
技术研发人员：今泽庆，滨村有一，田中茂范，多田康一郎，百濑勇，深谷雄作，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本;JP