动作确定装置、动作确定方法以及动作确定程序制造方法及图纸

在动作确定装置(10)中，图像取得部(21)取得关于对象者的图像数据。骨骼提取部(22)从通过图像取得部(21)所取得的图像数据提取对象信息，该对象信息是诸如多个关节的坐标这样的表示对象者的姿势的骨骼信息。动作信息登记部(23)将动作信息示出的动作内容确定为对象者正进行的动作内容，动作信息是与通过骨骼提取部(22)所提取的对象信息相似的骨骼信息。

【技术实现步骤摘要】
【国外来华专利技术】动作确定装置、动作确定方法以及动作确定程序
本专利技术涉及一种从拍摄了对象者的图像数据确定对象者的动作内容的技术。
技术介绍
在产业领域中，具有针对诸如测量作为作业者组装产品的时间的循环时间、以及为了检测作业的遗漏或者不是稳定的作业的非稳定作业而分析作业内容这样的处理的需要。当前，通过人工进行这些处理是主流。为此，需要许多人力成本，并且只能针对限定的范围作为处理的对象。在专利文献1中，记载了使用佩戴于人的头部的相机以及三维传感器，提取人的动作的特征量，并自动地进行动作分析。现有技术文献专利文献专利文献1：日本特开2016-099982号公报
技术实现思路
专利技术要解决的课题在专利文献1中，在人的头部佩戴相机。然而，在产业领域中，在作业中在作业者的身体的一部分佩戴对作业不需要的物品可能成为作业的妨碍，因而被回避。本专利技术的目的在于，不在作业者的身体佩戴对作业不需要的物品，而能够进行诸如循环时间的测量和作业内容的分析这样的处理。用于解决课题的手段本专利技术的动作确定装置具备：图像取得部，取得关于对象者的图像数据；骨骼提取部，从通过所述图像取得部所取得的所述图像数据，提取对象信息，该对象信息是表示所述对象者的姿势的骨骼信息；以及动作确定部，将动作信息示出的动作内容确定为所述对象者正进行的动作内容，所述动作信息是与通过所述骨骼提取部所提取的所述对象信息相似的所述骨骼信息。专利技术效果在本专利技术中，从图像数据提取作为表示对象者的姿势的骨骼信息的对象信息，并将动作信息示出的动作内容确定为对象者正进行的动作内容，所述动作信息是与对象信息相似的骨骼信息。因此，不在作业者的身体佩戴对作业不需要的物品，而能够进行诸如循环时间的测量和作业内容的分析这样的处理。附图说明图1是实施方式1的动作确定装置10的结构图。图2是实施方式1的登记处理的流程图。图3是实施方式1的图像数据的说明图。图4是实施方式1的骨骼信息43的说明图。图5是实施方式1的登记处理的说明图。图6是实施方式1的动作信息表格31的说明图。图7是实施方式1的确定处理的流程图。图8是实施方式1的确定处理的说明图。图9是变形例1的动作确定装置10的结构图。图10是变形例3的动作确定装置10的结构图。图11是实施方式2的动作确定装置10的结构图。图12是实施方式2的学习处理的流程图。图13是实施方式2的确定处理的流程图。图14是变形例5的动作确定装置10的结构图。(附图标记说明)10：动作确定装置；11：处理器；12：存储器；13：存储设备；14：通信接口；15：电子电路；21：图像取得部；22：骨骼提取部；23：动作信息登记部；24：动作确定部；25：输出部；26：学习部；31：动作信息表格；32：学习模型；41：拍摄装置；42：人；43：骨骼信息。具体实施方式实施方式1＊＊＊结构的说明＊＊＊参照图1说明实施方式1的动作确定装置10的结构。动作确定装置10是计算机。动作确定装置10具备处理器11、存储器12、存储设备13和通信接口14这样的硬件。处理器11经由信号线与其他硬件连接，并控制这些其他硬件。处理器11是进行处理的IC(IntegratedCircuit，集成电路)。作为具体示例，处理器11是CPU(CentralProcessingUnit，中央处理单元)、DSP(DigitalSignalProcessor，数字信号处理器)、GPU(GraphicsProcessingUnit，图像处理单元)。存储器12是暂时存储数据的存储装置。作为具体示例，存储器12是SRAM(StaticRandomAccessMemory，静态随机存取存储器)、DRAM(DynamicRandomAccessMemory，动态随机存取存储器)。存储设备13是保管数据的存储装置。作为具体示例，存储设备13是HDD(HardDiskDrive，硬盘驱动器)。另外，存储设备13也可以是SD(注册商标，SecureDigital，安全数字)存储卡、CF(CompactFlash，注册商标)、NAND闪存、软盘、光盘、压缩盘、蓝光(注册商标)盘、DVD(DigitalVersatileDisk，数字多功能盘)这样的可移动存储介质。通信接口14是用于和外部的装置进行通信的接口。作为具体示例，通信接口14是以太网(Ethernet，注册商标)、USB(UniversalSerialBus，通用串行总线)、HDMI(注册商标，High-DefinitionMultimediaInterface，高清晰度多媒体接口)的端口。另外，通信接口14也可以针对每个所通信的数据分别设置。例如，也可以设置HDMI(注册商标)用于对后述的图像数据进行通信，并设置USB用于对后述的标签信息进行通信。作为功能结构要素，动作确定装置10具备图像取得部21、骨骼提取部22、动作信息登记部23、动作确定部24和输出部25。动作确定装置10的各功能结构要素的功能是通过软件实现的。在存储设备13中，保存有实现动作确定装置10的各功能结构要素的功能的程序。该程序由处理器11读入到存储器12中，并由处理器11执行。由此，实现动作确定装置10的各功能结构要素的功能。另外，存储设备13存储动作信息表格31。在图1中，仅示出一个处理器11。然而，处理器11也可以是多个，多个处理器11也可以联合地执行实现各功能的程序。作为具体示例，动作确定装置10也可以具备CPU和GPU，作为处理器11。在该情况下，也可以如后述那样，关于进行图像处理的骨骼提取部22，通过GPU实现，而关于剩余的图像取得部21、动作信息登记部23、动作确定部24和输出部25，通过CPU实现。＊＊＊动作的说明＊＊＊参照图2至图8说明实施方式1的动作确定装置10的动作。实施方式1的动作确定装置10的动作相当于实施方式1的动作确定方法。另外，实施方式1的动作确定装置10的动作相当于实施方式1的动作确定程序的处理。实施方式1的动作确定装置10的动作包括登记处理和确定处理。参照图2说明实施方式1的登记处理。(步骤S11：图像取得处理)图像取得部21经由通信接口14取得通过拍摄装置41拍摄了正在做对象动作的人42的图像数据和示出对象动作的标签信息的一个以上的组。如图3所示，在实施方式1中，图像数据是通过拍摄装置41从对象者的正面拍摄正在做对象动作的人42的身体整体而取得的。图像取得部21将所取得的图像数据和标签信息的组写入到存储器12中。(步骤S12：骨骼提取处理)骨骼提取部22从存储器12读出在步骤S11中所取得的图像数据。骨骼提取部22从图像数据提取表示人42的姿势的骨骼信息4本文档来自技高网...

【技术保护点】
1.一种动作确定装置，具备：/n图像取得部，取得关于对象者的图像数据；/n骨骼提取部，从通过所述图像取得部取得的所述图像数据，提取对象信息，该对象信息是表示所述对象者的姿势的骨骼信息；以及/n动作确定部，将动作信息示出的动作内容确定为所述对象者正进行的动作内容，所述动作信息是与通过所述骨骼提取部所提取的所述对象信息相似的所述骨骼信息。/n

【技术特征摘要】
【国外来华专利技术】1.一种动作确定装置，具备：
图像取得部，取得关于对象者的图像数据；
骨骼提取部，从通过所述图像取得部取得的所述图像数据，提取对象信息，该对象信息是表示所述对象者的姿势的骨骼信息；以及
动作确定部，将动作信息示出的动作内容确定为所述对象者正进行的动作内容，所述动作信息是与通过所述骨骼提取部所提取的所述对象信息相似的所述骨骼信息。


2.根据权利要求1所述的动作确定装置，其中，
所述骨骼信息示出所述对象者的多个关节的坐标。


3.根据权利要求1所述的动作确定装置，其中，
所述骨骼信息示出所述对象者的多个关节的相对的位置关系。


4.根据权利要求1至3中的任一项所述的动作确定装置，其中，
所述动作确定部从将所述动作信息和示出作业内容的标签信息对应起来存储的存储装置，检索与所述对象信息相似的所述动作信息，将与检索中命中的所述动作信息对应起来的所述标签信息示出的动作内容确定为所述对象者正进行的动作内容。


5.根据权利要求4所述的动作确定装置，其中，
所述动作确定装置还具备：
动作信息登记部，将所述动作信息和示出所述对象动作的所述标签信息对应起来登记在所述存储装置中，所述动作信息是从关于正在做对象动作的人的图像数据所提取的所述骨骼信息。


6.根据权利要求1至3中的任一项所述的动作确定装置，其中，
所述动作确定装置还具备：
学习部，使得将所述动作信息和示出所述对象动作的标签信息的多个组作为学习数据学习，由此生成在输入了所述骨骼信息时确定与所输入的所述骨骼信息相似的所述动作信息并输出与所确定的所述动作信息对应的所述标签信...

【专利技术属性】
技术研发人员：草野胜大，清水尚吾，奥村诚司，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本;JP