机械学习方法及其装置、电动机控制装置以及电动机装置制造方法及图纸

本发明专利技术涉及机械学习方法及其装置、电动机控制装置以及电动机装置。能够学习对抑制噪音最佳的地线或屏蔽线的连接位置的机械学习装置。学习在电动机装置中使用的地线或屏蔽线的连接位置的机械学习装置具备状态观测部以及学习部。状态观测部将地线或屏蔽线的连接位置以及来自电动机的反馈信号观测为状态变量。学习部按照根据状态变量而生成的训练数据集，学习能够抑制反馈信号中包括的噪音的地线或屏蔽线的连接位置。

【技术实现步骤摘要】

本专利技术涉及学习地线或屏蔽线的连接位置的机械学习方法以及机械学习装置、具备该机械学习装置的电动机控制装置以及电动机装置。
技术介绍
电动机装置具备为了确保接地电位而与电动机的外壳连接的地线、具备噪音降低用的屏蔽且同样与电动机的外壳连接的屏蔽线。日本特开2004-206962号公报、日本特开2004-248371号公报以及日本特开2004-098174号公报中公开一种用于抑制噪音产生的各种配线结构。
技术实现思路
地线或屏蔽线的连接位置大多依存于熟练者的知识和专业技巧的累积，不一定限于选择对抑制噪音最佳的连接位置。另外，随着控制方法的复杂化、高度化，同时使用多个控制系统的机会也增大，噪音产生的机理也复杂化。因此谋求一种能够决定对抑制噪音最佳的地线或屏蔽线的连接位置的技术。在本专利技术的优选实施方式中，提供一种学习在电动机装置中使用的地线或屏蔽线的连接位置的机械学习装置，具备：状态观测部，其将上述地线或屏蔽线的连接位置以及来自电动机的反馈信号观测为状态变量；以及学习部，其按照根据上述状态变量生成的训练数据集，学习抑制上述反馈信号中包括的噪音的上述地线或屏蔽线的连接位置。在本专利技术的优选实施方式中，提供一种电动机控制装置，具备：上述机械学习装置；连接部，其将上述地线或屏蔽线与上述连接位置连接；信号取得部，其取得上述反馈信号；以及意图决定部，其根据上述学习部学习的结果，决定上述地线或屏蔽线的连接位置。在本专利技术的优选实施方式中，在上述电动机控制装置中，上述学习部具备：回报计算部，其根据上述反馈信号中包括的噪音来计算回报；以及函数更新部，其根据上述回报来更新用于决定上述地线或屏蔽线的上述连接位置的函数。在本专利技术的优选实施方式中，在上述电动机控制装置中，上述回报计算部构成为，当上述噪音比预先决定的阈值小时增大回报，在是上述阈值以上时降低回报。在本专利技术的优选实施方式中，在上述电动机控制装置中，上述函数更新部构成为，按照上述回报更新行为价值表。在本专利技术的优选实施方式中，提供一种电动机装置，其具备上述电动机控制装置、通过上述电动机控制装置控制的电动机、输出上述反馈信号的编码器。在本专利技术的优选实施方式中，提供一种学习在电动机装置中使用的地线或屏蔽线的连接位置的机械学习方法，包括以下步骤：将上述地线或屏蔽线的连接位置以及来自电动机的反馈信号观测为状态变量；按照根据上述状态变量生成的训练数据集，学习抑制上述反馈信号中包括的噪音的上述地线或屏蔽线的连接位置。附图说明通过参照附图所示的本专利技术例示的实施方式的详细说明，能够更加明确这些以及其他的本专利技术的目的、特征以及优点。图1是一个实施方式的电动机装置的框图。图2是表示一个实施方式的机械学习流程的流程图。图3是表示神经网络的结构例的图。具体实施方式以下，参照附图说明本专利技术的实施方式。为了帮助理解本专利技术，图示的实施方式的结构要素的尺寸被进行了适当变更。另外，对于相同或对应的结构要素使用相同的参照标记。图1是一个实施方式的电动机装置的框图。电动机装置1具有学习地线或屏蔽线的连接位置的机械学习功能。在本说明书中，“地线”是为了将电动机2接地而与电动机2的外壳连接的导线。“屏蔽线”是由用于降低噪音的屏蔽线进行包围的导线。屏蔽线也可以包括动力电缆或从编码器21的输出信号线。电动机装置1具备电动机2、控制电动机2的电动机控制装置3、学习地线或屏蔽线的连接位置的机械学习装置4。电动机2响应按照由电动机控制装置3生成的转矩指令而提供的电力来进行驱动。电动机2具备检测电动机2的旋转位置的编码器21。从编码器21输出的反馈信号经由输出信号线12(以下有时称为“屏蔽线12”)被输入给电动机控制装置3。电动机2除了与屏蔽线12连接，还连接用于提供电力的动力线13(以下有时会称为“屏蔽线13”)。另外，电动机2还与将电动机2进行接地的地线11连接。电动机控制装置3是具备CPU、ROM、RAM、非易失性存储器以及与外部装置连接的接口的数字计算机。电动机控制装置3如图1所示，具备连接部31、信号取得部32和意图决定部33。连接部31将地线11或屏蔽线12、13与希望的连接位置连接。在一个实施方式中，连接部31可以构成为能够通过晶体管等开关元件来变更连接位置。在其他的实施方式中，连接部31可以构成为，经由操作员的作业执行连接工序。此时，连接部31在与电动机控制装置3连接的显示设备上显示地线11或屏蔽线12、13的连接位置。操作员参照所显示的信息来执行连接作业。另外，在另外的实施方式中，连接部31可以构成为，使用外部装置例如机器人来执行连接工序。信号取得部32从编码器21取得表示电动机2的位置信息的反馈信号。信号取得部32将取得的反馈信号输出给状态观测部41。意图决定部33根据机械学习装置4学习的结果来决定地线11或屏蔽线12、13的连接位置。如果再次参照图1，则机械学习装置4具备状态观测部41和学习部42。机械学习装置4可以内置在电动机控制装置3中，也可以是与电动机控制装置3不同的另外的数字计算机。或者，机械学习装置4也可以存在云服务器中。状态观测部41将地线11或屏蔽线12、13的连接位置以及来自电动机2的反馈信号观测为状态变量。学习部42按照根据状态变量生成的训练数据集，学习能够抑制反馈信号中包括的噪音的地线11或屏蔽线12、13的连接位置。在一个实施方式中，学习部42按照强化学习的概念来学习地线11或屏蔽线12、13的连接位置和噪音产生之间的关系性。本实施方式的机械学习装置4根据公知的Q学习的方法来执行强化学习。机械学习装置4根据求出在某个状态变量s时选择了行为a时的行为价值Q(期待值)的行为价值函数Q(s、a)，学习最优的行为。在学习的初始阶段，针对某个状态变量s和行为a的组合而分配的行为价值Q是未知的。机械学习装置4针对各种状态变量s随机地选择并执行行为a，通过累计作为行为a的结果而赋予的回报来更新行为价值函数Q(s、a)。通过公式1表示更新行为价值函数Q(s、a)的一般式。这里，st是时刻t的状态变量。at是在时刻t执行的行为。st+1是时刻t+1的状态变量，换言之，是作为进行了行为at后的结果而发生了变化后的状态变量。rt+1是根据作为行为at的结果而变化的环境而被赋予的回报。[max]的项表示状态变量st+1的行为价值Q的最大值(即，针对最优行为a的行为价值)。γ是折扣率，设定为满足0<γ≤1(例如，γ＝0.9～0.99)。α是学习系数，设定为满足0<α≤1(例如，α＝0.05～0.2)。通过公式1表示的更新式，如果时刻t+1的最优行为a的行为价值比在时刻t执行的行为a的行为价值Q大，则增大行为价值Q，相反的情况下，则缩小行为价值Q。换言之，更新行为价值函数Q(s、a)，使得时刻t的行为a的行为价值Q接近时刻t+1的最优的行为价值。这样，某个环境的最优的行为价值向之前的环境的行为价值依次进行传播。如果再次参照图1，则学习部42还具备回报计算部43、函数更新部44。回报计算部43根据来自编码器21的反馈信号中包括的噪音来计算回报r。例如，当噪音的级别比预定阈值小时增大回报r(例如赋予“1”的回报)。另一方面，当噪音的级别是预定阈值以上时降低回报r(例如赋予“-1”的回报)。按照公知的方本文档来自技高网...

【技术保护点】
一种机械学习装置，学习在电动机装置中使用的地线或屏蔽线的连接位置，其特征在于，该机械学习装置具备：状态观测部，其将上述地线或屏蔽线的连接位置以及来自电动机的反馈信号观测为状态变量；以及学习部，其按照根据上述状态变量生成的训练数据集，学习抑制上述反馈信号中包括的噪音的上述地线或屏蔽线的连接位置。

【技术特征摘要】
2015.07.31 JP 2015-1518621.一种机械学习装置，学习在电动机装置中使用的地线或屏蔽线的连接位置，其特征在于，该机械学习装置具备：状态观测部，其将上述地线或屏蔽线的连接位置以及来自电动机的反馈信号观测为状态变量；以及学习部，其按照根据上述状态变量生成的训练数据集，学习抑制上述反馈信号中包括的噪音的上述地线或屏蔽线的连接位置。2.一种电动机控制装置，其特征在于，该电动机控制装置具备：权利要求1所述的机械学习装置；连接部，其将上述地线或屏蔽线与上述连接位置连接；信号取得部，其取得上述反馈信号；以及意图决定部，其根据上述学习部学习的结果，决定上述地线或屏蔽线的连接位置。3.根据权利要求2所述的电动机控制装置，其特征在于，上述学习部具备：回报计算部，其根据上述反馈信号中包括的噪音来计算回报；以及函...

【专利技术属性】
技术研发人员：西冈辉，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：日本;JP