本发明专利技术公开车辆用控制装置、车辆用控制系统以及车辆用学习装置。车辆用控制装置具备：存储装置，存储作为用于规定车辆的状态与行动变量的关系的数据的关系规定数据；以及执行装置，构成为如下：获取所述状态，根据所述行动变量的值来操作驱动系统装置，在基于所述状态的所述驱动系统装置的状态满足预定的基准的情况下以变大的方式计算报酬，使用更新映射来进行所述关系规定数据的更新，在所述驱动系统装置的驱动受到预定的制约的情况下，以使所述关系规定数据的更新量变小的方式，限制所述关系规定数据的更新。规定数据的更新。规定数据的更新。
【技术实现步骤摘要】
车辆用控制装置、车辆用控制系统以及车辆用学习装置
[0001]本专利技术涉及车辆用控制装置、车辆用控制系统以及车辆用学习装置。
技术介绍
[0002]例如在下述日本特开2000
‑
250602中，记载有通过强化学习来决定与车辆的状态相应的适当的变速比。
技术实现思路
[0003]然而，在对调整上述变速比的变速装置的驱动存在制约的情况下，当反复进行强化学习时，学习结果有可能会从对变速装置的驱动没有制约的情况下的适当的值大幅偏离。这样的情形不限于在变速装置中产生，可能在驱动系统装置中产生。
[0004]本专利技术的第一方式提供一种车辆用控制装置，具备：存储装置，存储关系规定数据，该关系规定数据是用于规定车辆的状态与作为与搭载于所述车辆的驱动系统装置的操作有关的变量的行动变量的关系的数据；以及执行装置，构成为如下：根据车载传感器的检测值来获取所述状态，基于根据被所述执行装置获取到的所述状态和所述关系规定数据确定的所述行动变量的值，操作所述驱动系统装置，以在基于被所述执行装置获取到的所述状态的所述驱动系统装置的状态满足预定的基准的情况下比基于被所述执行装置获取到的所述状态的所述驱动系统装置的状态不满足预定的基准的情况大的方式计算报酬，使用预先决定的更新映射来进行所述关系规定数据的更新，该预先决定的更新映射将被所述执行装置获取到的所述状态、在所述驱动系统装置的操作中利用的所述行动变量的值以及与所述操作对应的所述报酬作为自变量，返回以使在依照所述关系规定数据操作所述驱动系统装置的情况下计算的关于所述报酬的期待收益增加的方式更新后的所述关系规定数据，在所述驱动系统装置的驱动受到预定的制约的情况下，以使所述关系规定数据的更新量比所述驱动系统装置的驱动不受到所述预定的制约的情况小的方式，限制所述关系规定数据的更新。
[0005]根据上述方式，在对驱动系统装置的驱动存在制约的情况下，以使更新量变小的方式限制更新处理的执行。因此，能够抑制由于在对驱动系统装置的驱动存在制约的情况下关系规定数据被更新而大幅变化的情形。因而，在上述结构中，能够抑制基于强化学习的学习结果大幅偏离在通常时操作驱动系统装置时的适当的值。
[0006]在上述方式中，所述执行装置也可以构成为判定在所述驱动系统装置中是否存在异常，也可以在所述执行装置判定为在所述驱动系统装置中存在异常的情况下，所述驱动系统装置的驱动受到所述预定的制约。
[0007]当在驱动系统装置存在异常的情况下进行强化学习时，基于强化学习的学习结果有可能会大幅偏离驱动系统装置的正常时的适当的值。根据上述方式，在被判定为存在异常的情况下限制更新处理的执行。由此，能够抑制基于强化学习的学习结果大幅偏离在通常时操作驱动系统装置时的适当的值。
[0008]在上述方式中，所述驱动系统装置也可以包括变速装置，也可以在所述变速装置的工作油的温度为高温阈值以上的情况下，所述驱动系统装置的驱动受到所述预定的制约。
[0009]当在工作油的温度过高的情况下执行强化学习时，基于强化学习的学习结果有可能会大幅偏离在通常时的温度区域操作驱动系统装置时的适当的值。根据上述结构，在工作油的温度为高温侧阈值以上的情况下限制更新处理的执行，从而能够抑制基于强化学习的学习结果大幅偏离在工作油的温度为通常时的温度区域中适当的值。
[0010]在上述方式中，所述驱动系统装置也可以包括变速装置，也可以在所述变速装置的工作油的温度为低温阈值以下的情况下，所述驱动系统装置的驱动受到所述预定的制约。
[0011]当在工作油的温度过低的情况下执行强化学习时，基于强化学习的学习结果有可能会大幅偏离在通常时的温度区域操作驱动系统装置时的适当的值。根据上述结构，在工作油的温度为低温侧阈值以下的情况下限制更新处理的执行，从而能够抑制基于强化学习的学习结果大幅偏离在工作油的温度为通常时的温度区域中适当的值。
[0012]在上述方式中，在所述驱动系统装置的驱动受到所述预定的制约的情况下，所述更新量也可以是零。
[0013]根据上述结构，通过限制处理将更新量设为零，从而与将更新量减少但不设为零的情况相比，能够充分地抑制关系规定数据偏离通常时的适当的数据。
[0014]本专利技术的第二方式提供一种车辆用控制系统，具备：存储装置，存储关系规定数据，该关系规定数据是用于规定车辆的状态与作为与搭载于所述车辆的驱动系统装置的操作有关的变量的行动变量的关系的数据；以及执行装置，包括搭载于所述车辆的第1执行装置和与车载装置不同的第2执行装置，其中，所述第1执行装置构成为根据车载传感器的检测值来获取所述状态，基于根据被所述第1执行装置获取到的所述状态和所述关系规定数据确定的所述行动变量的值，操作所述驱动系统装置，所述第1执行装置和所述第2执行装置中的至少一方构成为以在基于被所述第1执行装置获取到的所述状态的所述驱动系统装置的状态满足预定的基准的情况下比基于被所述第1执行装置获取到的所述状态的所述驱动系统装置的状态不满足预定的基准的情况大的方式计算报酬，所述第2执行装置构成为使用预先决定的更新映射来进行所述关系规定数据的更新，该预先决定的更新映射将被所述第1执行装置获取到的所述状态、在所述驱动系统装置的操作中利用的所述行动变量的值以及与所述操作对应的所述报酬作为自变量，返回以使在依照所述关系规定数据操作所述驱动系统装置的情况下计算的关于所述报酬的期待收益增加的方式更新后的所述关系规定数据，所述第1执行装置和所述第2执行装置中的至少一方进而构成为在所述驱动系统装置的驱动受到预定的制约的情况下，以使所述关系规定数据的更新量比所述驱动系统装置的驱动不受到所述预定的制约的情况小的方式，限制所述关系规定数据的更新。
[0015]根据上述结构，第2执行装置执行更新处理，所以与第1执行装置执行更新处理的情况相比，能够减轻第1执行装置的运算负荷。此外，第2执行装置是与车载装置不同的装置意味着第2执行装置不是车载装置。
[0016]本专利技术的第三方式提供一种车辆用控制装置，具备所述第二方式的车辆用控制系统中的所述第1执行装置。
[0017]本专利技术的第四方式提供一种车辆用学习装置，具备所述第二方式的车辆用控制系统中的所述第2执行装置。
附图说明
[0018]下面将参照附图，说明本专利技术的示例性实施例的特征、优点以及技术和工业上的意义，其中相同的符号表示相同的元件，其中：
[0019]图1是示出第1实施方式的控制装置以及驱动系统的图。
[0020]图2是示出该实施方式的控制装置执行的处理的次序的流程图。
[0021]图3是示出该实施方式的控制装置执行的处理的一部分的详细的次序的流程图。
[0022]图4是示出该实施方式的控制装置执行的处理的次序的流程图。
[0023]图5是示出第2实施方式的控制装置执行的处理的次序的流程图。
[0024]图6是示出该实施方式的控制装置执行的处理的一部分的详细的次序的流程图。
[0025]图7是示出第3实施本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种车辆用控制装置，其特征在于，具备：存储装置，存储关系规定数据，该关系规定数据是用于规定车辆的状态与行动变量的关系的数据，所述行动变量是与搭载于所述车辆的驱动系统装置的操作有关的变量；以及执行装置，构成为如下：根据车载传感器的检测值来获取所述状态，基于根据被所述执行装置获取到的所述状态和所述关系规定数据确定的所述行动变量的值，操作所述驱动系统装置，以在基于被所述执行装置获取到的所述状态的所述驱动系统装置的状态满足预定的基准的情况下比基于被所述执行装置获取到的所述状态的所述驱动系统装置的状态不满足预定的基准的情况大的方式计算报酬，使用预先决定的更新映射来进行所述关系规定数据的更新，该预先决定的更新映射将被所述执行装置获取到的所述状态、在所述驱动系统装置的操作中利用的所述行动变量的值以及与所述操作对应的所述报酬作为自变量，返回以使在依照所述关系规定数据操作所述驱动系统装置的情况下计算的关于所述报酬的期待收益增加的方式更新后的所述关系规定数据，并且，在所述驱动系统装置的驱动受到预定的制约的情况下，以使所述关系规定数据的更新量比所述驱动系统装置的驱动不受到所述预定的制约的情况小的方式，限制所述关系规定数据的更新。2.根据权利要求1所述的车辆用控制装置，其特征在于，所述执行装置构成为判定在所述驱动系统装置中是否存在异常，在所述执行装置判定为在所述驱动系统装置中存在异常的情况下，所述驱动系统装置的驱动受到所述预定的制约。3.根据权利要求1或者2所述的车辆用控制装置，其特征在于，所述驱动系统装置包括变速装置，在所述变速装置的工作油的温度为高温阈值以上的情况下，所述驱动系统装置的驱动受到所述预定的制约。4.根据权利要求1～3中的任意一项所述的车辆用控制装置，其特征在于，所述驱动系统装置包括变速装置，在所述变速装置的工作油的温度为低温阈值以下的情况下，所述驱动系统装置的驱动受到所述预定的制约。5.根据权利...
【专利技术属性】
技术研发人员：樗泽英明，田端淳，奥田弘一，今村健，藤井广太，佐佐木启太，
申请(专利权)人：丰田自动车株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。