本公开涉及车辆用控制数据的生成方法、车辆用控制装置和车辆用控制系统。车辆用控制数据的生成方法是应用于构成为选择多个行驶控制模式中的一个行驶控制模式的车辆的方法，在存储装置中存储有关系规定数据的状态下，由执行装置执行该方法，所述关系规定数据是规定所述车辆的状态与行动变量的关系的数据，所述行动变量是与所述车辆内的电子设备的操作有关的变量。所述方法包括：操作所述电子设备的操作处理；取得检测所述车辆的状态的传感器的检测值的取得处理；给予奖励的奖励计算处理；以及更新所述关系规定数据的更新处理。及更新所述关系规定数据的更新处理。及更新所述关系规定数据的更新处理。
【技术实现步骤摘要】
车辆用控制数据的生成方法、车辆用控制装置和控制系统
[0001]本专利技术涉及车辆用控制数据的生成方法、车辆用控制装置和车辆用控制系统。
技术介绍
[0002]例如日本特开2016-6327中记载了一种控制装置，该控制装置基于将加速踏板的操作量用过滤器进行处理得到的值，操作作为搭载于车辆的内燃机的操作部的节气门。
技术实现思路
[0003]可是，因为上述过滤器需要根据加速踏板的操作量将搭载于车辆的内燃机的节气门的操作量设定为适当的操作量，所以其适配需要熟练者花费许多工时。如此，以往在与车辆的状态相应的车辆内的电子设备的操作量等的适配中，熟练者花费了许多工时。
[0004]本专利技术的第一技术方案涉及的车辆用控制数据的生成方法应用于能够选择多个行驶控制模式中的一个行驶控制模式的车辆，在存储装置中存储有关系规定数据的状态下，由执行装置执行该方法，所述关系规定数据是规定所述车辆的状态与行动变量的关系的数据，所述行动变量是与所述车辆内的电子设备的操作有关的变量。所述方法包括：操作处理，该操作处理操作所述电子设备；取得处理，该取得处理取得构成为检测所述车辆的状态的传感器的检测值；奖励(奖赏)计算处理，该奖励计算处理基于通过所述取得处理所取得的所述检测值，在与所述行驶控制模式有关联的所述车辆的特性满足基准的情况下，与所述车辆的特性不满足所述基准的情况相比，给予较大的奖励；以及更新处理，该更新处理将基于通过所述取得处理所取得的所述检测值的所述车辆的状态、所述电子设备的操作中所使用了的行动变量的值、和与所述操作对应的所述奖励作为向预先确定的更新映射的输入，更新所述关系规定数据。所述执行装置基于所述更新映射，输出以使按照所述关系规定数据来操作所述电子设备的情况下的关于所述奖励的期待收益(回报)增加的方式进行了更新的所述关系规定数据，所述奖励计算处理包括如下处理：在所述选择的行驶控制模式为互不相同的第1行驶控制模式和第2行驶控制模式下，即使在所述车辆的特性满足同一基准的情况下，也给予不同的奖励。
[0005]在上述方法中，通过计算伴随电子设备的操作的奖励，能够掌握通过该操作而获得怎样的奖励。而且，通过基于奖励，根据按照强化学习的更新映射，将关系规定数据更新，从而能够设定车辆的状态与行动变量的关系。因此，能够削减在设定车辆的状态与行动变量的关系时要求熟练者花费的工时。
[0006]另外，在构成为选择多个行驶控制模式中的一个行驶控制模式的车辆中，按各行驶控制模式，对于车辆的状态而言适当的行动变量的值可能不同。于是，在上述方法中，在第1行驶控制模式和第2行驶控制模式下，即使在车辆的特性满足同一基准的情况下也给予不同的奖励，由此，能够按各行驶控制模式，通过强化学习，学习对于车辆的状态而言适当的行动变量的值。
[0007]在所述技术方案中，所述车辆的状态也可以包括加速器操作量的变化，所述奖励
计算处理也可以包括如下处理：在伴随所述加速器操作量的变化的所述车辆的前后方向的加速度满足基准的情况下，与所述加速度不满足所述基准的情况相比，给予较大的奖励，并且，在所述多个行驶控制模式中的第1行驶控制模式和第2行驶控制模式下，即使在所述加速度满足同一基准的情况下，也给予互不相同的奖励。
[0008]因为根据加速器操作量的变化所产生的车辆的前后方向的加速度的大小与车辆的行驶控制模式有很大关系，所以如上述方法那样，根据行驶控制模式，即使在加速度满足同一基准的情况下，也给予互不相同的奖励，由此，能够按各行驶控制模式，通过强化学习，学习对于加速器操作而言适当的行动变量的值。
[0009]在所述技术方案中，所述车辆也可以具备内燃机作为该车辆的推力生成装置，所述电子设备也可以包括所述内燃机的节气门，所述行动变量也可以包括与所述节气门的开度有关的变量。
[0010]例如在根据吸入空气量调整喷射量的内燃机等中，内燃机的转矩(torque)和/或输出根据节气门的开度而大幅变化。因此，通过使用与节气门的开度有关的变量作为相对于加速器操作量的行动变量，能够适当地调整车辆的推进力。
[0011]在所述技术方案中，所述电子设备也可以包括所述内燃机的点火装置，所述行动变量也可以包括与点火正时有关的变量。
[0012]在具备点火装置的内燃机中，能够根据由点火装置操作的点火正时，调整内燃机的转矩。因此，在上述方法中，通过使行动变量包括与点火正时有关的变量，能够根据加速器操作量的变化来适当地调整车辆的推进力。
[0013]在所述技术方案中，所述关系规定数据也可以是规定所述加速器操作量的时间序列数据与所述行动变量的关系的数据。
[0014]在上述方法中，通过规定加速器操作量的时间序列数据与行动变量的关系，例如与规定表示加速器操作量的变化量的一维数据与行动变量的关系的情况相比，能够针对加速器操作量的各种变化细致地调整行动变量的值。
[0015]在所述技术方案中，所述执行装置也可以构成为执行如下处理：基于通过所述更新处理更新了的所述关系规定数据，通过将所述车辆的状态与使所述期待收益最大化的所述行动变量的值一对一地进行关联，生成控制用映射数据，所述控制用映射数据也可以包括作为输入的所述车辆的状态和作为输出的使所述期待收益最大化的所述行动变量的值。
[0016]在上述方法中，基于通过强化学习而学习了的关系规定数据，生成控制用映射数据。因此，通过将该控制用映射数据安装于控制装置，能够简易地基于车辆的状态来设定使期待收益最大化的行动变量的值。
[0017]本专利技术的第二技术方案涉及的车辆用控制装置应用于构成为选择多个行驶控制模式中的一个行驶控制模式的车辆，所述车辆用控制装置具备存储装置以及搭载于所述车辆的执行装置。所述执行装置构成为执行：操作处理，该操作处理操作电子设备；取得处理，该取得处理取得构成为检测所述车辆的状态的传感器的检测值；奖励计算处理，该奖励计算处理基于通过所述取得处理所取得的所述检测值，在与所述行驶控制模式有关联的所述车辆的特性满足基准的情况下，与所述车辆的特性不满足所述基准的情况相比，给予较大的奖励；以及更新处理，该更新处理将基于通过所述取得处理所取得的所述检测值的所述车辆的状态、所述电子设备的操作中所使用了的行动变量的值、和与所述操作对应的所述
奖励作为向预先确定的更新映射的输入，更新关系规定数据。所述执行装置基于所述更新映射，输出以使按照所述关系规定数据来操作所述电子设备的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据，所述奖励计算处理包括如下处理：在所述选择的行驶控制模式为互不相同的第1行驶控制模式和第2行驶控制模式下，即使在所述车辆的特性满足同一基准的情况下，也给予不同的奖励。
[0018]在所述技术方案中，所述操作处理也可以包括如下处理：基于所述关系规定数据，按照与所述车辆的状态相应的行动变量的值，操作所述电子设备，所述取得处理也可以包括如下处理：取得用户选择了所述多个行驶控制模式中的哪个模式的选择结果。
[0019]在上述构成中，基于通过本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种车辆用控制数据的生成方法，是应用于构成为选择多个行驶控制模式中的一个行驶控制模式的车辆的方法，在存储装置中存储有关系规定数据的状态下，由执行装置执行该方法，所述关系规定数据是规定所述车辆的状态与行动变量的关系的数据，所述行动变量是与所述车辆内的电子设备的操作有关的变量，所述方法的特征在于，包括：操作处理，该操作处理操作所述电子设备；取得处理，该取得处理取得构成为检测所述车辆的状态的传感器的检测值；奖励计算处理，该奖励计算处理基于通过所述取得处理所取得的所述检测值，在与所述行驶控制模式有关联的所述车辆的特性满足基准的情况下，与所述车辆的特性不满足所述基准的情况相比，给予较大的奖励；以及更新处理，该更新处理将基于通过所述取得处理所取得的所述检测值的所述车辆的状态、所述电子设备的操作中所使用了的行动变量的值、和与所述操作对应的所述奖励作为向预先确定的更新映射的输入，更新所述关系规定数据，所述执行装置基于所述更新映射，输出以使按照所述关系规定数据来操作所述电子设备的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据，所述奖励计算处理包括如下处理：在所述选择的行驶控制模式为互不相同的第1行驶控制模式和第2行驶控制模式下，即使在所述车辆的特性满足同一基准的情况下，也给予不同的奖励。2.根据权利要求1所述的车辆用控制数据的生成方法，其中，所述车辆的状态包括加速器操作量的变化，所述奖励计算处理包括如下处理：在伴随所述加速器操作量的变化的所述车辆的前后方向的加速度满足基准的情况下，与所述加速度不满足所述基准的情况相比，给予较大的奖励，并且，在所述多个行驶控制模式中的第1行驶控制模式和第2行驶控制模式下，即使在所述加速度满足同一基准的情况下，也给予互不相同的奖励。3.根据权利要求2所述的车辆用控制数据的生成方法，其特征在于，所述车辆具备内燃机作为该车辆的推力生成装置，所述电子设备包括所述内燃机的节气门，所述行动变量包括与所述节气门的开度有关的变量。4.根据权利要求3所述的车辆用控制数据的生成方法，其特征在于，所述电子设备包括所述内燃机的点火装置，所述行动变量包括与点火正时有关的变量。5.根据权利要求2至4中任一项所述的车辆用控制数据的生成方法，其特征在于，所述关系规定数据是规定所述加速器操作量的时间序列数据与所述行动变量的关系的数据。6.根据权利要求1至5中任一项所述的车辆用控制数据的生成方法，其特征在于，所述执行装置构成为执行如下处理：基于通过所述更新处理更新了的所述关系规定数据，通过将所述车辆的状态与使所述期待收益最大化的所述行动变量的值一对一地进行关联，生成控制用映射数据，所述控制用映射数据包括作为输入的所述车辆的状态和作为输出的使所述期待收益最大化的所述行动变量的值。
7.一种车辆用控制装置，其应用于构成为选择多个行驶控制模式中的一个...
【专利技术属性】
技术研发人员：桥本洋介，片山章弘，大城裕太，杉江和纪，冈尚哉，
申请(专利权)人：丰田自动车株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。