人类数据驱动的可解释人工智能系统和方法技术方案

一种自主车辆和操作机器的系统和方法。该系统包括处理器。生成与机器的机器行为相关的解释的集合。该处理器生成模型，该模型将对响应于场景而采取的行为的解释与当该解释被呈现给人类时人类具有的对该行为中的信任水平相关，该解释是从该解释的集合中选择的。该处理器响应于场景执行车辆系统的行为，在采取行为时使用模型来选择解释，并将解释呈现给人类。类。类。

【技术实现步骤摘要】
人类数据驱动的可解释人工智能系统和方法


[0001]本主题公开涉及与人类交互的人工智能系统，并且具体地涉及用于向人工智能系统的人类终端用户呈现由人工智能系统采取的动作的解释以增加人类终端用户对动作的信任水平的系统和方法。

技术介绍

[0002]自动化机器可以在与人类交互时使用人工智能。人类可以观察到自动化机器所采取的动作或机器行为，并且因此对所采取的动作或机器行为产生信任或不信任。在一个实施例中，自动化机器包括半自主或全自主车辆，其包括用于通过选择和执行适合于交通场景的操纵来导航通过交通场景的系统。人类可以是车辆中观察操纵的驾驶员或乘客。当从乘客的角度来看操纵是意料之外的时，乘客可能会产生一定程度的焦虑或不安。如果没有解决或减轻这种焦虑，则驾驶员可以决定在行程的剩余时间内接管对自主车辆的控制，不继续乘坐，或者甚至避免在未来行程中使用自主车辆。因此，期望能够与乘客通信，以便减少不安水平并增加乘客对车辆操纵的信任水平。

技术实现思路

[0003]在一个示例性实施例中，公开了一种操作机器的方法。生成与机器的机器行为相关的解释的集合。生成模型，该模型将对由机器响应于场景而采取的机器行为的解释与当该解释被呈现给人类时人类具有的对机器行为的信任水平相关联，该解释是从该解释的集合中选择的。响应于场景执行机器行为。当机器采取机器行为时，使用模型选择解释。将解释呈现给人类。
[0004]除了本文描述的一个或多个特征之外，生成模型还包括向测试对象示出场景、机器行为和解释，并且基于解释来记录由测试对象针对机器行为注册的信任水平。该模型是针对人类的人口统计定制的和针对场景定制的中的至少一个。在一个实施例中，机器是车辆，场景是交通场景，并且机器行为动作是针对交通场景的车辆操纵。在一个实施例中，模型包括测试对象的信任水平，并且选择生成来自测试对象的对于信任水平的最大响应的解释。在一个实施例中，模型包括解释在信任水平增加方面的有效性，该信任水平增加发生在没有解释的情况下向测试对象第一示出机器行为与在具有解释的情况下向测试对象第二示出机器行为之间。在一个实施例中，该方法包括选择解释的子集以呈现给人类，其中，该子集是使用以下中的至少一个来选择的：相对于对该子集的基数的约束来优化互信息度量，以及优化平衡基数与信息之间的折衷的互信息度量。
[0005]在另一示例性实施例中，公开了一种系统。该系统包括处理器。处理器被配置为生成与系统的行为相关的解释的集合，生成模型，该模型将对响应于场景而采取的行为的解释与当解释被呈现给人类时人类具有的对行为的信任水平相关联，该解释是从该解释的集合中选择的，响应于场景执行行为，当采取行为时，使用模型选择解释，以及将解释呈现给人类。
[0006]除了本文描述的一个或多个特征之外，处理器还被配置为通过向测试对象示出场景、行为和解释并且基于解释来记录由测试对象针对行为注册的信任水平来生成模型。处理器还被配置为执行针对人类的人口统计定制模型和针对场景定制模型中的至少一个。在一个实施例中，模型包括测试对象的信任水平的记录，并且选择生成来自测试对象的对于信任水平的最大响应的解释。在一个实施例中，该模型包括解释在信任水平增加方面的有效性，该信任水平增加发生在没有解释的情况下向测试对象第一示出机器行为与在具有解释的情况下向测试对象第二示出机器行为之间。在一个实施例中，该处理器还被配置为通过执行以下中的至少一个来选择解释的子集以呈现给人类：相对于对子集的基数的约束来优化互信息度量，以及优化平衡基数与信息之间的折衷的互信息度量。
[0007]在又一示例性实施例中，公开了一种自主车辆。自主车辆包括处理器。处理器被配置为生成与自主车辆的行为相关的解释的集合，生成模型，该模型将对自主车辆响应于交通场景而采取的操纵的解释与当解释被呈现给人类时人类在自主车辆中具有的信任水平相关联，该解释是从该解释的集合中选择的，响应于交通场景在自主车辆处执行操纵，当自主车辆执行操纵时，使用模型选择对操纵的解释，并将解释呈现给人类。
[0008]除了本文描述的一个或多个特征之外，处理器还被配置为通过向测试对象示出交通场景、操纵和解释并且基于解释来记录由测试对象针对操纵注册的信任水平来生成模型。处理器还被配置为执行针对人类的人口统计定制模型和针对场景定制模型中的至少一个。在一个实施例中，该模型包括测试对象的信任水平的记录，并且选择从测试对象生成对于信任水平的最大响应的解释。在一个实施例中，该模型包括解释在信任水平增加方面的有效性，该信任水平增加发生在没有解释的情况下向测试对象第一示出机器行为与在具有解释的情况下向测试对象第二示出机器行为之间。在一个实施例中，该处理器还被配置为通过执行以下中的至少一个来选择解释的子集以呈现给人类：(i)相对于对子集的基数的约束来优化互信息度量；以及(ii)优化平衡基数和信息之间的折衷的互信息度量。在一个实施例中，该处理器被配置为在离线模式下使用交通场景的模拟来生成模型，并且在在线模式下响应于交通场景的实时发生而选择偏好的解释。
[0009]当结合附图时，根据以下详细说明书，本公开的上述特征和优点以及其他特征和优点是显而易见的。
附图说明
[0010]其他特征、优点和细节仅通过示例的方式出现在以下详细说明书中，详细描述参考附图，其中：
[0011]图1是表示自主机器执行由人类委托的动作的操作的示意图；
[0012]图2示出了自主车辆；
[0013]图3是用于操作自主机器以生成对由机器响应于场景而采取的机器动作的解释以便增加人类对所提出的动作的信任的方法的示意图；
[0014]图4示出了用于向用户提供对机器动作的最佳或偏好的解释的方法的流程图；
[0015]图5示出了为所选择的交通场景创建的影片的快照；以及
[0016]图6示出了图示出呈现第二实施方式的各种解释的效果的曲线图。
具体实施方式
[0017]以下描述本质上仅是示例性的，并不意图限制本公开、其应用或用途。应当理解，在整个附图中，相应的附图标记表示相同或相应的部件和特征。
[0018]根据示例性实施例，图1是表示自主机器102(或自主系统)执行由人104委托的动作的操作的示意图100。自主机器102观察场景106并响应于该场景执行机器动作108。机器动作108在本文中也被称为机器行为。机器使用人工智能(AI)、机器语言编程、神经网络或用于响应于场景来确定机器动作的其他方法。机器动作108可以辅助人104的动作，或者可以用于代替人类的动作。人104通常还观察场景106，并且得出关于响应于场景而要采取的预期动作的结论。当人104观察场景106和机器动作108两者时，机器动作与预期动作匹配的程度导致人104针对自主机器102的操作具有的信任水平110。相反，机器动作108与预期动作不匹配的程度导致人104在自主机器102的操作中具有的不信任水平。
[0019]在一个实施例中，自主机器102向人104提供其机器动作108的解释112，以便增加人在机器的操作中具有的信任水本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种操作机器的方法，包括：生成与所述机器的机器行为相关的解释的集合；生成模型，所述模型将对由所述机器响应于场景而采取的所述机器行为的解释与当所述解释被呈现给人类时所述人类具有的对所述机器行为的信任水平相关，所述解释是从所述解释的集合中选择的；响应于所述场景，执行所述机器行为；当所述机器采取所述机器行为时，使用所述模型来选择所述解释；以及将所述解释呈现给所述人类。2.根据权利要求1所述的方法，其中，所述模型是以下中的至少一个：(i)针对所述人类的人口统计定制的；以及(ii)针对所述场景定制的。3.根据权利要求1所述的方法，其中，所述模型包括测试对象的信任水平，并且选择生成来自所述测试对象的对于所述信任水平的最大响应的解释。4.根据权利要求1所述的方法，其中，所述模型包括所述解释在信任水平增加方面的有效性，所述信任水平增加发生在没有所述解释的情况下向测试对象第一示出所述机器行为与在具有所述解释的情况下向所述测试对象第二示出所述机器行为之间。5.根据权利要求1所述的方法，还包括选择解释的子集以呈现给所述人类，其中，使用以下中的至少一个来选择所述子集：(i)相对于对所述子集的基数的约束来优化互信息度量；以及(ii)优化平衡所述基数和信息之间的折衷的所述互信息度量。6....

【专利技术属性】
技术研发人员：C戈德曼申哈尔，R巴斯廷，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：