利用外部驾驶员数据增强移动设备操作制造技术

自主车辆是未来驾驶的一个令人兴奋的前景。然而，人们对由控制车辆的AI所做出的决策感到担忧，特别是在备受瞩目的事故中。我们可以通过引入远程观看者(例如，人类)对车辆周围可能的复杂环境(包括对车辆的潜在威胁)的反应来减轻某些担忧、引入更好的决策、并且还训练AI以做出更好的决策。一个或多个远程观看者可以提供对威胁的推荐的响应，该推荐的响应可能全部或部分包含在车辆的反应中。提出了使远程观看者参与并利用远程观看者以改善接收有用推荐的可能性的各种方式，包括修改如何将环境呈现给远程观看者以最适合远程观看者的方式，例如，可能呈现游戏中的威胁。

【技术实现步骤摘要】
利用外部驾驶员数据增强移动设备操作
本专利技术涉及自主和/或半自主设备移动，并且更具体地涉及通过利用远程驾驶员输入意见增强和/或代替本地决策来辅助设备移动。
技术介绍
和
在过去的几年中，对汽车操作的自动化进行了大量研究，诸如提供被设计成用于在几乎没有甚至没有乘客辅助的情况下自动地驾驶带乘客到处走的自主车辆。将理解的是，这是一个发展中的
并且许多不同的组织正在寻求使此类车辆的操作标准化。例如，汽车工程师协会(SAE)——一个具有全球影响力的组织在SAE国际标准J3016中定义了驾驶自动化的级别。参见，例如，互联网统一资源定位符(URL)www.sae.org/misc/pdfs/automated_driving.pdf。SAE系统很好地概述了某些类型的自主车辆，其中5个自动化级别中的最后三个(级别3至级别5)对应于人们可能认为的代乘客驾驶的车辆。为了响应不断发展的技术，各种立法实体寻求建立有关自主车辆操作的法规。例如，参见国家立法机关全国性会议(NCSL)互联网网站，该网站寻求跟踪对自主车辆的立法响应。NCSL指出：“自主车辆似乎已准备好改变和破坏美国交通系统的许多基本的、长期的基础要素”。随着自主车辆的技术的不断发展，各州政府开始辩论并解决这些车辆的潜在益处和影响。参见互联网URL：www.ncsl.org/research/transportation/autonomous-vehicles-legislative-database.aspx。如今，自动驾驶车辆依靠安装在汽车中的雷达、激光雷达(光检测和测距)、相机和其他传感器来检测其环境和可能的危险情况。传感器通常比人眼更精确、更快地检测问题/危险。数字化传感器细节可由(多个)车载计算机处理，以建立汽车周围环境的模型。处理环境，诸如承担解释传感器的细节的人工智能，可能够检测环境中的故障并调整汽车的行程，以选择最佳的前进路线，并相应地操作汽车。将理解的是，在自主的同时，可以期望自主车辆结合智慧环境(诸如“智慧城市”交通控制)一起操作来辅助自主车辆。一个示例性测试环境是密歇根大学32英亩的移动交通转型中心(移动城市)。例如，参见互联网URL：mcity.umich.edu/our-work/mcity-test-facility。诸如此类的技术可以为在其中操作的自主车辆提供安全的环境。但是，尽管技术发展和立法工作的大部分涉及创造安全的汽车和监管环境以促进持续发展，但一个有趣的问题仍然存在：我们对自主车辆作出的决策有多大信心，以及我们如何辅助决策？附图说明通过下列结合附图的详细描述，将容易地理解实施例。为了便于该描述，相同的附图标记指示相同的结构元件。在所附附图的各图中，通过示例的方式而非通过限制的方式来图示实施例。图1图示了示出对移动设备(诸如车辆104)的操作具有各种潜在威胁的交叉路口102的示例性环境100。图2图示了图示骑行者202正进入交叉路口的示例性环境200。图3图示了示例性流程图300。图4图示了图示选择可用的远程观看者的示例性流程图400。图5图示了根据各实施例的示例性神经网络。图6图示了根据各实施例的移动设备AI和/或控制软件的示例性软件组件600视图。图7图示了用于确定要发送给远程观看者的优选构造格式的示例性训练系统700。图8图示了根据各实施例的用于结合和使用本公开的远程观看者推荐技术的环境800的概览。图9是根据各实施例的可以适用于实践本公开的示例计算平台。图10图示了示例计算机可读非暂态存储介质。具体实施方式在以下具体实施方式中，参考形成其一部分的所附附图，其中，贯穿所附附图相同的数字指示相同的部件，并且在所附附图中，通过说明方式示出可实施的实施例。应理解，可利用其他实施例，并且可作出结构或逻辑的改变而不背离本公开的范围。因此，以下详细描述不应以限制的意义来理解，并且实施例的范围由所附权利要求及其等效方案来限定。可以构想本公开的替代实施例及其等效方案而不背离本公开的精神或范围。应当注意，下文所公开的相同的要素由附图中相同的附图标记指示。可以按在理解要求保护的主题时最有帮助的方式将各操作描述为依次的多个分立动作或操作。然而，不应将描述的次序解释为暗示这些操作必然依赖于次序。具体而言，不必按照呈现的次序来执行这些操作。能以不同于所描述的实施例的次序执行所描述的操作。在附加的实施例中，可以执行各种附加操作和/或可以省略所描述的操作。出于本公开的目的，短语“A和/或B”意指(A)、(B)或(A和B)。出于本公开的目的，短语“A、B和/或C”意思是(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。说明书可使用短语“在实施例中”或“在多个实施例中”，其可各自指代相同或不同实施例中的一个或多个。此外，相对于本公开的实施例所使用的术语“包含”、“包括”、“具有”等被认为是同义的。如本文中所使用的，术语“半自主驾驶”和“计算机辅助驾驶”同义。术语不意味着正好有50％的驾驶功能是自动化的。自动驾驶功能的百分比可能在0％与100％之间变化。另外，将理解的是，实现半自主驾驶的硬件、电路和/或软件可以(诸如响应于紧急情况，即使当人正在驾驶时)暂时不提供自动化或100％自动化。术语“CA”是指计算机辅助。术语“AD”是指自主驾驶车辆。术语“SAD”是指半自主车辆。并且术语“ADAS”是指通常结合AD/SAD系统一起工作以提供自动的安防特征和安全特征(诸如碰撞检测和碰撞避免)的高级驾驶辅助系统。车辆可以检测其环境并且人工智能(AI)可以基于检测到的内容来调整汽车的操作。在本文中对AI的各种讨论中，假定熟悉AI、神经网络(诸如，前馈神经网络(FNN)、卷积神经网络(CNN))、深度学习并且建立AI、模型及其操作。参见下文参考图5进行的讨论。并且，还参见示例性文档：Goodfellow等人的“DeepLearning(深度学习)”，麻省理工学院出版社(2016年)(在互联网统一资源定位符(URL)www*deeplearningbook*org处)；www*matthewzeiler*com/wp-content/uploads/2017/07/arxive2013*pdf；Hoerman等人的“DynamicOccupancyGridPredictionforUrbanAutonomousDriving:ADeepLearningApproachwithFullyAutomaticLabeling(用于城市自主驾驶的动态占用网格预测：利用全自动化标记的深度学习路径)”，2017年，在互联网URLarxiv.org/abs/1705.08781v2处；以及Nuss等人的“ARandomFiniteSetApproachforDynamicOccupancyGridMapswithReal-TimeApplication(用于利用实时应用的动态占用网格映射的随机有限集路径)”，2016年，在互联网URL本文档来自技高网...

【技术保护点】
1.一种用于操作通过网络与至少一个远程观看者进行通信的自主驾驶车辆或半自主驾驶(AD/SAD)车辆的系统，所述车辆具有所述车辆所处的相关联的环境，所述环境潜在地包括对所述车辆的威胁，所述系统包括：/n第一传感器，用于感测所述环境中的所述威胁；/n模拟器，用于准备用于模拟包括所述威胁的所述环境的构造，所述模拟用于改变所述环境或所述威胁中的至少一者；/n输出，用于通过网络将所述构造提供给所述至少一个远程观看者；/n输入，用于接收响应于所述构造的至少一个推荐；以及/n与所述车辆相关联的人工智能AI，用于至少部分地基于与所述AI相关联的知识来标识对所述威胁的候选响应、将所述候选响应与所述至少一个推荐进行比较、以及至少部分地基于所述比较来确定要响应于所述威胁而执行的动作。/n

【技术特征摘要】
20190226 US 16/286,2451.一种用于操作通过网络与至少一个远程观看者进行通信的自主驾驶车辆或半自主驾驶(AD/SAD)车辆的系统，所述车辆具有所述车辆所处的相关联的环境，所述环境潜在地包括对所述车辆的威胁，所述系统包括：
第一传感器，用于感测所述环境中的所述威胁；
模拟器，用于准备用于模拟包括所述威胁的所述环境的构造，所述模拟用于改变所述环境或所述威胁中的至少一者；
输出，用于通过网络将所述构造提供给所述至少一个远程观看者；
输入，用于接收响应于所述构造的至少一个推荐；以及
与所述车辆相关联的人工智能AI，用于至少部分地基于与所述AI相关联的知识来标识对所述威胁的候选响应、将所述候选响应与所述至少一个推荐进行比较、以及至少部分地基于所述比较来确定要响应于所述威胁而执行的动作。


2.如权利要求1所述的系统，进一步包括相关器，所述相关器用于使对所述威胁的一组潜在响应相关并标识异常值推荐。


3.如权利要求1所述的系统，其特征在于：
所述模拟器将所述环境从第一格式转换为抽象格式，其中所述环境中的活动对应于所述抽象格式中的活动；以及
所述推荐从所述抽象格式被转换为所述第一格式并对应于所述AI对所述环境进行响应而采取的动作。


4.如权利要求3所述的系统，其特征在于，所述抽象格式包括游戏，其中所述环境中第一对象的活动被映射到所述游戏中第二对象的活动。


5.如权利要求1所述的系统，其特征在于，所述构造通过改变以下一项或多项来更改所述环境：呈现速度、颜色、声音、对象呈现为线框格式、对象突出显示、向所述环境添加动画，从所述环境中删除对象、所述环境的游戏化。


6.如权利要求1所述的系统，其特征在于，所述AI至少部分地基于所述至少一个推荐来进行训练。


7.如权利要求1-6中任一项所述的系统，其特征在于，所述AI包括至少部分地基于从所述至少一个远程观看者接收数据来进行训练的神经网络。


8.一种用于操作至少部分地由神经网络控制的车辆的方法，所述车辆与同提供第一格式的第一传感器数据的所述车辆相关联的至少一个传感器、所述车辆内的控件、以及至少一个远程观看者进行通信以接收对应于所述第一传感器格式的第二格式的第二传感器数据，所述方法包括所述神经网络用于：
接收所述第一传感器数据；
标识对所述车辆的威胁；
将所述第二传感器数据提供给所述至少一个远程观看者；
通过所述神经网络标识对所述威胁的候选响应；
从所述至少一个远程观看者接收对所述威胁的一个或多个所提议的响应；
至少部分地基于将所述候选响应与所述一个或多个所提议的响应中的所选择的所提议的响应进行比较来确定要响应于所述威胁而执行的动作。


9.如权利要求8所述的方法，其中所述至少一个远程观看者被配置成用于访问至少部分地基于接收所述第二格式的所述第二传感器数据而配置的接口，所述接口用于包括以下所选择的一项或多项：
所述第一传感器数据的非实时表示，
所述第一传感器数据的时间压缩表示，以及
所述车辆周围环境的游戏化，所述环境至少包括所述车辆的驾驶员可用的视野的表示。


10.如权利要求9所述的方法，其特征在于，所述接口对应于所述至少一个远程观看者...

【专利技术属性】
技术研发人员：R·瓦格恩，C·巴隆，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US