用于使用全景成像的增强时间推移视频生成的系统和方法技术方案

一种系统，用于周期性地记录车辆驾驶员的旅程期间车辆的GPS坐标作为旅程坐标，在检测到驾驶员注视偏离行进的方向时，根据当前GPS坐标和驾驶员的眼睛注视的角度，记录潜在的兴趣点，并且在到达目的地之后，将旅程坐标和兴趣点坐标发送到远程服务器。远程服务器然后可以从标记GPS坐标的图像数据库检索对应于旅程坐标和潜在兴趣点坐标的全景图像。驾驶员或者该系统的任何其他用户然后可以通过将检索的全景图像转换为聚焦于获得驾驶员注意的兴趣点的视频，创建驾驶员的旅程的增强时间推移视频。

【技术实现步骤摘要】

本公开涉及用于时间推移视频生成的系统、组件和方法。具体地，本公开指向使 用全景成像资源而无需车载相机，实现车辆驾驶员的旅程的增强时间推移视频的生成的系 统、组件和方法。
技术介绍
时间推移视频可以指将场景或者对象的记录转为以比原始记录更快速度回放的 视频的技术。换句话说，该技术允许观看场景的改变而不必等待实际时间。时间推移视频 已经变为用于驾驶员捕获和重建他们的旅行的越来越流行的方式。例如，数小时的实际视 频驾驶时间可以压缩为仅仅数分钟回放时间的视频，有此建立了时间推移效果。该时间推 移视频以加速方式重建驾驶员的旅行。 典型地，通过使用安装在车辆仪表盘上或者车辆外部的相机生成车辆驾驶员的旅 程的时间推移视频。适当地捕获车辆的旅程需要细心设置相机。例如，为了具有希望场景 的清晰视图，必须放置相机以便不被车辆的其他部分遮挡。此外，在没有有风险的用户交互 的情况下，相机将通常指向车辆旅程的一般方向，因此仅仅捕获车辆前方的场景。 结果，相机可能过错或者未能捕获可能在他的或者她的驾驶期间已经吸引驾驶员 的注意的场景或对象。更具体地，在驾驶期间，驾驶员可能短暂地从前方道路移开视线到吸 引他的或她的注意的场景或对象。不幸地，因为相机固定在车辆前方的道路的方向，所以相 机可能未能捕获吸引驾驶员注意的场景或对象（即，兴趣点）。
技术实现思路
根据本公开，提供一种系统，用于生成增强时间推移视频，该增强时间推移视频可 以关注在驾驶员的旅程期间吸引驾驶员的注意的兴趣点，而无需车载相机。 公开的实施例提供了通过以下提供了对于上述技术问题的解决方案，周期性地记 录车辆驾驶员的旅程期间车辆的GPS坐标作为旅程坐标，在检测到驾驶员注视偏离行进的 方向时，根据当前GPS坐标和驾驶员的眼睛注视的角度，记录潜在的兴趣点，并且在到达目 的地之后，将旅程坐标和兴趣点坐标发送到远程服务器。服务器然后可以从标记GPS坐标 的图像数据库检索对应于旅程坐标和潜在兴趣点坐标的全景图像。驾驶员或者该系统的任 何其他用户然后可以通过将检索的全景图像转换为聚焦于获得驾驶员注意的兴趣点的视 频，创建驾驶员的旅程的增强时间推移视频。 在说明性实施例中，系统包括处理器、驾驶员监视单元、GPS模块、以及与远程服务 器通信的收发器。 在考虑示例执行如目前认知的公开的最佳模式的说明性实施例时，本公开的其他 特征将对于本领域的技术人员变得明显。【附图说明】 详细说明具体地参照附图，附图中： 图1A-1D构成旅行经历重建处理的图示和透视图，示出在驾驶期间监视驾驶员的 设备的第一点、监视设备注意何时驾驶员的注视偏离道路并且记录与驾驶员所观看的相关 的数据的第二点、记录的数据用于创建驾驶员观看的单视点图像的第三点、以及编绘创建 的单视点图像以产生驾驶员的旅程的叙述的第四点； 图2是关注驻留在车辆中的系统的组件的、根据本公开的示例性系统的框图； 图3是现在关注驻留在远程服务器中的系统的组件的、根据本公开的示例性系统 (诸如图2中示出的系统）的框图； 图4示出用于直观地重建驾驶员的旅程经历的子程序的说明性处理的示意图，其 通过监视驾驶员、识别对应于兴趣点的数据、并且将数据转换为用于驾驶员观看的单视点 图像，其具有将数据上传到远程计算机用于处理、确认兴趣点、以及产生驾驶员的旅程的完 整叙述的选项； 图5是图4的监视子程序的示意图，示出用于在驾驶期间监视驾驶员输入的操 作； 图6是图4的识别子程序的示意图，示出用于当接收来自驾驶员的输入信号时记 录对应于潜在兴趣点的数据的操作，并且如果驾驶员希望重建他们的驾驶经历则在稍后处 理中利用该数据； 图7是图4的通信和确定子程序的示意图，示出可选操作用于将记录的数据从车 辆上传到远程计算机用于处理并且允许驾驶员沿着他们的驾驶路径手动选择兴趣点，或者 用于使计算机在收集用于重建驾驶经历的图像之前基于预定兴趣点自动地移除误报兴趣 占. 图8是图4的转换子程序的示意图，示出用于基于记录的数据和兴趣点从全景图 像创建单视点图像的操作； 图9是图4的产生子程序的示意图，示出可选操作用于如果用户希望，则通过以基 于记录的时间和定位数据的顺序编绘沿着驾驶路径拍摄的多个单点图像，创建重建驾驶员 的旅程的停止运动视频，并且存储单视点图像和/或视频用于观看； 图10A是示出驾驶员在第一时间点驾驶和被监视的透视图； 图10B是示出在第一时间点驾驶员沿着他们的行进路径的定位的地图的自上而 下视图； 图11A是示出在稍后的第二时间点注意驾驶员的注视何时偏离道路的监视设备 的透视图； 图11B是示出在第二时间点驾驶员沿着他们的行进路径的定位的地图的自上而 下视图，并且已经用在驾驶员定位的相应数据的标记潜在兴趣点； 图12A是在稍后的第三时间点驾驶员的车辆与远程计算机通信的示意图； 图12B是示出在第三时间点驾驶员已经到达他们的目的地的地图的自上而下视 图； 图13是收集操作的示图，示出与第三时间点同时从图像数据库收集全景图像的 远程计算机； 图14A是示出在稍后的第四时间点从基于驾驶员在兴趣点的注视角度从一部分 全景图像捕获的单视点图像的地图的自上而下视图； 图14B是在第四时间点从全景图像捕获的单视点图像的示图； 图15是示出在稍后的第五时间点沿着驾驶员的行进路径捕获的单视点图像编绘 为视频以产生旅程叙述的示图； 图16是示出除了位于方向盘的硬键外使用驾驶员监视设备用于捕获潜在兴趣点 的旅行经历的示图； 图17是图示使用导航系统显示器用于捕获驾驶员的潜在兴趣点的示意图；以及 图18是图示使用位于车辆的移动电话相机在驾驶员的旅程期间捕获图像的示意 图。【具体实施方式】 在此提供的附图和描述可能已经简化以图示与用于在此描述的设备、系统和方法 的清楚理解相关的各个方面，同时为了简洁的目的，消除了可以在典型的设备、系统和方法 中找到的其他方面。本领域的技术人员可以认识到其他原件和/操作操作可能是希望的和 /或必要的以实施在此描述的设备、系统和方法。因为这样的原件和操作是本领域公知的， 并且因为他们不便于本公开的更好理解，所以在此可能不提供这样的原件和操作的讨论。 然而，认为本公开内在地包括所有这样的原件、对于本领域技术人员所公知的各方面的变 化和修改。 典型地，通过使用安装在车辆仪表盘上或者车辆外部的相机生成车辆驾驶员的旅 程的时间推移视频。适当地捕获车辆的旅程需要细心设置相机。例如，为了具有希望场景 的清晰视图，必须放置相机以便不被车辆的其他部分遮挡。此外，在没有有风险的用户交互 的情况下，相机将通常指向车辆旅程的一般方向，因此仅仅捕获车辆前方的场景。因此，任 何创建的时间推移视频可能仅包含在车辆的行进的方向上的场景或对象的片段。 结果，并且如之前注意到的，相机可能过错或者未能捕获可能在他的或者她的驾 驶期间已经吸引驾驶员的注意的场景或对象。例如，在驾驶期间，常常驾驶员可能短暂地从 前方道路移开视线到吸引他的或她的注意的场景或对象。不幸地，因为相机固定在车辆前 方的道路的方向，所以相机可能未能捕获吸引驾驶员注意的场景或对象（即，兴趣点）。 公开的实施例提供了通过提供车辆系统提供了对于上述技术问题的解决方案，车 辆系统用于周期性地记录车辆驾驶员的旅本文档来自技高网...

【技术保护点】
一种用于创建从起点到目的地的车辆旅程的视频的系统，包括：与服务器操作通信的车辆，具有第一处理器，其与以下数据通信全球定位系统(GPS)模块；第一蜂窝数据收发器；用于检测何时驾驶员注视偏离前面道路并且朝向潜在兴趣点的部件；以及非暂时存储设备，其上存储计算机可读代码，当由所述第一处理器运行所述计算机可读代码时，使得所述车辆周期性地将所述旅程期间所述车辆的GPS坐标记录为旅程坐标；当检测到所述驾驶员的眼睛注视时，根据所述车辆的GPS坐标以及所述驾驶员的眼睛注视的角度，记录潜在兴趣点；在所述车辆到达所述目的地之后，经由蜂窝数据收发器，将周期性记录的旅程坐标以及潜在兴趣点发送到所述服务器；并且所述服务器具有第二处理器，其与以下数据通信第二蜂窝数据收发器；包含预定兴趣点的GPS坐标的兴趣点数据库；用于比较记录的潜在兴趣点与所述预定兴趣点的GPS坐标以确定确认的兴趣点坐标的部件；用于从标记GPS坐标的图像数据库检索对应于所述确认的兴趣点坐标和所述旅程坐标的图像的部件；以及用于将检索的图像转换为所述车辆旅程的时间推移视频的部件。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：S阿凯，
申请(专利权)人：大众汽车有限公司，奥迪股份公司，
类型：发明
国别省市：德国;DE