基于立体视觉的车辆姿态估计的方法和系统技术方案

本示教涉及在自动驾驶中估计物体姿态的方法、系统、介质和实施方式。立体图像是通过至少两个照相机从场景中获取的。然后，从立体图像中检测场景中存在的物体。对于检测到的每个物体，识别多个特征点并且获得与特征点相关联的深度信息。然后，基于物体的特征点和深度信息来估计每个物体的方位，然后，基于物体的方位和附加特征来估计物体的姿态。

【技术实现步骤摘要】
【国外来华专利技术】基于立体视觉的车辆姿态估计的方法和系统相关申请的交叉引用本申请要求于2017年12月29日提交的美国临时申请62/612,195的优先权，该申请全文并入此处作为参考。
本示教一般涉及计算机辅助的感知。具体而言，本示教涉及估计物体的信息。
技术介绍
随着近来在人工智能(AI)方面的技术发展，出现了在不同应用领域中应用AI的浪潮。这包括自动驾驶领域，在该领域中，识别车辆周围的物体和/或障碍物对避开障碍物并确保安全来说至关重要。传统而言，在车辆周围安装传感器，以便持续地收集周边数据。接着，对这样收集的数据实时地进行分析，从而检测周围的物体/障碍物。尤其重要的是，要意识到同样正在移动的任何障碍物。例如，需要即时(on-the-fly)测量本车(egovehicle)附近的任何其他正在移动的车辆，尤其是在碰撞过程中正在朝着本车移动的车辆。为了有效地控制避障，本车与周围物体/障碍物之间的距离是将要估计的重要特征。另外，代表运动物体的障碍物的姿态也很重要。例如，要制定一种有效的避障策略，必须知道附近的移动物体正在向着何方移动。这涉及对物体姿态的估计。例如，如果估计为正在本车前方移动的车辆正在朝着与本车相同的方向行进，则它对本车构成的危险要小于正在前方移动的与本车行进方向相反的另一车辆。尽管也可对其他参数进行估计以提高知觉(awareness)(例如附近物体的速度)，附近物体的姿态、尤其是运动物体的姿态是必不可少的。为了促进迅速避开障碍物，还需要即时地执行姿态估计。传统而言，此类任务中的姿势估计依赖于来自传感器的信息，在某些情况下还取决于来自多个传感器的信息。例如，可以将多个照相机部署在本车上，以便从不同的角度获取多个图像，从而捕获周围的场景，例如，立体图像或视频。基于同一场景的此类立体图像，可以构建场景的深度图并将其用于确定场景中的物体与本车之间的距离。如本领域中已知的，从立体图像构造深度图可能是计算密集型的，这使得即时估计障碍物的姿态更加困难。因此，这使得在不断变化的驾驶环境中确保本车能够迅速避开障碍物变得更加困难。因此，存在这样的需求：提供一种用于在自动驾驶中估计障碍物姿态的改进的解决方案。
技术实现思路
这里公开的示教涉及用于在线服务的方法、系统和程序设计。具体而言，本示教涉及用于开发能与用户对话的虚拟代理的方法、系统和程序设计。在一实例中，公开了用于估计自动驾驶中物体姿态的方法。立体图像是通过部署在本车上的至少两个照相机从场景中获取的。然后，从立体图像中检测场景中存在的物体。对于检测到的每个物体，识别多个特征点并且获取与这些特征点相关联的深度信息。然后，基于物体的特征点和深度信息来估计每个物体的方位，然后基于物体的方位和附加特征来估计物体的姿态。在另一实例中，公开了一种用于估计自动驾驶中物体姿态的系统。该系统包括：立体图像预处理器，被配置用于从至少两个照相机获取场景的立体图像；物体检测单元，被配置用于基于立体图像来检测场景中存在的物体；关键特征点提取器，被配置用于识别物体的多个特征点；物体深度估计器，被配置用于至少确定与多个特征点相关联的深度信息；物体方位估计器，被配置用于基于多个特征点和深度信息来估计物体的方位；以及姿态歧义消解单元，被配置用于基于物体的方位和附加特征来确定物体的姿态。其他概念涉及用于实现这里给出的关于开发虚拟代理的示教的软件。根据此概念的软件产品包括至少一个机器可读的非暂时性介质以及由该介质承载的信息。该介质承载的信息可以是可执行程序代码数据，与可执行程序代码相关联的参数，和/或与具体用户、请求、内容有关的信息或与社会群体等有关的信息。在一实例中，公开了机器可读的非暂时性介质，其中，该介质具有记录在其上的用于估计自动驾驶中的物体姿态的信息，使得该信息在被机器读取时导致机器执行多种步骤。通过部署在本车上的至少两个照相机从场景中获取立体图像。然后，从立体图像中检测场景中存在的物体。对于检测到的每个物体，识别多个特征点，并且获得与特征点相关联的深度信息。然后，基于物体的特征点和深度信息来估计每个物体的方位，然后，基于物体的方位和附加特征来估计物体的姿态。另外的新特征一部分在下面的说明中给出，一部分将为本领域技术人员在检视下面的说明书以及附图后明了，或者可以通过制造或运行实例来习得。本示教的新特征可以通过对下面讨论的详细实例中给出的方法、设备及组合的多种实施形态的实践或使用来实现或获得。附图说明这里介绍的方法、系统和/或程序设计以示例性实施例的方式进一步介绍。这些示例性实施例将参照附图详细介绍。这些实施例是非限制性的示例性实施例，其中，贯穿多幅附图，类似的参考标号代表类似的结构，且其中：图1示出了自动驾驶中的计算机辅助避障的一般框架；图2A示出了在附近移动的车辆所可能具有的方位的示例性类型；图2B-2C示出了关于在附近移动的车辆的每个所示方位的姿态的示例性歧义；图3示出了根据本示教一实施例的物体姿态估计器的示例性高层次系统图；图4为根据本示教一实施例的物体姿态估计器的示例性过程的流程图；图5示出了根据本示教一实施例，根据关键特征点估计器的关键特征点估计器的示例性高层次系统图；图6为根据本示教一实施例的关键特征点估计器的示例性过程的流程图；图7示出了根据本示教一实施例的物体方位估计器的示例性高层次系统图；图8为根据本示教一实施例的物体方位估计器的示例性过程的流程图；图9示出了根据本示教一实施例的姿态歧义消解单元的示例性高层次系统图；图10为根据本示教一实施例的姿态歧义消解单元的示例性过程的流程图；图11示出了根据本示教一实施例的姿态歧义消解单元的另一示例性高层次系统图；图12为根据本示教一实施例的姿态歧义消解单元的另一示例性过程的流程图；图13示出了能用于实现包含本示教的特定系统的移动装置的架构；以及图14示出了能用于实现包含本示教的特定系统的计算机的架构。具体实施方式在下面的详细介绍中，通过示例的方式给出了多种特定细节，以便提供对相关示教的全面理解。然而，本领域技术人员应当明了，本示教可以在没有这些细节的情况下实现。在其他的实例中，公知的方法、过程、部件和/或电路已经以相对较高的层次介绍而没有给出细节，以避免不必要地模糊本示教的实施形态。本公开一般涉及系统、方法、介质和其他实施形态，其用于在自动驾驶的情况下为了避障的目的而估计物体的姿态。在不同的实施例中，本示教公开了一种高效的系统，方法和介质，用于即时估计物体姿态，以实现自动即时避障。为了克服与传统姿态估计方法有关的所提到的问题，本示教公开了一种估计自动本车附近的运动车辆的姿态的快速方法。图1示出了自动驾驶中计算机辅助避障的通用框架结构100。如图所示，框架结构100包括：物体姿态估计器110，其基于传感信息提供物体姿态的估计120；以及，避障控制器130，其取得对本车可见的场景中存在的周围物体的姿态估计，控制本本文档来自技高网...

【技术保护点】
1.一种在计算机上实现的方法，该计算机具有至少一个处理器、存储器以及通信平台，该方法用于估计自动驾驶中物体的姿态，其包括：/n从至少两个照相机获取场景的立体图像；/n基于立体图像，检测场景中存在的物体；/n识别物体的多个特征点；/n至少确定与多个特征点相关联的深度信息；/n基于多个特征点和深度信息，估计物体的方位；以及/n基于物体的方位和附加特征，确定物体的姿态。/n

【技术特征摘要】
【国外来华专利技术】20171229 US 62/612,1951.一种在计算机上实现的方法，该计算机具有至少一个处理器、存储器以及通信平台，该方法用于估计自动驾驶中物体的姿态，其包括：
从至少两个照相机获取场景的立体图像；
基于立体图像，检测场景中存在的物体；
识别物体的多个特征点；
至少确定与多个特征点相关联的深度信息；
基于多个特征点和深度信息，估计物体的方位；以及
基于物体的方位和附加特征，确定物体的姿态。


2.权利要求1的方法，其中，当物体对应于车辆时，多个特征点包括：
物体在立体图像中出现的最左点；
物体在立体图像中出现的最右点；以及
物体上距离安装有至少两个照相机的本车具有最短距离的最近点。


3.权利要求2的方法，其中，估计方位的步骤包括：
如果最左点、最右点和最近点形成一条直线，
测量最左点和最右点之间的距离，
如果距离满足判据，则确定第一方位为物体的方位，并且
如果距离不满足判据，则确定第二方位为物体的方位；以及
如果最左点、最右点和最近点不形成一条直线，则确定第三方位为物体的方位。


4.权利要求3的方法，其中，根据深度信息动态地确定判据。


5.权利要求3的方法，其中，物体的方位表示物体的两个替代性姿态，并且物体的姿态将基于附加特征来确定。


6.权利要求5的方法，其中，确定姿态的步骤包括：
基于方位，确定要从物体检测到的附加特征；
从至少一个立体图像中检测附加特征；以及
基于附加特征，选择物体的替代性姿态之一作为物体的姿态。


7.权利要求6的方法，其中，附加特征包括以下至少一个：
可从物体的正视图、后视图和侧视图中的至少一个观察到的视觉特征；
与物体相关联的运动特征；以及
它们的组合。


8.权利要求6的方法，其中，决定附加特征的步骤包括：
如果方位对应于第一方位，则检测代表物体正视图或后视图之一的可在最左点和最右点之间观察到的视觉特征；
如果方位对应于第二方位，则检测代表物体侧视图的可在最左点和最右点之间观察到的视觉特征；
如果方位对应于第三方位，则检测可在最左点和最近点之间以及最近点和最右点之间观察到的视觉特征，其代表该物体的正视图与后视图之一以及侧视图中的至少一者。


9.权利要求7的方法，其中，与运动有关的特征包括物体运动的方向性，其中，方向性包括朝向、离开、向左和向右中的一者。


10.一种存储有信息的机器可读且非暂时性的介质，该信息被用于估计自动驾驶中物体的姿态，其中，该信息一旦被机器读取，使得机器执行：
从至少两个照相机获取场景的立体图像；
基于立体图像，检测场景中存在的物体；
识别物体的多个特征点；
至少确定与多个特征点相关联的深度信息；
基于多个特征点和深度信息，估计物体的方位；以及
基于物体的方位和附加特征，确定物体的姿态。


11.权利要求10的介质，其中，当该物体对应于车辆时，多个特征点包括：
物体在立体图像中出现的最左点；
物体在立体图像中出现的最右点；以及
物体上距离安装有至少两个照相机的本车具有最短距离的最近点。


12.权利要求11的介质，其中，估计方位的步骤包括：
如果最左点、最右点和最近点形成一条直线，
测量最左点和最右点之间的距离，
如果距离满足判据，则确定第一方位为物体的方位，并且
如果距离不满足判据，则确定第二方位为物体的方位；以及
如果最左点、最右点和最近点不形成一条直线，则确定第三方位为物体的方位。


13.权利要求12的介质，其中，根据深度信息动态地确定判据。


14.权利要求12的介...

【专利技术属性】
技术研发人员：A·甘古力，小T·P·戴利，D·W·刘，郑皓，
申请(专利权)人：智加科技公司，
类型：发明
国别省市：美国;US