使用车轮旋转的光学跟踪预测被观察车辆的状态和位置制造技术

各个实施例可以包含使用图像数据来估计在诸如由主车辆的视觉导航系统捕获的图像之类的相机图像内观察到的车辆的运动的方法。各个实施例可以包含：相机，所述相机捕获包含被观察车辆的图像序列；以及处理器，所述处理器执行图像处理以识别所述被观察车辆的车轮，并且基于在所述图像序列内的至少两个图像之间所述车轮的取向变化和在所述至少两个图像之间经过的时间来确定所述车轮的旋转速率。所述处理器可以进一步基于所述车轮的旋转速率和直径来确定所述被观察车辆的速度。所述处理器可以通过确定在至少一个图像中所述被观察车辆的车轮的相对角度来进一步确定所述被观察车辆的行进方向和/或转弯速率。

【技术实现步骤摘要】
【国外来华专利技术】使用车轮旋转的光学跟踪预测被观察车辆的状态和位置优先权要求本专利申请要求2018年5月15日提交的题为“使用车轮旋转的光学跟踪预测被观察车辆的状态和位置(STATEANDPOSITIONPREDICTIONOFOBSERVEDVEHICLESUSINGOPTICALTRACKINGOFWHEELROTATION)”的美国非临时申请号15/980,300的优先权，所述申请已转让给其受让人并且明确地以引用方式结合到本文中。
技术介绍
随着工业朝向部署自主和半自主车辆的方向发展，汽车和卡车变得更加智能。自主和半自主车辆可以(例如，使用雷达、激光雷达、GPS、文件里程计、加速度计、相机和其它传感器)检测关于它们的位置和环境的信息，并且包含解译传感信息以识别危险并确定要遵循的导航路径的控制系统。自主和半自主车辆包含控制系统以在来自汽车的乘员或其它操作员的控制有限或没有控制的情况下操作的控制系统。自主和半自主车辆的安全操作取决于对障碍物的早期和准确识别以及跟踪和预测其它车辆的移动，所有这些都在街道和公路的动态和繁忙环境中进行。
技术实现思路
各个实施例和实施例包含用于利用对车轮旋转的视觉跟踪来改善对被观察车辆的状态和意图预测的方法。各个实施例包含可以在车辆的处理器(诸如车辆导航系统或视觉导航系统或车辆安全系统)中实施以用于使用图像数据来估计被观察车辆的运动的方法。各个实施例可以包含：接收由相机捕获的图像序列；执行图像处理以识别在所述图像序列内观察到的车辆的车轮；以及基于在所述图像序列内的至少两个图像之间所述车轮的取向的变化和在所述至少两个图像之间经过的时间来确定所述车轮的旋转速率。在一些实施例中，基于在所述图像序列内的至少两个图像之间所述车轮的取向变化和在所述至少两个图像之间经过的时间来确定所述车轮的所述旋转速率可以包含：执行图像处理以识别存在于所述车轮的第一图像和所述车轮的第二图像中的所述车轮的特征；执行图像处理以在所述车轮的所述第一图像和所述第二图像的每一者中识别所述车轮的中心；确定在所述车轮的所述第一图像与所述第二图像之间所述被识别特征的位置变化量；基于在所述车轮的所述第一图像与所述第二图像之间所述被识别特征的所述位置变化量以及在所述车轮的所述第一图像和所述第二图像的每一者中所述车轮的所述中心来确定在所述车轮的所述第一图像与所述第二图像之间所述被识别特征的旋转角度；确定在所述第一图像与所述第二图像之间经过的时间量；以及基于确定所述被识别特征的旋转角度和在所述车轮的所述第一图像与所述第二图像之间的所述经过时间量来确定所述车轮的所述旋转速率。一些实施例可以进一步包含：对至少一个图像执行图像处理以确定所述车轮的直径；以及基于所述车轮的所述被确定旋转速率和所述车轮的所述直径来确定所述被观察车辆的速度。此类实施例可以进一步包含使用所述被观察车辆的所述被观察速度来增强主车辆的视觉导航系统。一些实施例可以进一步包含基于对所述图像序列内的所述车轮的图像处理来确定所述被观察车辆的行进方向。在此类实施例中，基于对所述图像序列内的所述车轮的图像处理来确定所述被观察车辆的行进方向可以包含：对至少一个图像执行图像处理以确定所述车轮的被观察水平直径；对至少一个图像执行图像处理以确定所述车轮的被观察竖直直径；计算所述被观察水平直径与所述被观察竖直直径的比率；确定从捕获所述图像序列的相机到所述车轮的视角；以及基于所述被观察水平直径与所述被观察竖直直径的所述比率以及从所述相机到所述车轮的所述被确定视角来确定所述车轮相对于所述相机的相对角度。此类实施例可以进一步包含使用所述被观察车辆的所述被观察行进方向来增强主车辆的视觉导航系统。一些实施例可以进一步包含基于对所述图像序列内的所述被观察车辆的前轮和后轮的图像处理来确定所述被观察车辆是否正在转弯。一些实施例可以进一步包含基于对所述图像序列内的所述被观察车辆的前轮和后轮的图像处理来确定所述被观察车辆的转弯角度。在此类实施例中，执行图像处理以识别所述图像序列内的所述被观察车辆的所述车轮可以包含：对至少一个图像执行图像处理以识别所述被观察车辆的所述前轮和所述后轮，此类实施例可以进一步包含：对所述至少一个图像进行图像处理以确定所述前轮相对于捕获所述至少一个图像的相机的相对角度；对所述至少一个图像进行图像处理以确定所述后轮相对于所述相机的相对角度；对所述至少一个图像进行图像处理以确定所述前轮与所述后轮之间的距离；以及基于所述前轮与所述后轮之间的所述距离、基于所述被确定旋转速率的所述被观察车辆的线性速度以及所述前轮的所述相对角度与所述后轮的相对角度之间的差值来确定所述被观察车辆的转弯速率。此类实施例可以进一步包含使用所述被观察车辆的所述确定转弯角度来增强主车辆的视觉导航系统。其它实施例包含一种车辆，所述车辆包含图像传感器和处理器，所述处理器耦合到所述图像传感器并且被配置有处理器可执行指令以执行上文概述的实施例方法中的任一者的操作。一种用于车辆中的处理装置，所述处理装置被配置成执行上文概述的实施例方法中的任一者的操作。其它实施例包含一种非暂时性处理器可读存储介质，其上存储有被配置成使处理器执行上文概述的实施例方法中的任一者的操作的处理器可执行软件指令。其它实施例包含一种车辆，所述车辆包含用于执行上文概述的实施例方法中的任一者的功能的装置。附图说明结合本文并构成本说明书的一部分的附图示出了示范性实施例，并且与上文给出的一般描述和下文给出的详细描述一起用于解释各个实施例的特征。图1A和1B是示出适于实施各个实施例的车辆的部件框图。图1C是示出适于实施各个实施例的车辆的部件的部件框图。图2A是示出根据各个实施例的车辆观察另一车辆并预测另一车辆的动作的图。图2B是示出根据各个实施例的车辆基于另一车辆的被预测动作来采取动作的图。图2C是示出根据各个实施例的另一车辆的被识别车轮的图。图2D是示出根据各个实施例的另一车辆的被识别车轮的图。图2E是示出根据各个实施例的另一车辆的被识别车轮的图。图2F是示出根据各个实施例的车辆观察进行转弯的另一车辆的图。图3是示出根据各个实施例的用于车辆中的实例性片上系统(systemonchip)的部件的框图，所述片上系统可以被配置成收集和分析传感器信息。图4是示出根据各个实施例的预测另一车辆的未来位置的实施例方法的过程流程图。图5是示出根据各个实施例的确定另一车辆的车轮的旋转速率的实施例方法的过程流程图。图6是示出根据各个实施例的计算另一车辆的车轮的尺寸比率的实施例方法的过程流程图。图7是示出根据各个实施例的估计另一车辆的转弯角度的实施例方法的过程流程图。具体实施方式将参考附图详细描述各个方面。尽可能地，在整个附图中将使用相同的附图标记来指代相同或相似的部件。对特定实例和实施例的参考是出于说明性目的，而不意图限制各个方面或权利要求书的范围。各个实施例包含方法、实施所述方法的车辆和用于车辆中的处理装置，所述处理装置被配置本文档来自技高网...

【技术保护点】
1.一种使用图像数据来估计被观察车辆的运动的方法，所述方法包括：/n由相机捕获包含所述被观察车辆的图像序列；/n由处理器执行图像处理以在所述图像序列内识别所述被观察车辆的车轮；以及/n由所述处理器基于在所述图像序列内的至少两个图像之间所述车轮的取向变化和在所述至少两个图像之间经过的时间来确定所述车轮的旋转速率。/n

【技术特征摘要】
【国外来华专利技术】20180515 US 15/980,3001.一种使用图像数据来估计被观察车辆的运动的方法，所述方法包括：
由相机捕获包含所述被观察车辆的图像序列；
由处理器执行图像处理以在所述图像序列内识别所述被观察车辆的车轮；以及
由所述处理器基于在所述图像序列内的至少两个图像之间所述车轮的取向变化和在所述至少两个图像之间经过的时间来确定所述车轮的旋转速率。


2.根据权利要求1所述的方法，其中基于在所述图像序列内的至少两个图像之间所述车轮的取向变化和在所述至少两个图像之间经过的时间来确定所述车轮的所述旋转速率包括：
执行图像处理以识别存在于所述车轮的第一图像和所述车轮的第二图像中的所述车轮的特征；
执行图像处理以在所述车轮的所述第一图像和所述第二图像中的每一者中识别所述车轮的中心；
确定在所述车轮的所述第一图像与所述第二图像之间被识别特征的位置变化量；
基于在所述车轮的所述第一图像与所述第二图像之间所述车轮的所述被识别特征的所述位置变化量以及在所述车轮的所述第一图像和所述第二图像中的每一者中所述车轮的所述中心来确定在所述车轮的所述第一图像与所述第二图像之间所述车轮的所述被识别特征的旋转角度；
确定在所述第一图像与所述第二图像之间经过的时间量；以及
基于确定所述被识别特征的旋转角度和在所述车轮的所述第一图像与所述第二图像之间的所述经过时间量来确定所述车轮的所述旋转速率。


3.根据权利要求1所述的方法，所述方法进一步包括：
对至少一个图像执行图像处理以确定所述车轮的直径；以及
基于所述车轮的被确定旋转速率和所述车轮的所述直径来确定所述被观察车辆的速度。


4.根据权利要求3所述的方法，所述方法进一步包括：
使用所述被观察车辆的被确定速度来增强主车辆的视觉导航系统。


5.根据权利要求1所述的方法，所述方法进一步包括基于对所述图像序列内的所述车轮的图像处理来确定所述被观察车辆的行进方向。


6.根据权利要求5所述的方法，其中基于对所述图像序列内的所述车轮的图像处理来确定所述被观察车辆的行进方向包括：
对至少一个图像执行图像处理以确定所述车轮的被观察水平直径；
对至少一个图像执行图像处理以确定所述车轮的被观察竖直直径；
计算所述被观察水平直径与所述被观察竖直直径的比率；
确定从捕获所述图像序列的相机到所述车轮的视角；以及
基于所述被观察水平直径与所述被观察竖直直径的所述比率以及从所述相机到所述车轮的被确定视角来确定所述车轮相对于所述相机的相对角度。


7.根据权利要求5所述的方法，所述方法进一步包括：
使用所述被观察车辆的所述被观察行进方向来增强主车辆的视觉导航系统。


8.根据权利要求1所述的方法，所述方法进一步包括基于对所述图像序列内的所述被观察车辆的前轮和后轮的图像处理来确定所述被观察车辆是否正在转弯。


9.根据权利要求1所述的方法，所述方法进一步包括基于对所述图像序列内的所述被观察车辆的前轮和后轮的图像处理来确定所述被观察车辆的转弯角度。


10.根据权利要求9所述的方法，其中执行图像处理以识别所述图像序列内的所述被观察车辆的所述车轮包括由所述处理器对至少一个图像执行图像处理以识别所述被观察车辆的所述前轮和所述后轮，所述方法进一步包括：
对所述至少一个图像进行图像处理以确定所述前轮相对于捕获所述至少一个图像的相机的相对角度；
对所述至少一个图像进行图像处理以确定所述后轮相对于所述相机的相对角度；
对所述至少一个图像进行图像处理以确定所述前轮与所述后轮之间的距离；以及
基于所述前轮与所述后轮之间的所述距离、基于所述被确定旋转速率的所述被观察车辆的线性速度以及所述前轮的所述相对角度与所述后轮的所述相对角度之间的差值来确定所述被观察车辆的转弯速率。


11.根据权利要求9所述的方法，所述方法进一步包括：
使用所述被观察车辆的确定转弯角度来增强主车辆的视觉导航系统。


12.一种车辆导航系统，所述车辆导航系统包括：
相机，所述相机被配置成捕获车辆外部的图像；以及
处理器，所述处理器被配置成从所述相机接收图像序列并且被配置有处理器可执行指令以：
执行图像处理以识别在所述图像序列内观察到的车辆的车轮；以及
基于在所述图像序列内的至少两个图像之间所述车轮的取向变化和在所述至少两个图像之间经过的时间来确定所述车轮的旋转速率。


13.根据权利要求12所述的车辆导航系统，其中所述处理器进一步被配置有处理器可执行指令以基于在所述图像序列内的至少两个图像之间所述车轮的取向变化和在所述至少两个图像之间经过的时间通过以下操作来确定所述车轮的所述旋转速率：
识别存在于所述车轮的第一图像和所述车轮的第二图像中的所述车轮的特征；
执行图像处理以在所述车轮的所述第一图像和所述第二图像中的每一者中识别所述车轮的中心；
确定在所述车轮的所述第一图像与所述第二图像之间被识别特征的位置变化量；
基于在所述车轮的所述第一图像与所述第二图像之间所述车轮的所述被识别特征的所述位置变化量以及在所述车轮的所述第一图像和所述第二图像中的每一者中所述车轮的所述中心来确定在所述车轮的所述第一图像与所述第二图像之间所述被识别特征的旋转角度；
确定在所述第一图像与所述第二图像之间经过的时间量；以及
基于确定所述被识别特征的旋转角度和在所述车轮的所述第一图像与所述第二图像之间的所述经过时间量来确定所述车轮的所述旋转速率。


14.根据权利要求12所述的车辆导航系统，其中所述处理器进一步被配置有处理器可执行指令以：
执行图像处理以确定所述车轮的直径；以及
基于所述车轮的所述被确定旋转速率和所述车轮的所述直径来确定所述被观察车辆的速度。


15.根据权利要求12所述的车辆导航系统，其中所述处理器进一步被配置有处理器可执行指令以基于对所述图像序列内的所述车轮的图像处理来确定所述被观察车辆的行进方向。


16.根据权利要求15所述的车辆导航系统，其中所述处理器进一步被配置有处理器可执行指令以基于对所述图像序列内的所述车轮的图像处理通过以下操作来确定所述被观察车辆的行进方向：
确定所述车轮的被观察水平直径；
确定所述车轮的被观察竖直直径；
计算所述被观察水平直径与所述被观察竖直直径的比率；
确定从捕获所述图像序列的相机到所述车轮的视角；以及
基于所述被观察水平直径与所述被观察竖直直径的所述比率以及从所述相机到所述车轮的被...

【专利技术属性】
技术研发人员：亚历山大·库什莱耶维，斯蒂芬·马克·沙维斯，马修·海厄特·特平，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US