追踪装置制造方法及图纸

追踪装置具备：图像输入部，供摄像部拍摄而获得的图像输入；第1移动体检测部，使用输入到图像输入部的多个图像算出光流，根据算出的光流检测移动体位置及移动方向；第2移动体检测部，根据基于多个图像生成的多个俯瞰图像检测移动体位置及移动方向；第3移动体检测部，统合第1移动体检测部及第2移动体检测部的检测结果检测移动体位置及移动方向；追踪移动体确定部，根据第1～第3移动体检测部的检测结果决定应追踪的移动体；推断部，推断追踪移动体确定部决定的追踪移动体将来位置及移动方向；以及追踪部，使用由第2～第3移动体检测部分别检测到的移动体各自位置和由推断部推断出的推断位置的任一方对追踪移动体追踪，确定追踪移动体位置。

Tracking device

The tracking device is equipped with the image input unit for the image input obtained by the camera department; first the mobile physical examination unit uses multiple images input to the image input section to calculate the light flow, and the moving body position and the moving direction are detected according to the calculated optical flow; and the second moving physical examination part is based on a number of overlooks based on multiple images. The image detects the position and moving direction of the mobile body; third the mobile physical examination department, the first mobile physical examination department and the 2 mobile physical examination department detect the mobile body position and the moving direction; trace the mobile body determination department and determine the mobile body to be traced according to the detection results of the first ~ third mobile physical examination department; inference department, push The tracking unit is determined by the tracking mobile body to track the future position and the moving direction of the mobile body; and the tracking unit uses the respective positions of the mobile body detected by the second to third mobile physical examination department and any of the inferential positions deduced by the inference part to trace the tracking mobile body, and determine the position of the tracking mobile body.

【技术实现步骤摘要】
【国外来华专利技术】追踪装置
本专利技术涉及一种追踪装置。
技术介绍
近年来，在车辆上设置摄像机或声呐等外界传感器而检测存在于车辆周围的移动体来实施对驾驶员的警告或者车辆控制，由此辅助驾驶员的驾驶辅助功能、自动驾驶技术的开发在急速推进。在移动体的检测中，为了提高检测的准确性，较有效的为使用在不同时刻获得的信息来追踪移动体的位置。专利文献1揭示了一种对象物追踪装置，其根据利用过去的拍摄图像求出的对象物在路面上的位置以及车辆运动信息来预测当前的对象物在路面上的位置，进而在对应的当前的拍摄图像上的位置上设定检测框，由此检测对象物，根据所设定的检测框内的图像的脚部位置来推断对象物的当前位置，并根据当前的拍摄图像中的对象物相对于过去的拍摄图像中的对象物的放大率来推断对象物在路面上的当前位置。现有技术文献专利文献专利文献1：日本专利特开2011-65338号公报
技术实现思路
专利技术要解决的问题业界期望移动体的追踪不中断。解决问题的技术手段根据本专利技术的第1形态，追踪装置具备：图像输入部，其供摄像部进行拍摄而获得的图像输入；第1移动体检测部，其使用输入到图像输入部的多个图像来算出光流，并根据算出的光流来检测移动体的位置及移动方向；第2移动体检测部，其根据基于多个图像而生成的多个俯瞰图像来检测移动体的位置及移动方向；第3移动体检测部，其统合第1移动体检测部及第2移动体检测部的检测结果而检测移动体的位置及移动方向；追踪移动体确定部，其根据第1～第3移动体检测部的检测结果来决定应追踪的移动体；推断部，其推断追踪移动体确定部所决定的追踪移动体的将来的位置及移动方向；以及追踪部，其使用由第2～第3移动体检测部分别检测到的移动体各自的位置以及由推断部推断出的推断位置中的任一方对追踪移动体进行追踪而确定该追踪移动体的位置。专利技术的效果根据本专利技术，即便在无法进行使用光流的移动体的检测或者使用俯瞰图像的移动体的检测的情况下，也能继续移动体的追踪。附图说明图1为表示车辆10的构成的图。图2为以功能块的形式表示由图像处理ECU18执行的程序所具有的功能的图。图3为表示第1检测结果RES1的一例的图。图4为表示第2检测结果RES2的一例的图。图5为表示统合物体MOF的一例的图。图6为表示追踪移动体DMO的一例的图。图7为表示移动体候选CPE的一例的图。图8为表示移动向量算出部51的动作的流程图。图9的(a)为表示根据摄像机12在时刻t－Δt拍摄到的图像而获得的平面投影图像的一例的图，图9的(b)为表示根据摄像机12在时刻t拍摄到的图像而获得的平面投影图像的一例的图，图9的(c)为表示仅检测到伴随行人X1的移动而产生的光流的结果的图。图10为表示检测到的第1候选区域的一例的图。图11为表示脚部位置算出部52的动作的流程图。图12的(a)～图12的(e)为说明图11的步骤S601～步骤S604的处理的图。图13的(a)～(c)为说明根据算出的第2候选区域来算出最接近点Ha的过程的图。图14为表示关联部53的动作的流程图。图15的(a)为表示图14的步骤S1306的判断例的图，图15的(b)为表示图14的步骤S1308的处理例的图。图16为表示追踪处理部55的动作的流程图。图17为表示接续图16的、追踪处理部55的动作的流程图。图18为表示接续图17的、追踪处理部55的动作的流程图。图19为表示由追踪处理部55进行的追踪移动体DMO的更新处理的一览的图。图20为表示追踪移动体确定部54的动作的流程图。图21为表示接续图20的、追踪移动体确定部54的动作的流程图。图22为表示接续图21的、追踪移动体确定部54的动作的流程图。图23为表示由追踪移动体确定部54进行的移动体候选CPE的更新处理的一览的图。图24为表示路径生成部17所生成的路径的图，图24的(a)为车辆10右前方的车辆向图示右侧移动的情况，图24的(b)为车辆10右前方的车辆向图示左侧移动的情况。具体实施方式(第1实施方式)下面，参考图1～图24，对将本专利技术的移动体检测装置运用于图像处理ECU的第1实施方式进行说明。图1为表示搭载图像处理ECU18的车辆10的构成的图。车辆10具备：轮速传感器20，其用以算出车辆10的移动量；操舵角传感器22，其用以算出车辆10的行进方向；传感器接口24，其将轮速传感器20及操舵角传感器22的输出发送至后文叙述的图像处理ECU18；摄像机12，其拍摄车辆10的周围；摄像机接口14，其将摄像机12进行拍摄而获得的图像发送至图像处理ECU18；路径生成部17，其算出车辆10的移动路径；图像处理ECU18，其使用摄像机12进行拍摄而获得的图像来检测存在于车辆10周围的移动体；存储器26，它是以临时性存储部的形式供图像处理ECU18使用的易失性存储区域；监视器34，其向车辆10的用户展示信息；显示控制部32，其控制监视器34；制动执行器36，其使车辆10产生制动力；以及车辆行为控制ECU30，其对制动执行器36输出动作指令。传感器接口24、摄像机接口14、路径生成部17、图像处理ECU18、显示控制部32以及车辆行为控制ECU30通过系统总线16连接在一起。摄像机12每隔预先规定的时间Δt例如每隔17毫秒进行一次拍摄，并将通过拍摄而获得的信息输出至摄像机接口14。摄像机接口14使用从摄像机12接收到的信息，在实施考虑了摄像机12中安装的透镜的像差的修正之后的基础上制作图像，并发送至图像处理ECU18。因而，每当摄像机12进行拍摄时，便从摄像机接口14向图像处理ECU18输出制作好的图像。以下，将摄像机接口14输出至图像处理ECU18的图像称为“拍摄图像”。图像处理ECU18具备通信部18a、CPU、ROM及RAM，将ROM中保存的程序展开至RAM来执行。通信部18a经由系统总线16与摄像机接口14进行通信，接收摄像机12进行拍摄而获得的图像。每当从摄像机接口14收到拍摄图像时，便执行ROM中保存的程序。该程序将执行所需的数据的一部分保存至存储器26。其中，程序的一部分可通过硬件来实现，也可不使用存储器26而仅保存至图像处理ECU18所配备的RAM。(图像处理ECU18的构成和处理的概要)图2以功能块的形式表示由图像处理ECU18执行的程序所具有的功能，展示了功能块之间的相关。下面，对各功能块的处理的概要以及在功能块之间收发的数据的概要及例子进行说明。各功能块的处理的详情将于后文说明。图像处理ECU18具备：移动向量算出部51，其供拍摄图像输入；脚部位置算出部52，其同样供拍摄图像输入；关联部53，其对移动向量算出部51及脚部位置算出部52的算出结果进行关联；追踪移动体确定部54，其确定要设为追踪对象的移动体；以及追踪处理部55，其对作为追踪对象的移动体进行追踪。以下所说明的第1检测结果RES1、第2检测结果RES2、统合物体MOF、移动体候选CPE及追踪移动体DMO是存储器26中确保的存储区域。但该存储区域内保存的信息也以同样的名称进行称呼。每当输入拍摄图像时，图像处理ECU18便进行图2所示的一系列处理。每当输入拍摄图像时，便算出第1检测结果RES1、第2检测结果RES2及统合物体MOF。另一方面，移动体候选CPE及追踪移动体DMO存储至存储器26，每当输入拍摄图像时，便通过本文档来自技高网...

【技术保护点】
1.一种追踪装置，其特征在于，具备：图像输入部，其供摄像部进行拍摄而获得的图像输入；第1移动体检测部，其使用输入到所述图像输入部的多个图像来算出光流，并根据所述算出的光流来检测移动体的位置及移动方向；第2移动体检测部，其根据基于所述多个图像而生成的多个俯瞰图像来检测移动体的位置及移动方向；第3移动体检测部，其统合所述第1移动体检测部及所述第2移动体检测部的检测结果而检测移动体的位置及移动方向；追踪移动体确定部，其根据所述第1移动体检测部～第3移动体检测部的检测结果来决定应追踪的移动体；推断部，其推断所述追踪移动体确定部所决定的追踪移动体的将来的位置及移动方向；以及追踪部，其使用由所述第2移动体检测部～第3移动体检测部分别检测到的移动体各自的位置以及由所述推断部推断出的推断位置中的任一方来追踪所述追踪移动体，从而确定该追踪移动体的位置。

【技术特征摘要】
【国外来华专利技术】2015.12.04 JP 2015-2375131.一种追踪装置，其特征在于，具备：图像输入部，其供摄像部进行拍摄而获得的图像输入；第1移动体检测部，其使用输入到所述图像输入部的多个图像来算出光流，并根据所述算出的光流来检测移动体的位置及移动方向；第2移动体检测部，其根据基于所述多个图像而生成的多个俯瞰图像来检测移动体的位置及移动方向；第3移动体检测部，其统合所述第1移动体检测部及所述第2移动体检测部的检测结果而检测移动体的位置及移动方向；追踪移动体确定部，其根据所述第1移动体检测部～第3移动体检测部的检测结果来决定应追踪的移动体；推断部，其推断所述追踪移动体确定部所决定的追踪移动体的将来的位置及移动方向；以及追踪部，其使用由所述第2移动体检测部～第3移动体检测部分别检测到的移动体各自的位置以及由所述推断部推断出的推断位置中的任一方来追踪所述追踪移动体，从而确定该追踪移动体的位置。2.根据权利要求1所述的追踪装置，其特征在于，所述第2移动体检测部算出所述多个俯瞰图像的差分即差分区域以及该差分区域的重心，将包含在所述差分区域内、处于将所述差分区域的重心与俯瞰图像中的所述摄像部的位置连结的线段上而且离所述摄像部的位置最近的点检测为移动体。3.根据权利要求2所述的追踪装置，其特征在于，若由所述第1移动体检测部检测到的移动体的位置与由所述第2移动体检测部检测到的移动体的位置的水平方向的距离在预先规定的范围内，而且由所述第1移动体检测部检测到的移动体的移动方向与由所述第2移动体检测部检测到的移动体的移动方向一致，则所述第3移动体检测部将所述第1移动体检测部所检测到的移动体与所述第2移动体检测部所检测到的移动体加以统合。4.根据权利要求2所述的追踪装置，其特征在于，由所述第1移动体检测部及所述第3移动体检测部检测的移动体的位置是在水平方向及垂直方向上有宽度的区域，所述第3移动体检测部将使要统合的由所述第1移动体检测部检测到的移动体的区域的垂直方向下端扩展到要统合的由所述第2移动体检测部检测到的移动体的垂直方向下端而得的区域作为由所述第3移动体检测部检测的移动体的位置。5.根据权利要求1所述的追踪装置，其特征在于，所述追踪移动体确定部存储移动体置信度，该移动体置信度是表示将所述追踪移...

【专利技术属性】
技术研发人员：长谷岛范安，绪方健人，加藤贤治，
申请(专利权)人：歌乐株式会社，
类型：发明
国别省市：日本,JP