用于致密光学流的阶层式数据组织制造技术

本申请涉及用于致密光学流的阶层式数据组织

【技术实现步骤摘要】
用于致密光学流的阶层式数据组织
[0001]分案申请相关信息
[0002]本申请案为分案申请
。
其母案是申请日为
2018
年6月
29
日
、
申请号为
201880031199.0、
专利技术名称为“用于致密光学流的阶层式数据组织”的专利技术专利申请案
。


[0003]本专利技术大体上涉及计算机视觉系统，且更具体地说，涉及这类系统中的致密光学流处理
。

技术介绍

[0004]高级驾驶员辅助系统或
ADAS
在汽车中正变得越来越常见
。
这些系统为驾驶员提供关于周围环境的信息并且可能自动干预驾驶以防止意外和道路交通事故
。
使用图像传感器的三维
(3D)
场景理解是构建此场景理解的基本步骤
。
使用光学流的场景运动理解是提供准确运动估计的常见技术
。
为了确定光学流，采用一个相机捕获同一场景的图像
(
视频
)
的时间序列
。
处理连续图像对以确定连续图像之间的像素位移
。
可使用像素的位移或流向量信息分析对应于所捕获场景中的像素的对象运动
/
体积
。
[0005]一种可在嵌入式安全系统中使用的光学流的方法是稀疏光学流
。
稀疏光学流是基于特征的方法，其中仅识别在连续图像上的所选像素流，例如图像边缘
、
拐角等特征
。
光学流的更准确方法是致密光学流，其中识别连续图像中的所有像素流
。
鉴于嵌入式系统的实时处理要求，在这类系统中使用致密光学流具有挑战性，这是因为致密光学流处理的当前方法可为计算密集型的并且需要显著数据带宽
。

技术实现思路

[0006]实施例涉及用于计算机视觉系统中的致密光学流处理的阶层式数据组织的方法和设备
。
在一个方面中，提供一种计算机视觉系统，其包含图像产生装置，其经配置以捕获场景的连续二维
(2D)
图像；第一存储器，其经配置以存储所述连续
2D
图像；第二存储器，其经配置以存储从所述第一存储器提取的参考图像的连续行的生长窗和从所述第一存储器提取的当前图像的连续行的生长窗，其中所述参考图像和所述当前图像是一对连续
2D
图像；第三存储器，其经配置以存储从所述参考图像的连续行的所述生长窗提取的像素的滑动窗，其中以图块形式存储所述滑动窗中的所述像素；和致密光学流引擎
(DOFE)
，其经配置以确定所述对连续
2D
图像的致密光学流图，其中所述
DOFE
使用所述滑动窗作为用于像素对应关系搜索的搜索窗
。
[0007]在一个方面中，提供一种操作计算机视觉系统以确定场景的两个连续二维
(2D)
图像的致密光学流图的方法，其包含将所述两个连续
2D
图像存储于所述计算机视觉系统的第一存储器中；将所述两个连续
2D
图像的参考图像的连续行的生长窗和所述两个连续
2D
图像的当前图像的连续行的生长窗维持于所述计算机视觉系统的第二存储器中，其中从所述第一存储器提取所述参考图像的所述连续行和所述当前图像的所述连续行；将所述参考图像
的像素的滑动窗维持在第三存储器中，其中从所述第二存储器中的所述参考图像的连续行的所述生长窗提取所述像素，且其中所述像素以图块形式存储于所述滑动窗中；和通过所述计算机视觉系统的致密光学流引擎
(DOFE)
确定所述两个连续
2D
图像的所述致密光学流图，其中所述
DOFE
使用所述滑动窗作为用于像素对应关系搜索的搜索窗
。
附图说明
[0008]图1是实例多处理器芯片上系统的高级框图
。
[0009]图2是图1的
SOC
的实例光学流加速器的高级框图
。
[0010]图3说明图2的光学流加速器的致密光学流引擎
(DOFE)
产生致密光学流向量图的处理步骤
。
[0011]图4示出用于
DOFE
的预测符搜索的实例空间预测符
。
[0012]图5是
DOFE
的实例架构的高级框图
。
[0013]图6示出支持
DOFE
的光学流处理的实例数据阶层
。
[0014]图7示出在
DOFE
的光学流处理中使用的实例滑动搜索窗
。
[0015]图8是说明滑动搜索窗的平铺组织的实例
。
[0016]图9是说明使用平铺组织的最佳和最差情况存储器存取的实例
。
[0017]图
10
是用于确定致密光学流图的方法的流程图
。
具体实施方式
[0018]在图式中，相似元件由相似附图标记标示
。
[0019]现实世界中的移动对象具有三维
(3D)
运动
。
捕获移动对象的相机捕获实际
3D
运动的二维
(2D)
投影
。
可通过观测对象的连续捕获图像来确定移动对象的
2D
运动
。
从图像到图像的图像像素的
2D
运动被称为像素的光学流并且定义为两个连续图像之间的像素的位移向量
。
对于致密光学流，确定每一像素的光学流
。
[0020]像素的光学流的确定基本上是发现问题的“最佳对应关系”。
因此，给出两个连续图像，问题是找到较早图像中的像素在较新图像中的最佳匹配位置
。
一般来说，在较新图像中的被称为搜索范围的预定区内执行对最佳匹配像素的搜索
。
可使用基于预测符的搜索策略以避免搜索范围内的每个像素处搜索对应关系
。
[0021]实施例在嵌入式计算机视觉系统中提供符合实时性能要求的致密光学流处理
。
在一些实施例中，提供用于致密光学流图计算的硬件加速器
。
硬件加速器包含改进致密光学流计算的性能的新型特征，例如：对匹配像素的基于像素组的搜索，所述搜索会减少搜索时间；通过平铺管理数据带宽的阶层式数据组织；和
/
或避免重取数据的高级预测符评估
。
[0022]图1是经配置以支持基于相机的
ADAS
中的计算机视觉处理的实例多处理器芯片上系统
(SOC)100
的高级框图
。SOC 100
包含经由高速互连件
122
耦合的双通用处理器
(GPP)102、...

【技术保护点】

【技术特征摘要】
1.
一种计算机视觉系统，其包括：图像产生装置，其经配置以捕获场景的连续二维图像；第一存储器，其经配置以存储所述连续二维图像；第二存储器，其经配置以存储从所述第一存储器提取的参考图像的连续行的生长窗和从所述第一存储器提取的当前图像的连续行的生长窗，其中所述参考图像和所述当前图像是一对连续二维图像；第三存储器，其经配置以存储从所述参考图像的连续行的所述生长窗提取的像素的滑动窗，其中以图块形式存储所述滑动窗中的所述像素，其中所述第一存储器的存储量大于所述第二存储器的存储量，并且所述第二存储器的存储量大于所述第三存储器的存储量，所述第三存储器的接入带宽大于所述第二存储器的接入带宽，并且所述第二存储器的接入带宽大于所述第一存储器的接入带宽；和致密光学流引擎
DOFE
，其经配置以确定所述连续二维图像对的致密光学流图，其中所述
DOFE
使用所述滑动窗作为用于像素对应关系搜索的搜索窗
。2.
根据权利要求1所述的计算机视觉系统，其中每个图块是4×4像素块
。3.
根据权利要求1所述的计算机视觉系统，其中整个图块能够在单个循环中访问
。4.
根据权利要求1所述的计算机视觉系统，其中所述图像产生装置是相机
。5.
一种操作计算机视觉系统以确定场景的两个连续二维图像的致密光学流图的方法，所述方法包括：将所述两个连续二维图像存储于所述计算机视觉系统的第一存储器中；将所述两个连续二维图像的参考图像的连续行的生长窗和所述两个连续二维图像的当前图像的连续行的生长窗维持于所述计算机视觉系统的第二存储器中，其中从所述第一存储器提取所述参考图像的所述连续行和所述当前图像的所述连续行；将所述参考图像的像素的滑动窗维持在第三存储器中，其中从所述第二存储器中的所述参考图像的连续行的所述生长窗提取所述像素，且其中所述像素以图块形式存储于所述滑动窗中，其中所述第一存储器的存储量大于所述第二存储器的存储量，并且所述第二存储器的存储量大于所述第三存储器的存储量，所述第三存储器的接入带宽大于所述第二存储器的接入带宽，并且所述第二存储器的接入带宽大于所述第一存储器的接入带宽；和通过所述计算机视觉系统的致密光学流引擎
DOFE
确定所述两个连续二维图像的所述致密光学流图，其中所述
DOFE
使用所述滑动窗作为用于像素对应关系搜索的搜索窗
。6.
根据权利要求5所述的方法，其中每个图块是4×4像素块
。7.
根据权利要求5所述的方法，其中整个图块能够在单个循环中访问
。8.
一种方法，其包括：接收包含第一像素集的第一图像及包含第二像素集的第二图像；将所述第一像素集划分成像素子集；对于所述像素子集中的每一个：在相应的所述像素子集中选择锚像素；对于一组预测符中的每一个：将相应的所述预测符应用到所述锚像素以在所述第二像素集中确定经预测位置；和为所述经预测位置确定匹配成本；和
基于所述匹配成本，在所述第二像素集中为相应的所述像素子集确定最接近匹配区
。9.
根据权利要求8所述的方法，其中用于所述锚像素的所述一组预测符包含用于所述第一像素集中的像素的空间预测符，其中所述第一像素集中的所述像素与所述锚像素邻近，并且所述第一像素集中的所述像素不在所述锚像素的相应的所述像素子集中
。10.
根据权利要求8所述的方法，其中用于所述锚像素的所述一组预测符包含：用于第一像素的第一空间预测符，其中所述第一像素与所述锚像素直接相邻；用于第二像素的第二空间预测符，其中所述第二像素与所述锚像素直接斜邻；和用于第三像素的第三空间预测符，其中所述第三像素与所述锚像素直接斜邻
。11.
根据权利要求8所述的方法，其中用于所述锚像素的所述一组预测符包含用于第三图像中的像素的空间预测符，其中所述第三图像是由所述第一图像下降取样得到
。12.
根据权利要求8所述的方法，其中用于所述锚像素的所述一组预测符包含用于所述第二像素集中的像素的时间预测符，其中所述第二像素集中的所述像素与所述锚像素位置相同

【专利技术属性】
技术研发人员：赫图尔，
申请(专利权)人：德州仪器公司，
类型：发明
国别省市：