可配置实时视差点云计算装置及方法制造方法及图纸

本发明专利技术提供一种可配置实时视差点云计算装置和方法，包括图像缓存单元、缓存控制器、PE阵列、结果整形模块、最小值搜索模块以及配置解析模块；图像缓存单元用于输出指定窗口大小和滑窗顺序的图像窗口数据；缓存控制器用于控制图像缓存单元输出图像窗口数据，并分发至PE阵列中的PE；PE阵列用于生成指定结构的若干PU，并得到SAD匹配代价计算结果；结果整形模块用于对匹配代价进行数据字段添加；最小值搜索模块用于对匹配代价逐级搜索最小值得到视差值；配置解析模块用于解析接收到的配置信息，生成相应的控制信号分别输入其他模块，可以实现视差点云计算实时进行，匹配参数可配置且无需重构。需重构。需重构。

【技术实现步骤摘要】
可配置实时视差点云计算装置及方法


[0001]本专利技术涉及微电子
，尤其涉及一种可配置实时视差点云计算装置及方法。

技术介绍

[0002]立体匹配是双目立体视觉中的关键环节，立体匹配算法根据像素信息相似性来搜索左右图的对应点，从而确定视差。通过对全图的像素点进行对应点搜索，可以生成整张图的视差点云，进而用于测距或三维重建等任务。立体匹配算法可以部署在中央处理器(Central Processing Unit,CPU)、图形处理器(Graphic Processing Unit，GPU)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、专用集成电路(Application Specific Integrated Circuit，ASIC)等不同的平台上。
[0003]CPU和GPU具有较好的可编程性，可以最大程度地适配不同的匹配参数，能够满足不同场景的立体匹配任务，但其实时性差，无法满足高实时性的应用需求；ASIC具有较高的能效与实时性，但其灵活性较差，无法适应不同的匹配参数。FPGA可以有效地加速计算密集型任务，但现有技术只能通过重构来适配不同的匹配参数，重构设计的时间成本较大。

技术实现思路

[0004]针对现有技术存在的问题，本专利技术提供一种可配置实时视差点云计算装置和方法。
[0005]第一方面，本专利技术提供一种可配置实时视差点云计算装置，包括：
[0006]图像缓存单元、缓存控制器、处理单元PE阵列、结果整形模块、最小值搜索模块以及配置解析模块；
[0007]其中，所述图像缓存单元与所述缓存控制器连接，用于在所述缓存控制器的控制下，按照指定窗口大小和滑窗顺序，对缓存的双目图像数据进行整形后输出图像窗口数据至所述缓存控制器；
[0008]所述缓存控制器分别与所述配置解析模块和所述PE阵列连接，用于根据所述配置解析模块传递的控制信号，控制所述图像缓存单元输出图像窗口数据，所述图像窗口数据经所述缓存控制器分发至所述PE阵列中的PE；
[0009]所述PE阵列分别与所述配置解析模块和所述结果整形模块连接，用于根据所述配置解析模块传递的控制信号，生成指定结构的若干PU，并基于所述指定结构的若干PU对输入的图像窗口数据进行处理，得到SAD匹配代价计算结果输出至所述结果整形模块；
[0010]所述结果整形模块分别与所述配置解析模块和所述最小值搜索模块连接，用于根据所述配置解析模块传递的控制信号，对输入的SAD匹配代价计算结果进行字段添加后输出至所述最小值搜索模块；
[0011]所述最小值搜索模块与所述配置解析模块连接，用于根据所述配置解析模块传递的控制信号和最小值搜索算法，对输入的SAD匹配代价计算结果逐级搜索最小值，并输出最
小匹配代价对应的视差值；
[0012]所述配置解析模块用于对接收到的配置信息进行解析，生成相应的控制信号分别输入至所述缓存控制器、所述PE阵列、所述结果整形模块和所述最小值搜索模块。
[0013]可选地，所述PE阵列中的PE采用上下左右互联的方式，在垂直方向上进行中间结果的传递，在水平方向上进行操作数及匹配代价的传递。
[0014]可选地，所述PE阵列中包括以下类型PE中的一种或多种：
[0015]Ultra PE，用于执行SAD匹配代价计算过程中，对两个操作数作差求绝对值，以及部分和的累加操作；
[0016]Standard PE，用于执行SAD匹配代价计算过程中，对两个操作数作差求绝对值，以及部分和的累加操作；
[0017]Lite PE，用于执行SAD匹配代价计算过程中，对两个操作数作差求绝对值的操作；
[0018]其中，所述Ultra PE对应的计算资源大于所述Standard PE。
[0019]可选地，所述PE阵列中的每一列均可配置成一个或者多个PU，所述PU用于执行指定窗口大小的SAD匹配代价计算操作。
[0020]可选地，所述PU中，第一行的PE为所述Ultra PE或所述Standard PE。
[0021]第二方面，本专利技术还提供一种可配置实时视差点云计算方法，包括：
[0022]所述配置解析模块对接收的配置信息进行解析，生成相应的控制信号，分别输入至所述缓存控制器、所述PE阵列、所述结果整形模块和所述最小值搜索模块；
[0023]所述缓存控制器根据所述配置解析模块传递的控制信号，按照指定窗口大小和滑窗顺序，控制所述图像缓存单元输出一路或多路双目图像数据对应的图像窗口数据；
[0024]所述PE阵列根据所述配置解析模块传递的控制信号，生成指定结构的若干PU，并基于所述指定结构的若干PU对输入的图像窗口数据进行处理，得到所述图像窗口数据对应的SAD匹配代价计算结果；
[0025]所述结果整形模块根据所述配置解析模块传递的控制信号，对所述PE阵列输出的所述SAD匹配代价计算的结果添加字段；
[0026]所述最小值搜索模块根据所述配置解析模块传递的控制信号和最小值搜索算法，对添加字段后的SAD匹配代价计算结果逐级搜索最小值，并输出最小匹配代价对应的视差值。
[0027]可选地，所述配置信息包括：
[0028]图像分辨率、匹配窗口大小、视差搜索深度、双目图像数据的路数以及PE工作模式。
[0029]可选地，所述配置信息的确定方式包括：
[0030]确定满足单数据流或者多数据流性能指标；
[0031]根据所述PE阵列中可分配的单位计算资源个数、每个数据流对应的视差搜索深度以及每个数据流对应的视频帧率分配计算资源；
[0032]根据分配的计算资源生成配置信息。
[0033]可选地，在数据流数量为两个的情况下，所述根据所述PE阵列中可分配的单位计算资源个数、每个数据流对应的视差搜索深度以及每个数据流对应的视频帧率分配计算资源，包括：
[0034]确定在为每个数据流都分配一个单位计算资源后所述PE阵列中剩余可分配的计算资源；
[0035]若所述剩余可分配的计算资源可以为每个数据流提供至少一个单位计算资源，且满足第一条件，则继续为每个数据流都分配一个单位计算资源；
[0036]若所述剩余可分配的计算资源可以为每个数据流提供至少一个单位计算资源，但不满足第一条件，则根据第一数值和第二数值之间的大小关系，单独为每个数据流分配单位计算资源；
[0037]其中，所述第一数值根据每个数据流对应的视差搜索深度和视频帧率确定，所述第二数值根据当前已分配给每个数据流的单位计算资源个数确定，所述第一条件根据所述第一数值、所述第二数值以及预设阈值确定。
[0038]可选地，所述方法还包括：
[0039]若所述剩余可分配的计算资源仅可以为目标数据流提供单位计算资源，则将所述剩余可分配的计算资源全部分配给目标数据流。
[0040]本专利技术提供的可配置实时视差点云计算装置及方法，通过配置解析模块实现适配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可配置实时视差点云计算装置，其特征在于，包括：图像缓存单元、缓存控制器、处理单元PE阵列、结果整形模块、最小值搜索模块以及配置解析模块；其中，所述图像缓存单元与所述缓存控制器连接，用于在所述缓存控制器的控制下，按照指定窗口大小和滑窗顺序，对缓存的双目图像数据进行整形后输出图像窗口数据至所述缓存控制器；所述缓存控制器分别与所述配置解析模块和所述PE阵列连接，用于根据所述配置解析模块传递的控制信号，控制所述图像缓存单元输出图像窗口数据，所述图像窗口数据经所述缓存控制器分发至所述PE阵列中的PE；所述PE阵列分别与所述配置解析模块和所述结果整形模块连接，用于根据所述配置解析模块传递的控制信号，生成指定结构的若干算法处理单元PU，并基于所述指定结构的若干PU对输入的图像窗口数据进行处理，得到SAD匹配代价计算结果输出至所述结果整形模块；所述结果整形模块分别与所述配置解析模块和所述最小值搜索模块连接，用于根据所述配置解析模块传递的控制信号，对输入的SAD匹配代价计算结果进行字段添加后输出至所述最小值搜索模块；所述最小值搜索模块与所述配置解析模块连接，用于根据所述配置解析模块传递的控制信号和最小值搜索算法，对输入的SAD匹配代价计算结果逐级搜索最小值，并输出最小匹配代价对应的视差值；所述配置解析模块用于对接收到的配置信息进行解析，生成相应的控制信号分别输入至所述缓存控制器、所述PE阵列、所述结果整形模块和所述最小值搜索模块。2.根据权利要求1所述的可配置实时视差点云计算装置，其特征在于，所述PE阵列中的PE采用上下左右互联的方式，在垂直方向上进行中间结果的传递，在水平方向上进行操作数及最终匹配代价的传递。3.根据权利要求2所述的可配置实时视差点云计算装置，其特征在于，所述PE阵列中包括以下类型PE中的一种或多种：Ultra PE，用于执行SAD匹配代价计算过程中，对两个操作数作差求绝对值，以及部分和的累加操作；Standard PE，用于执行SAD匹配代价计算过程中，对两个操作数作差求绝对值，以及部分和的累加操作；Lite PE，用于执行SAD匹配代价计算过程中，对两个操作数作差求绝对值的操作；其中，所述Ultra PE对应的计算资源大于所述Standard PE。4.根据权利要求3所述的可配置实时视差点云计算装置，其特征在于，所述PE阵列中的每一列均可配置为包括一个或者多个PU，所述PU用于执行指定窗口大小的SAD匹配代价计算操作。5.根据权利要求4所述的可配置实时视差点云计算装置，其特征在于，所述PU中，第一行的PE为所述Ultra PE或所述Standard PE。6.一种基于如权利要求1至5任一所述...

【专利技术属性】
技术研发人员：孟照腾，蒿杰，胡文庆，孙亚强，舒琳，历宁，范秋香，
申请(专利权)人：广东人工智能与先进计算研究院，
类型：发明
国别省市：