视觉导航系统中的边缘化装置制造方法及图纸

本申请实施例提供一种视觉导航系统中的边缘化装置，用以解决边缘化过程中速度慢的问题，涉及集成电路技术领域。本申请实施例中采用硬件的方式实现边缘化，利用数据的不相关性，采用并行方式计算雅可比，提高运算性能。

【技术实现步骤摘要】
视觉导航系统中的边缘化装置
本申请涉及集成电路
，尤其涉及一种视觉导航系统中的边缘化装置。
技术介绍
在视觉导航(VSLAM)系统中为了简化设计，保持诸如相机位置和姿态、相机相对于IMU的位置和姿态以及图像特征等优化状态变量数量的稳定，使得系统不会因为时间的推进，导致优化状态变量数量一直增加下去，采用滑窗的设计方式。滑窗的方式在滑动的过程中必然会有新的图像帧进来以及旧的图像帧离开。直接将旧的图像帧丢弃会损失掉一些有用的信息，对系统性能会有一定的影响。边缘化能够将旧的图像帧的信息保留下来，从而使得旧的图像帧得到很好的利用。目前在相关技术的设计中，边缘化大都是采用软件来实现的，但是软件经过编译器处理后转换成机器指令，在中央处理器(centralprocessingunit，CPU)上执行速度慢。
技术实现思路
本申请的目的是提供一种视觉导航系统中的边缘化装置，用于解决边缘化过程中速度慢的问题。第一方面，本申请实施例提供了一种视觉导航系统中的边缘化装置，包括：标记和存储单元、参数块分发单元、参数计算电路，所述参数计算电路包括多个雅可比计算单元和参数计算单元，其中：所述标记和存储单元，用于获取本批次需要处理的至少一个参数块，根据预设标记规则对获取的各所述参数块分别进行类型标记，并存储各所述参数块；各所述参数块中包括用于进行视觉导航的相关参数；所述参数分发单元，用于针对每个参数块，根据所述参数块的类型，将所述参数块发送至边缘化计算电路中与所述参数块类型对应的雅可比计算单元；所述参数计算电路，用于针对接收到的每个参数块，基于所述参数块的类型对应的雅可比计算单元对所述参数块进行处理得到所述参数块的第一雅可比和第一残差，所述第一残差为所述参数块与预设信息之间的残差；所述参数计算电路还用于，采用所述参数计算单元基于各所述参数块的第一雅可比和第一残差，对各所述参数块进行过滤操作，并针对保留的每个参数块，采用保留的所述参数块的第一雅可比和第一残差计算得到保留的所述参数块的第二雅可比和第二残差。在一个实施例中，所述参数块中携带有边缘化标志，所述边缘化标志，用于指示是否要被边缘化，所述参数计算单元对所述参数块进行过滤操作时，具体用于：将所述边缘化标志为第二指定值的参数块过滤掉，保留所述边缘化标志为第一指定值的参数块。在一个实施例中，所述参数块中还携带有长度信息，所述长度信息，用于指示参数块的信息长度且与参数块类型一一对应，所述标记和存储单元存储所述参数块时根据所述长度信息连续存储。在一个实施例中，所述预设信息，包括：惯性传感器IMU预积分信息、视觉重投影信息、上一批次边缘化信息。在一个实施例中，所述参数计算单元包括：构建信息矩阵和残差子单元、参数提取子单元、舒尔补子单元、恢复雅可比和残差子单元；其中：所述构建信息矩阵和残差子单元，用于根据各所述参数块的第一雅可比构建第一信息矩阵，根据各所述参数块的第一残差构建残差向量；所述参数提取子单元，用于从所述第一信息矩阵中将边缘化标志为第一指定值的参数块提取出来，作为下一批次边缘化处理的上一批次边缘化信息；所述舒尔补子单元，用于对所述第一信息矩阵进行舒尔补操作，得到第二信息矩阵；所述恢复雅可比和残差子单元，用于采用预设算法根据所述保留的参数块的第一雅可比和第一残差计算得到所述保留的参数块的第二雅可比和第二残差。在一个实施例中，所述标记和存储单元执行根据预设标记规则对获取的各所述参数块分别进行类型标记时，具体用于：根据参数块类型指示信息确定所述参数块的类型。在一个实施例中，所述构建信息矩阵和残差单元，执行根据所述参数块的雅可比构建第一信息矩阵时，具体用于：根据边缘化标志确定所述第一雅可比在所述第一信息矩阵中的放置位置；根据所述放置位置，构建所述第一信息矩阵；其中，所述参数块的雅可比放置在所述第一信息矩阵的上半三角或下半三角。本申请采用硬件的方式，使视觉导航系统中边缘化运算能力大幅度上升，利用了数据的不相关性，采用并行方式计算雅可比，提高了处理性能，整体流程采用流水线的方式，前级模块和后级模块同时计算，进一步提高了系统的性能。本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的视觉导航系统中的边缘化装置的装置示意图；图2为本申请实施例提供的视觉导航系统中的边缘化装置的参数计算电路的示意图；图3为本申请实施例提供的视觉导航系统中的边缘化装置的参数计算单元的示意图。具体实施方式为了使本领域普通人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。需要说明的是，本申请的说明书和权利要求书的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。专利技术人研究发现，在视觉导航(VSLAM)系统中为了简化设计，保持优化状态变量数量的稳定，使得系统不会因为时间的推进，导致优化状态数量一直增加下去，采用滑窗的设计方式。滑窗的方式在滑动的过程中必然会有新的图像帧进来以及旧的图像帧离开。直接将旧的图像帧丢弃会损失掉一些有用的信息，对系统性能会有一定的影响。边缘化能够将旧的图像帧的信息保留下来，从而使得旧的图像帧得到很好的利用。目前在相关技术的设计中，边缘化大都是采用软件来实现的，但是软件经过编译器处理后转换成机器指令，在中央处理器(centralprocessingunit，CPU)上只能依序执行，执行速度慢。同时，当前指令的执行会被优先级更高的指令或者程序打断，这样进一步造成执行速度的降低。有鉴于此，本申请提出了一种视觉导航系统中边缘化装置，用于解决上述问题。本申请的专利技术构思可概括为：采用硬件的方式实现边缘化，利用数据的不相关性，采用并行方式计算雅可比，提高运算性能。如图1所示，为本申请实施例中的视觉导航系统中的边缘化装置的装置示意图。图中包括：标记和存储单元101、参数块分发单元102、参数计算电路103；其中：标记和存储单元101，用于获取至少一个参数块，根据预设标记规则本文档来自技高网...

【技术保护点】
1.一种视觉导航系统中的边缘化装置，其特征在于，所述装置包括：/n标记和存储单元、参数块分发单元、参数计算电路，所述参数计算电路包括多个雅可比计算单元和参数计算单元，其中：/n所述标记和存储单元，用于获取本批次需要处理的至少一个参数块，根据预设标记规则对获取的各所述参数块分别进行类型标记，并存储各所述参数块；各所述参数块中包括用于进行视觉导航的相关参数；/n所述参数分发单元，用于针对每个参数块，根据所述参数块的类型，将所述参数块发送至边缘化计算电路中与所述参数块类型对应的雅可比计算单元；/n所述参数计算电路，用于针对接收到的每个参数块，基于所述参数块的类型对应的雅可比计算单元对所述参数块进行处理得到所述参数块的第一雅可比和第一残差，所述第一残差为所述参数块与预设信息之间的残差；/n所述参数计算电路还用于，采用所述参数计算单元基于各所述参数块的第一雅可比和第一残差，对各所述参数块进行过滤操作，并针对保留的每个参数块，采用保留的所述参数块的第一雅可比和第一残差计算得到保留的所述参数块的第二雅可比和第二残差。/n

【技术特征摘要】
1.一种视觉导航系统中的边缘化装置，其特征在于，所述装置包括：
标记和存储单元、参数块分发单元、参数计算电路，所述参数计算电路包括多个雅可比计算单元和参数计算单元，其中：
所述标记和存储单元，用于获取本批次需要处理的至少一个参数块，根据预设标记规则对获取的各所述参数块分别进行类型标记，并存储各所述参数块；各所述参数块中包括用于进行视觉导航的相关参数；
所述参数分发单元，用于针对每个参数块，根据所述参数块的类型，将所述参数块发送至边缘化计算电路中与所述参数块类型对应的雅可比计算单元；
所述参数计算电路，用于针对接收到的每个参数块，基于所述参数块的类型对应的雅可比计算单元对所述参数块进行处理得到所述参数块的第一雅可比和第一残差，所述第一残差为所述参数块与预设信息之间的残差；
所述参数计算电路还用于，采用所述参数计算单元基于各所述参数块的第一雅可比和第一残差，对各所述参数块进行过滤操作，并针对保留的每个参数块，采用保留的所述参数块的第一雅可比和第一残差计算得到保留的所述参数块的第二雅可比和第二残差。


2.根据权利要求1所述的装置，其特征在于，所述参数块中携带有边缘化标志，所述边缘化标志，用于指示是否要被边缘化，所述参数计算单元对所述参数块进行过滤操作时，具体用于：
将所述边缘化标志为第二指定值的参数块过滤掉，保留所述边缘化标志为第一指定值的参数块。


3.根据权利要求1所述的装置，其特征在于，所述参数块中还携带有长度信息，所述长度信息，用于指示参数块的信息长度且与参数块类型一一对应，所述标记和存储单元存储所述...

【专利技术属性】
技术研发人员：杨永胜，王必胜，张弥，
申请(专利权)人：浙江欣奕华智能科技有限公司，
类型：发明
国别省市：浙江;33