回环检测方法、装置、电子设备、存储介质和程序产品制造方法及图纸

本公开涉及图像数据处理技术领域，尤其涉及一种回环检测方法、装置、电子设备、存储介质和程序产品。所述方法包括：对待检测图像进行全景分割，得到所述待检测图像对应的全景分割结果；根据所述全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量；根据所述待检测图像对应的特征向量与已检测图像对应的特征向量之间的相似度，确定所述待检测图像的回环检测结果。本公开能够基于更深层次的、更全面的场景语义信息，提高对场景的理解能力，从而能够提高回环检测的鲁棒性，提高复杂动态场景下回环检测的准确性。高复杂动态场景下回环检测的准确性。高复杂动态场景下回环检测的准确性。

【技术实现步骤摘要】
回环检测方法、装置、电子设备、存储介质和程序产品


[0001]本公开涉及图像数据处理
，尤其涉及一种回环检测方法、装置、电子设备、存储介质和程序产品。

技术介绍

[0002]目前，SLAM（Simultaneous Localization And Mapping，同步定位与建图）算法的经典框架主要包括前端里程计
‑
后端非线性优化
‑
回环检测
‑
建图。回环检测作为SLAM算法的一个重要组成部分，在消除建图累计误差上具有重要作用。

技术实现思路

[0003]本公开提供了一种回环检测技术方案。
[0004]根据本公开的一方面，提供了一种回环检测方法，包括：对待检测图像进行全景分割，得到所述待检测图像对应的全景分割结果；根据所述全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量；根据所述待检测图像对应的特征向量与已检测图像对应的特征向量之间的相似度，确定所述待检测图像的回环检测结果。
[0005]在一种可能的实现方式中，所述根据所述全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量，包括：去除所述全景分割结果中的动态对象，得到修正的全景分割结果；根据所述修正的全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量。
[0006]在一种可能的实现方式中，所述预设类别包括预设的静态前景类别；所述根据所述全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量，包括：根据所述全景分割结果中所述预设的静态前景类别的对象的数量，生成所述待检测图像对应的静态前景向量；至少根据所述静态前景向量，生成所述待检测图像对应的特征向量。
[0007]在一种可能的实现方式中，所述预设类别包括预设的静态前景类别；所述根据所述全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量，包括：根据所述全景分割结果中所述预设的静态前景类别的对象的位置，生成所述待检测图像对应的位置向量；至少根据所述位置向量，生成所述待检测图像对应的特征向量。
[0008]在一种可能的实现方式中，所述预设的静态前景类别包括至少两种；所述根据所述全景分割结果中所述预设的静态前景类别的对象的位置，生成所述
待检测图像对应的位置向量，包括：将至少两种预设的静态前景类别中，对象数量最多的类别确定为目标类别；其中，任意一种预设的静态前景类别的对象数量，表示所述全景分割结果中所述预设的静态前景类别的对象的数量；从所述目标类别的对象中确定参考对象；根据所述全景分割结果中的对象相对于所述参考对象的位置，生成所述待检测图像对应的位置向量。
[0009]在一种可能的实现方式中，所述从所述目标类别的对象中确定参考对象，包括：将所述目标类别的对象中，距离所述待检测图像的几何中心最近的对象，确定为参考对象。
[0010]在一种可能的实现方式中，所述预设类别包括预设的静态背景类别；所述根据所述全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量，包括：根据所述全景分割结果中所述预设的静态背景类别的对象包含的像素数，生成所述待检测图像对应的背景向量；至少根据所述背景向量，生成所述待检测图像对应的特征向量。
[0011]在一种可能的实现方式中，所述对待检测图像进行全景分割，得到所述待检测图像对应的全景分割结果，包括：通过第二全景分割模型对待检测图像进行全景分割，得到所述待检测图像对应的全景分割结果，其中，所述第二全景分割模型是基于训练完成的第一全景分割模型进行知识蒸馏和/或剪枝得到的，所述第一全景分割模型是采用预设数据集训练得到的。
[0012]在一种可能的实现方式中，所述根据所述待检测图像对应的特征向量与已检测图像对应的特征向量之间的相似度，确定所述待检测图像的回环检测结果，包括：响应于所述待检测图像对应的特征向量与任一已检测图像对应的特征向量之间的相似度大于或等于预设的相似度阈值，确定所述待检测图像为回环节点；或者，响应于所述待检测图像对应的特征向量与各个已检测图像对应的特征向量之间的相似度均小于所述预设的相似度阈值，确定所述待检测图像不为回环节点。
[0013]根据本公开的一方面，提供了一种回环检测装置，包括：全景分割模块，用于对待检测图像进行全景分割，得到所述待检测图像对应的全景分割结果；生成模块，用于根据所述全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量；确定模块，用于根据所述待检测图像对应的特征向量与已检测图像对应的特征向量之间的相似度，确定所述待检测图像的回环检测结果。
[0014]在一种可能的实现方式中，所述生成模块用于：去除所述全景分割结果中的动态对象，得到修正的全景分割结果；根据所述修正的全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量。
[0015]在一种可能的实现方式中，所述预设类别包括预设的静态前景类别；所述生成模块用于：根据所述全景分割结果中所述预设的静态前景类别的对象的数量，生成所述待检测图像对应的静态前景向量；至少根据所述静态前景向量，生成所述待检测图像对应的特征向量。
[0016]在一种可能的实现方式中，所述预设类别包括预设的静态前景类别；所述生成模块用于：根据所述全景分割结果中所述预设的静态前景类别的对象的位置，生成所述待检测图像对应的位置向量；至少根据所述位置向量，生成所述待检测图像对应的特征向量。
[0017]在一种可能的实现方式中，所述预设的静态前景类别包括至少两种；所述生成模块用于：将至少两种预设的静态前景类别中，对象数量最多的类别确定为目标类别；其中，任意一种预设的静态前景类别的对象数量，表示所述全景分割结果中所述预设的静态前景类别的对象的数量；从所述目标类别的对象中确定参考对象；根据所述全景分割结果中的对象相对于所述参考对象的位置，生成所述待检测图像对应的位置向量。
[0018]在一种可能的实现方式中，所述生成模块用于：将所述目标类别的对象中，距离所述待检测图像的几何中心最近的对象，确定为参考对象。
[0019]在一种可能的实现方式中，所述预设类别包括预设的静态背景类别；所述生成模块用于：根据所述全景分割结果中所述预设的静态背景类别的对象包含的像素数，生成所述待检测图像对应的背景向量；至少根据所述背景向量，生成所述待检测图像对应的特征向量。
[0020]在一种可能的实现方式中，所述全景分割模块用于：通过第二全景分割模型对待检测图像进行全景分割，得到所述待检测图像对应的全景分割结果，其中，所述第二全景分割模型是基于训练完成的第一全景分割模型进行知识蒸馏和/或剪枝得到的，所述第一全景分割模型是采用预设数据集训练得到的。
[0021]在一种可能的实现方式中，所述确定模块用于：响应于所述待检测图像对应的特征向量与任一已检测图像对应的特征向量之间的相似度大于或等于预设的相似度阈值，确定所述待检测图像为回环节点；或者，响应于所述待检测图像对应的特征向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种回环检测方法，其特征在于，包括：对待检测图像进行全景分割，得到所述待检测图像对应的全景分割结果；根据所述全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量；根据所述待检测图像对应的特征向量与已检测图像对应的特征向量之间的相似度，确定所述待检测图像的回环检测结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量，包括：去除所述全景分割结果中的动态对象，得到修正的全景分割结果；根据所述修正的全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量。3.根据权利要求1或2所述的方法，其特征在于，所述预设类别包括预设的静态前景类别；所述根据所述全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量，包括：根据所述全景分割结果中所述预设的静态前景类别的对象的数量，生成所述待检测图像对应的静态前景向量；至少根据所述静态前景向量，生成所述待检测图像对应的特征向量。4.根据权利要求1或2所述的方法，其特征在于，所述预设类别包括预设的静态前景类别；所述根据所述全景分割结果中预设类别的对象的信息，生成所述待检测图像对应的特征向量，包括：根据所述全景分割结果中所述预设的静态前景类别的对象的位置，生成所述待检测图像对应的位置向量；至少根据所述位置向量，生成所述待检测图像对应的特征向量。5.根据权利要求4所述的方法，其特征在于，所述预设的静态前景类别包括至少两种；所述根据所述全景分割结果中所述预设的静态前景类别的对象的位置，生成所述待检测图像对应的位置向量，包括：将至少两种预设的静态前景类别中，对象数量最多的类别确定为目标类别；其中，任意一种预设的静态前景类别的对象数量，表示所述全景分割结果中所述预设的静态前景类别的对象的数量；从所述目标类别的对象中确定参考对象；根据所述全景分割结果中的对象相对于所述参考对象的位置，生成所述待检测图像对应的位置向量。6.根据权利要求5所述的方法，其特征在于，所述从所述目标类别的对象中确定参考对象，包括：将所述目标类别的对象中，距离所述待检测图像的几何中心最近的对象，确定为参考对象。7.根据权利要求1或2所述的方法，其特征在于，所述预设类别包括预设的静态背景类

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：摩尔线程智能科技上海有限责任公司，
类型：发明
国别省市：