【技术实现步骤摘要】
本申请涉及图像处理，特别涉及一种目标对象检测方法、电子设备及存储介质。
技术介绍
1、人类可以用眼睛在3d场景中构建几何和语义信息，以有效地帮助人类与真实世界进行交互。3d语义场景补全任务尝试根据观察信息来重建几何和语义结构，并根据先验来补全遮挡区域。目前使用的3d语义场景补全任务技术大多依赖于具有深度信息的3d信号，例如，体素、点云、深度图和tsdf(truncated signed distance function，基于截断的带符号距离函数)等，这些具有深度信息的3d信号需要昂贵的传感器才能获得。因此，需要探索基于更便宜且易于部署的图像传感器的方案。
2、而准确的深度信息对于3d几何结构的重建和预测是至关重要，但是纯视觉的解决方案缺乏深度信息。在3d检测领域，纯视觉解决方案的精度已经可以与激光雷达解决方案相媲美。3d检测在加入深度信息后，可以被进一步完善。因此，如何通过使用多摄图像中隐含的深度信息来增强3d语义场景补全任务的纯视觉性能，实现目标对象检测，从而缩小纯视觉和依赖于3d信号的解决方案之间的差距，是亟待要解决的技术问题。
技术实现思路
1、鉴于上述问题，本申请实施例提供了一种目标对象检测方法、电子设备及存储介质，以便克服上述问题或者至少部分地解决上述问题。
2、本申请实施例的第一方面，公开了一种目标对象检测方法，所述方法包括：
3、获取从不同视角所采集的目标对象所在3d空间的多个图像；
4、对所述多个图像进行特征提取，得
5、针对每个所述2d图像特征，将所述2d图像特征变换到3d空间，得到n个变换3d特征，以及，对所述2d图像特征进行处理，得到n个3d体素在所述3d空间中的深度分布信息，一个3d体素对应于与该3d体素具有映射关系的不同视角的多个2d图像特征，n为大于1的整数；
6、将所述变换3d特征和所述深度分布信息进行融合，得到所述3d空间的3d占用体素信息，所述3d占用体素信息用于表征3d体素代表的单位3d空间内的物体分布情况；
7、基于所述3d占用体素信息对所述3d空间进行目标对象检测，得到目标对象的检测结果。
8、可选地，所述多个图像包括：第一视角图像和第二视角图像，所述多个2d图像特征包括：第一视角2d图像特征和第二视角2d图像特征；
9、所述将所述多个2d图像特征变换到3d空间，得到n个变换3d特征，包括：
10、将所述第一视角2d图像特征进行3d空间映射，得到n个第一视角3d映射体素特征，以及，将所述第二视角2d图像特征进行3d空间映射，得到n个第二视角3d映射体素特征；
11、针对所述n个第一视角3d映射体素特征和所述n个第二视角3d映射体素特征，将对应于同一3d体素的第一视角3d映射体素特征和第二视角3d映射体素特征进行融合，得到n个变换3d特征。
12、可选地，所述将所述第一视角2d图像特征进行3d空间映射，得到n个第一视角3d映射体素特征，包括：
13、构建3d空间中的n个3d体素，并将所述n个3d体素投影到所述第一视角2d图像特征，得到n个第一投影体素；根据所述第一视角2d图像特征对所述n个第一投影体素进行特征赋值，得到n个第一视角3d映射体素特征；
14、将所述第二视角2d图像特征进行3d空间映射，得到n个第二视角3d映射体素特征，包括：
15、将所述n个3d体素投影到所述第二视角2d图像特征上，得到n个第二投影体素；根据所述第二视角2d图像特征，对所述n个第二投影体素进行特征赋值，得到n个第二视角3d映射体素特征。
16、可选地，若对所述第一投影体素进行特征赋值后的赋值结果不符合目标格式；所述将所述第一视角2d图像特征进行3d空间映射，得到n个第一视角3d映射体素特征，还包括：
17、对赋值后的第一投影体素进行采样处理，得到第一视角3d映射体素特征；
18、以及，若对所述第二投影体素进行特征赋值后的赋值结果不符合所述目标格式；所述将所述第二视角2d图像特征进行3d空间映射，得到n个第二视角3d映射体素特征，还包括：
19、对赋值后的第二投影体素进行采样处理，得到第二视角3d映射体素特征。
20、可选地，所述将对应于同一3d体素的第一视角3d映射体素特征和第二视角3d映射体素特征进行融合，包括：
21、计算对应于同一3d体素的第一视角3d映射体素特征和第二视角3d映射体素特征之间的余弦相似度；
22、根据所述余弦相似度对对应于同一3d体素的第一视角3d映射体素特征和第二视角3d映射体素特征进行融合；其中，所述余弦相似度作为所述同一3d体素的第一视角3d映射体素特征和第二视角3d映射体素特征的融合权重。
23、可选地，所述对所述多个2d图像特征进行处理，得到n个3d体素在所述3d空间中的深度分布信息，包括：
24、对所述多个2d图像特征进行深度预测，得到n个3d体素在所述3d空间的深度特征；
25、对所述深度特征进行采样，得到所述n个3d体素在所述3d空间中的深度分布信息。
26、可选地，所述对所述深度特征进行采样，得到所述n个3d体素在所述3d空间中的深度分布信息，包括：
27、基于线性递增离散化方法，确定对深度特征进行采样的采样间隔；
28、按照所述采样间隔对所述深度特征进行网格采样，得到所述n个3d体素在所述3d空间中的深度分布信息。
29、可选地，所述方法还包括：
30、根据所述多个2d图像特征是否表征同一内容，生成3d体素掩码，其中，所述2d图像特征用于表征针对所述3d空间采集图像的内容；
31、根据所述3d体素掩码，对所述深度分布信息进行更新，得到更新后的深度分布信息，所述更新后的深度分布信息用于表征：在针对所述3d空间采集图像的同一内容同时存在于所述多个视角的多个图像中的情况下的深度分布信息；
32、所述将所述变换3d特征和所述深度分布信息进行融合，得到所述3d空间的3d占用体素信息，包括：
33、将所述变换3d特征和所述更新后的深度分布信息进行融合，得到所述3d空间的3d占用体素信息。
34、本申请实施例的第二方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如本申请实施例第一方面所述的目标对象检测方法。
35、本申请实施例的第三方面，公开了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请实施例第一方面所述的目标对象检测方法。
36、本申请实施例的第四方面，公开了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码被执行时实现本申请实施例第一方面所述的目标对象检测方法。
37本文档来自技高网...
【技术保护点】
1.一种目标对象检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述多个图像包括：第一视角图像和第二视角图像，所述多个2D图像特征包括：第一视角2D图像特征和第二视角2D图像特征；
3.根据权利要求2所述的方法，其特征在于，所述将所述第一视角2D图像特征进行3D空间映射，得到N个第一视角3D映射体素特征，包括：
4.根据权利要求3所述的方法，其特征在于，若对所述第一投影体素进行特征赋值后的赋值结果不符合目标格式；所述将所述第一视角2D图像特征进行3D空间映射，得到N个第一视角3D映射体素特征，还包括：
5.根据权利要求2所述的方法，其特征在于，所述将对应于同一3D体素的第一视角3D映射体素特征和第二视角3D映射体素特征进行融合，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述对所述多个2D图像特征进行处理，得到N个3D体素在所述3D空间中的深度分布信息，包括：
7.根据权利要求6所述的方法，其特征在于，所述对所述深度特征进行采样，得到所述N个3D体素在所述3D空
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如权利要求1-8任一项所述的目标对象检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-8任一项所述的目标对象检测方法。
11.一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码被执行时实现如权利要求1-8中任一项所述的目标对象检测方法。
...【技术特征摘要】
1.一种目标对象检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述多个图像包括：第一视角图像和第二视角图像，所述多个2d图像特征包括：第一视角2d图像特征和第二视角2d图像特征；
3.根据权利要求2所述的方法，其特征在于，所述将所述第一视角2d图像特征进行3d空间映射，得到n个第一视角3d映射体素特征，包括：
4.根据权利要求3所述的方法，其特征在于，若对所述第一投影体素进行特征赋值后的赋值结果不符合目标格式；所述将所述第一视角2d图像特征进行3d空间映射，得到n个第一视角3d映射体素特征，还包括：
5.根据权利要求2所述的方法，其特征在于，所述将对应于同一3d体素的第一视角3d映射体素特征和第二视角3d映射体素特征进行融合，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述对...
【专利技术属性】
技术研发人员：缪瑞航，刘伟舟，胡晨，陈明睿，龚政，许伟欣，周舒畅，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。