距离推定装置、距离推定方法和保存有距离推定用计算机程序的非瞬时性的计算机可读介质制造方法及图纸

提供即使是比较少的存储器容量也能够适当地推定到具有复杂形状的对象物的距离的距离推定装置、距离推定方法和保存有距离推定用计算机程序的非瞬时性的计算机可读介质。通过从包括参考图像和源图像的多个图像分别提取特征图，在假想地配置的多个假想平面上进行源特征图的射影，从而生成代价容量，在从参考图像的视点朝向与参考图像所包含的对象像素相当的方向的直线上设定多个采样点，使用与周围坐标关联的特征量对各采样点的特征量进行插值，将与各采样点对应的特征量输入到识别器，由此算出与采样点对应的占有概率，通过对各采样点的占有概率与各采样点距参考图像的视点的距离之积进行加法运算，从而推定从参考图像的视点到对象物的表面的距离。的视点到对象物的表面的距离。的视点到对象物的表面的距离。

【技术实现步骤摘要】
距离推定装置、距离推定方法和保存有距离推定用计算机程序的非瞬时性的计算机可读介质


[0001]本公开涉及对到对象物为止的距离进行推定的距离推定装置、距离推定方法以及距离推定用计算机程序。

技术介绍

[0002]基于多视点立体视觉的距离推定装置通过使用图像集来重构对象物的三维构造，能够推定到对象物为止的距离，该图像集是通过多个摄像头从不同的视点拍摄对象物来生成的。
[0003]专利文献1记载了使用设定在三维空间中的预定尺寸的体素来表示对象物的形状的三维形状数据的生成装置。
[0004]现有技术文献
[0005]专利文献1；日本特开2020－004219号公报

技术实现思路

[0006]专利技术要解决的技术问题
[0007]通过计算机对使用体素来表示的三维形状进行处理的情况下的存储器使用量会以分辨率的三次方进行增加。因此，难以提高使用体素表示的对象物的三维构造的分辨率。因此，适当地推定到具有复杂形状的对象物为止的距离并不容易。
[0008]本公开的目的在于即使是比较少的存储器容量也能够适当地推定到具有复杂形状的对象物为止的距离的距离推定装置。
[0009]用于解决问题的技术方案
[0010]本公开涉及的距离推定装置距离推定装置具备：提取部，其从通过参考拍摄部生成的参考图像提取参考特征图，并且，从分别通过一个以上的源拍摄部生成的源图像分别提取源特征图，该参考拍摄部从预定的参考位置拍摄对象物，该参考特征图表示与参考图像所包含的各像素对应的特征量，该一个以上的源拍摄部从与参考位置不同的位置拍摄对象物，该源特征图表示该源图像所包含的各像素的特征量；生成部，通过在多个假想平面上进行源特征图的射影，生成对多个假想平面上的坐标关联了特征量而得到的代价容量，所述多个假想平面是通过对在参考特征图中与参考图像所包含的各像素对应的特征量进行变换以使其与使参考拍摄部的像面沿着参考拍摄部的光轴方向进行了移动时的该像面所对应的图像的各像素对应而假想地配置的多个假想平面；设定部，其在代价容量中，在从参考位置朝向与参考图像所包含的多个像素中的任一个对象像素相当的方向的直线上设定多个采样点；插值部，其对于分别与多个采样点对应的特征量，在代价容量中使用与多个假想平面中的配置在该采样点的附近的假想平面上的、该采样点的附近的坐标相关联了的特征量来进行插值；算出部，其通过将与被进行了插值的多个采样点对应的各特征量输入到识别器来算出与该采样点对应的占有概率，识别器被进行了学习，以使得根据与多个假想
平面中的任一个假想平面上的任一个坐标对应的特征量来输出占有概率，该占有概率表示该坐标成为对象物的内部的概率；以及推定部，其通过对分别与多个采样点对应的占有概率和该采样点距参考位置的距离之积进行加法运算，从而推定从参考位置到对象物的表面为止的距离。
[0011]在本公开涉及的距离推定装置中，优选算出部将分别与多个采样点对应的占有概率以与该采样点相邻的一对采样点的间隔越大则权重越大的方式进行加权。
[0012]在本公开涉及的距离推定装置中，优选识别器在使用包括表示了教师对象物的教师参考图像和表示了教师对象物并具有与教师参考图像的视点不同的视点的教师源图像的教师数据而生成的教师代价容量中被进行学习，以使得关于在从教师参考图像的视点朝向与教师参考图像所包含的多个像素中的关联了所表示的教师对象物的深度的教师像素相当的方向的教师采样直线上所设定的多个教师采样点推定的占有概率和根据与教师像素相关联了的深度算出的占有状态之差变小。
[0013]在本公开涉及的距离推定装置中，优选多个教师采样点被设定为越接近与教师像素相关联了的深度则间隔越密。
[0014]在本公开涉及的距离推定装置中，优选识别器被进行学习以使得关于多个教师采样点推定的占有概率和教师像素的占有状态之差变小，并且，被进行学习以使得根据关于多个教师采样点推定的占有概率算出的教师对象物的深度和与该教师像素相关联了的深度之差变小。
[0015]在本公开涉及的距离推定装置中，优选识别器使用关于如下所述的多个教师采样点推定的占有概率来进行学习，该多个教师采样点是坐标值被使用按各教师像素设定的值进行了变更的多个教师采样点。
[0016]本公开涉及的距离推定方法包括：从通过参考拍摄部生成的参考图像提取参考特征图，并且，从分别通过一个以上的源拍摄部生成的源图像分别提取源特征图，该参考拍摄部从预定的参考位置拍摄对象物，该参考特征图表示与参考图像所包含的各像素对应的特征量，该一个以上的源拍摄部从与参考位置不同的位置拍摄对象物，该源特征图表示该源图像所包含的各像素的特征量；通过在多个假想平面上进行源特征图的射影，生成对多个假想平面上的坐标关联了特征量而得到的代价容量，所述多个假想平面是通过对在参考特征图中与参考图像所包含的各像素对应的特征量进行变换以使其与使参考拍摄部的像面沿着参考拍摄部的光轴方向进行了移动时的该像面所对应的图像的各像素对应而假想地配置的多个假想平面；在代价容量中，在从参考位置朝向与参考图像所包含的多个像素中的任一个对象像素相当的方向的直线上设定多个采样点；对于分别与多个采样点对应的特征量，在代价容量中使用与多个假想平面中的配置在该采样点的附近的假想平面上的、该采样点的附近的坐标相关联了的特征量来进行插值；通过将与被进行了插值的多个采样点对应的各特征量输入到识别器来算出与该采样点对应的占有概率，该识别器被进行了学习，以使得根据与多个假想平面中的任一个假想平面上的任一个坐标对应的特征量来输出占有概率，该占有概率表示该坐标成为对象物的内部的概率；以及通过对分别与多个采样点对应的占有概率和该采样点距参考位置的距离之积进行加法运算，从而推定从参考位置到对象物的表面为止的距离。
[0017]本公开涉及的非瞬时性的计算机可读介质中所保存的距离推定用计算机程序使
计算机执行：从通过参考拍摄部生成的参考图像提取参考特征图，并且，从分别通过一个以上的源拍摄部生成的源图像分别提取源特征图，该参考拍摄部从预定的参考位置拍摄对象物，该参考特征图表示与参考图像所包含的各像素对应的特征量，该一个以上的源拍摄部从与参考位置不同的位置拍摄对象物，该源特征图表示该源图像所包含的各像素的特征量；通过在多个假想平面上进行源特征图的射影，生成对多个假想平面上的坐标关联了特征量而得到的代价容量，所述多个假想平面是通过对在参考特征图中与参考图像所包含的各像素对应的特征量进行变换以使其与使参考拍摄部的像面沿着参考拍摄部的光轴方向进行了移动时的该像面所对应的图像的各像素对应而假想地配置的多个假想平面；在代价容量中，在从参考位置朝向与参考图像所包含的多个像素中的任一个对象像素相当的方向的直线上设定多个采样点；对于分别与多个采样点对应的特征量，在代价容量中使用与多个假想平面中的配置在该采样点的附近的假想平面上的、该采样点的附近的坐标相关联了的特征量来进行插值；通过将与被进行了插值的多个采样点对应的各特征量输入到识别器来算出与该采样点对应的占有概率，该识别器被进行了学习，以使得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种距离推定装置，具备：提取部，其从通过参考拍摄部生成的参考图像提取参考特征图，并且，从分别通过一个以上的源拍摄部生成的源图像分别提取源特征图，所述参考拍摄部从预定的参考位置拍摄对象物，所述参考特征图表示与所述参考图像所包含的各像素对应的特征量，所述一个以上的源拍摄部从与所述参考位置不同的位置拍摄所述对象物，所述源特征图表示该源图像所包含的各像素的特征量；生成部，其通过在多个假想平面上进行所述源特征图的射影，生成对所述多个假想平面上的坐标关联了特征量而得到的代价容量，所述多个假想平面是通过对在所述参考特征图中与所述参考图像所包含的各像素对应的特征量进行变换以使其与使所述参考拍摄部的像面沿着所述参考拍摄部的光轴方向进行了移动时的该像面所对应的图像的各像素对应而假想地配置的多个假想平面；设定部，其在所述代价容量中，在从所述参考位置朝向与所述参考图像所包含的多个像素中的任一个对象像素相当的方向的直线上设定多个采样点；插值部，其对于分别与所述多个采样点对应的特征量，在所述代价容量中使用与所述多个假想平面中的配置在该采样点的附近的假想平面上的、该采样点的附近的坐标相关联了的特征量来进行插值；算出部，其通过将与被进行了插值的所述多个采样点对应的各特征量输入到识别器来算出与该采样点对应的占有概率，所述识别器被进行了学习，以使得根据与所述多个假想平面中的任一个假想平面上的任一个坐标对应的特征量来输出所述占有概率，所述占有概率表示该坐标成为所述对象物的内部的概率；以及推定部，其通过对分别与所述多个采样点对应的所述占有概率和该采样点距所述参考位置的距离之积进行加法运算，从而推定从所述参考位置到所述对象物的表面为止的距离。2.根据权利要求1所述的距离推定装置，所述算出部将分别与多个采样点对应的占有概率以与该采样点相邻的一对采样点的间隔越大则权重越大的方式进行加权。3.根据权利要求1或者2所述的距离推定装置，所述识别器在使用包括表示了教师对象物的教师参考图像和表示了所述教师对象物并具有与所述教师参考图像的视点不同的视点的教师源图像的教师数据而生成的教师代价容量中被进行学习，以使得：关于在从所述教师参考图像的视点朝向与所述教师参考图像所包含的多个像素中的关联了所表示的所述教师对象物的深度的教师像素相当的方向的教师采样直线上所设定的多个教师采样点推定的占有概率和根据与所述教师像素相关联了的深度算出的占有状态之差变小。4.根据权利要求3所述的距离推定装置，所述多个教师采样点被设定为越接近与所述教师像素相关联了的深度则间隔越密。5.根据权利要求3或者4所述的距离推定装置，所述识别器被进行学习以使得关于所述多个教师采样点推定的所述占有概率和所述教师像素的所述占有状态之差变小，并且，被进行学习以使得根据关于所述多个教师采样点推定的占有概率算出的所述教师对象物的深度和与该教师像素相关联了的深度之差变
小。6.根据权利要求3～5中任一项所述的距离推定装置，所述识别器使用关于如下所述的多个教师采样点推定的所述占有概率来进行学习，该多个教师采样点是坐标值被使用按各所述教师像素设定的值进行了变更的多个教师采样点。7.一种距离推定方法，包括：从通过参考拍摄部生成的参考图像提取参考特征图，并且，从分别通过一个以上的源...

【专利技术属性】
技术研发人员：W，
申请(专利权)人：丰田自动车株式会社，
类型：发明
国别省市：