机器学习装置制造方法及图纸

本公开的一个实施方式的机器学习装置具备：路面检测处理部，其基于第一拍摄图像以及与第一拍摄图像对应的第一距离图像，检测第一拍摄图像中所包含的路面；距离值选择部，其基于路面检测处理部的处理结果，选择第一距离图像中所包含的多个距离值中的、成为处理对象的一个以上的距离值；以及学习处理部，其基于第一拍摄图像和一个以上的距离值进行机器学习处理，由此生成被输入第二拍摄图像并输出与第二拍摄图像对应的第二距离图像的学习模型。二拍摄图像对应的第二距离图像的学习模型。二拍摄图像对应的第二距离图像的学习模型。

【技术实现步骤摘要】
【国外来华专利技术】机器学习装置


[0001]本公开涉及一种基于拍摄图像和距离图像来进行学习处理的机器学习装置。

技术介绍

[0002]关于车辆而言，经常检测车外环境，并基于其检测结果进行车辆的控制。关于车外环境的识别而言，经常检测从车辆到周围的立体物的距离。在专利文献1中公开了基于拍摄图像和距离图像来进行神经网络的运算处理的技术。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1：日本特开2018
‑
147286号公报

技术实现思路

[0006]另外，存在基于拍摄图像而生成距离图像的学习模型。期望所生成的距离图像精度高，并期待精度的进一步提高。
[0007]期望提供一种能够生成学习模型的机器学习装置，该学习模型能够生成高精度的距离图像。
[0008]本公开的一个实施方式的机器学习装置具备路面检测处理部、距离值选择部、以及学习处理部。路面检测处理部构成为基于第一拍摄图像以及与第一拍摄图像对应的第一距离图像，检测第一拍摄图像中所包含的路面。距离值选择部构成为基于路面检测处理部的处理结果，选择第一距离图像中所包含的多个距离值中的、成为处理对象的一个以上的距离值。学习处理部构成为基于第一拍摄图像和一个以上的距离值进行机器学习处理，由此生成被输入第二拍摄图像并输出与第二拍摄图像对应的第二距离图像的学习模型。
[0009]根据本公开的一个实施方式的机器学习装置，能够生成学习模型，该学习模型能够生成高精度的距离图像。
附图说明
[0010]图1是示出使用本公开的一个实施方式的机器学习装置所生成的学习数据的车外环境识别系统的一个构成例的框图。
[0011]图2是示出本公开的一个实施方式的机器学习装置的一个构成例的框图。
[0012]图3是示出图2所示的路面检测处理部的一个动作例的说明图。
[0013]图4是示出图2所示的路面检测处理部的一个动作例的另一说明图。
[0014]图5是示出图2所示的路面检测处理部的一个动作例的另一说明图。
[0015]图6是示出图2所示的学习模型所涉及的神经网络的一个构成例的说明图。
[0016]图7是示出图2所示的机器学习装置的一个动作例的图像图。
[0017]图8是示出图2所示的机器学习装置的一个动作例的另一图像图。
[0018]图9是示出图2所示的机器学习装置的一个动作例的另一图像图。
[0019]图10是示出图2所示的机器学习装置的一个动作例的另一图像图。
[0020]图11是示出图1所示的车外环境识别系统中的拍摄图像的一例的图像图。
[0021]图12是示出在图1所示的车外环境识别系统中生成的参考例的距离图像的一例的图像图。
[0022]图13是示出在图1所示的车外环境识别系统中生成的距离图像的一例的图像图。
[0023]图14是示出变形例的机器学习装置的一个构成例的框图。
[0024]图15是示出另一变形例的机器学习装置的一个构成例的框图。
[0025]图16是示出另一变形例的机器学习装置的一个构成例的框图。
[0026]符号说明
[0027]10：车外环境识别系统；11：立体相机；11L：左相机；11R：右相机；12：处理部；13、14：距离图像生成部；15：车外环境识别部；20、20B、40、60：机器学习装置；21、41、61：存储部；22、22B、42、62：处理部；23、63：图像数据获取部；24、64：距离图像生成部；25、25B、45、65：图像处理部；31、51、71：图像边缘检测部；32、52、72：分组处理部；33、53、73：路面检测处理部；34、54、74：立体物检测处理部；35、55、75：距离值选择部；36：图像选择部；37、37B、57、77：学习处理部；43：数据获取部；100：车辆；A1：压缩处理；A2：卷积处理；B1：上采样处理；B2：卷积处理；DT、DT3：图像数据；DT4：距离图像数据；M：学习模型；P2：拍摄图像；PIC、PIC1、PIC2：立体图像；PIC3：拍摄图像；PL1、PL2：左图像；PR1、PR2：右图像；PZ4、PZ13、PZ14、PZ24、PZ31、PZ32、PZ35：距离图像；RA：运算对象区域
具体实施方式
[0028]以下，参照附图对本公开的实施方式详细地进行说明。
[0029]<实施方式>
[0030][构成例][0031]图1是示出使用由一个实施方式的机器学习装置(机器学习装置20)生成的学习模型来进行处理的车外环境识别系统10的一个构成例的图。车外环境识别系统10搭载于汽车等车辆100。车外环境识别系统10具备立体相机11和处理部12。
[0032]立体相机11构成为通过拍摄车辆100的前方，从而生成彼此具有视差的一组图像(左图像PL1和右图像PR1)。立体相机11具有左相机11L和右相机11R。左相机11L和右相机11R分别包括镜头和图像传感器。在该例中，左相机11L和右相机11R在车辆100的车辆内，在车辆100的前玻璃的上部附近，在车辆100的宽度方向上分开预定距离而配置。左相机11L生成左图像PL1，右相机11R生成右图像PR1。左图像PL1和右图像PR1构成立体图像PIC1。立体相机11通过以预定的帧速率(例如，60[fps])进行拍摄动作来生成一系列的立体图像PIC1，并将所生成的立体图像PIC1提供给处理部12。
[0033]处理部12由例如执行程序的一个或多个处理器、暂时地存储处理数据的一个或多个RAM(Random Access Memory：随机存取存储器)、存储程序的一个或多个ROM(Read Only Memory：只读存储器)等构成。处理部12具有距离图像生成部13、距离图像生成部14、以及车外环境识别部15。
[0034]距离图像生成部13构成为基于左图像PL1和右图像PR1，进行包括立体匹配处理、滤波处理等的预定的图像处理，由此生成距离图像PZ13。具体而言，距离图像生成部13基于
左图像PL1和右图像PR1，确定包含彼此对应的两个图像点(左图像点和右图像点)的对应点。左图像点包含例如左图像PL1中的配置成例如4行4列的16个像素，右图像点包含例如右图像PR1中的配置成例如4行4列的16个像素。左图像PL1中的左图像点的横坐标值与右图像PR1中的右图像点的横坐标值之差与三维的实际空间中的距离值对应。距离图像生成部13基于所确定的多个对应点来生成距离图像PZ13。距离图像PZ13包含多个距离值。多个距离值中的每一个既可以是三维的实际空间中的实际距离值，也可以是左图像PL1中的左图像点的横坐标值与右图像PR1中的右图像点的横坐标值之差即视差值。
[0035]在该例中，距离图像生成部14构成为基于作为左图像PL1和右图像PR1中的一方的拍摄图像，使用学习模型M生成距离图像PZ14。学习模型M是被输入拍本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种机器学习装置，其特征在于，具备：路面检测处理部，其基于第一拍摄图像以及与所述第一拍摄图像对应的第一距离图像，检测所述第一拍摄图像中所包含的路面；距离值选择部，其基于所述路面检测处理部的处理结果，选择所述第一距离图像中所包含的多个距离值中的、成为处理对象的一个以上的距离值；以及学习处理部，其基于所述第一拍摄图像和所述一个以上的距离值进行机器学习处理，由此生成学习模型，所述学习模型被输入第二拍摄图像并输出与所述第二拍摄图像对应的第二距离图像。2.根据权利要求1所述的机器学习装置，其特征在于，所述距离值选择部选择所述第一距离图像中所包含的多个距离值中的、在所述路面检测处理部的检测处理中所采用的距离值作为所述一个以上的距离值。3.根据权利要求2所述的机器学习装置，其特征在于，所述一个以上的距离值包括到所述第一拍摄图...

【专利技术属性】
技术研发人员：大久保淑实，
申请(专利权)人：株式会社斯巴鲁，
类型：发明
国别省市：