【技术实现步骤摘要】
在神经网络中统合图像及点云图的方法及装置
本专利技术涉及用于与自动驾驶车辆一同使用的学习方法及学习装置，更具体而言，涉及一种将借助于照相机获得的图像、通过雷达或激光雷达获得的点云图进行统合的学习方法及学习装置，以及利用其的测试方法及测试装置。
技术介绍
深层卷积神经网络(DeepConvolutionalNeuralNetwork：DeepCNN)是在深度学习领域发生的耀眼发展的核心。CNN为了解决文字识别问题而在90年代便已使用，但近来才在机器学习(MachineLearning)领域广泛使用。例如，CNN在2012年图像识别大赛(ImageNetLargeScaleVisualRecognitionChallenge)中战胜其他竞争者而赢得了冠军。之后，CNN成为了机器学习领域中非常有用的工具。最近，CNN在自动驾驶汽车领域极为广泛地使用。当在自动驾驶汽车领域使用时，CNN执行从附着于汽车的照相机获得图像并据此搜索车道线等的作用。但是，在CNN只利用从照相机获得的影像的情况下，在特定情况下，即在黑暗或大雾导致影像的可靠性不良的情况下，无法保障自动驾驶的安全性。因此，如果追加使用照相机之外的传感器，例如，使用至少一个雷达及/或至少一个激光雷达，则有助于更安全地进行自动驾驶，以往技术只将其单纯用作双轨方式(two-track)，只是独立地运算并利用照相机获得的信息和雷达及/或激光雷达获得的信息而已。在这种情况下，各个神经网络独立地运转，存在效率不高的问题。
技术实现思路
本...
【技术保护点】
1.一种将借助于至少一个照相机而生成的至少一个图像、与之对应的借助于至少一个雷达或激光雷达而生成的至少一个点云图，按神经网络的各个卷积步骤进行统合的方法，其特征在于，包括：/n(a)步骤，计算装置使至少一个初始运算层，将借助于所述照相机而生成的至少一个原始图像，同与之对应的借助于所述雷达或所述激光雷达而生成的至少一个原始点云图进行统合，(i)将所述原始点云图包含的深度信息添加于所述原始图像，从而生成至少一个第一融合特征图，及(ii)将所述原始图像包含的颜色信息添加于所述原始点云图，从而生成至少一个第一融合点云图；/n(b)步骤，所述计算装置使至少一个变换层，对所述第一融合特征图应用至少一个第一变换运算，从而生成第(1_1)中间特征图，对所述第一融合点云图应用至少一个第二变换运算，从而生成第(1_2)中间特征图；及/n(c)步骤，所述计算装置使至少一个统合层，统合所述第(1_1)中间特征图及所述第(1_2)中间特征图，从而生成第二融合特征图，对所述第二融合特征图应用至少一个映射运算，从而生成第二融合点云图。/n
【技术特征摘要】
20190131 US 16/2629841.一种将借助于至少一个照相机而生成的至少一个图像、与之对应的借助于至少一个雷达或激光雷达而生成的至少一个点云图，按神经网络的各个卷积步骤进行统合的方法，其特征在于，包括：
(a)步骤，计算装置使至少一个初始运算层，将借助于所述照相机而生成的至少一个原始图像，同与之对应的借助于所述雷达或所述激光雷达而生成的至少一个原始点云图进行统合，(i)将所述原始点云图包含的深度信息添加于所述原始图像，从而生成至少一个第一融合特征图，及(ii)将所述原始图像包含的颜色信息添加于所述原始点云图，从而生成至少一个第一融合点云图；
(b)步骤，所述计算装置使至少一个变换层，对所述第一融合特征图应用至少一个第一变换运算，从而生成第(1_1)中间特征图，对所述第一融合点云图应用至少一个第二变换运算，从而生成第(1_2)中间特征图；及
(c)步骤，所述计算装置使至少一个统合层，统合所述第(1_1)中间特征图及所述第(1_2)中间特征图，从而生成第二融合特征图，对所述第二融合特征图应用至少一个映射运算，从而生成第二融合点云图。
2.根据权利要求1所述的方法，其特征在于，还包括：
(d)步骤，所述计算装置反复进行所述(b)步骤及所述(c)步骤，其结果，(i)使所述变换层，对借助于所述统合层而生成的第N融合特征图应用至少一个所述第一变换运算，从而生成第N_1中间特征图，对借助于所述统合层而生成的第N融合点云图应用至少一个所述第二变换运算，从而生成第N_2中间特征图，(ii)使所述统合层，统合所述第N_1中间特征图及所述第N_2中间特征图，从而生成第N+1融合特征图，对所述第N+1融合特征图应用所述映射运算，从而生成第N+1融合点云图。
3.根据权利要求2所述的方法，其特征在于，还包括：
(e)步骤，所述计算装置使至少一个输出层，参照所述第N+1融合特征图及所述第N+1融合点云图中至少一部分，执行包括客体探测、语义分割及深度预测中至少一部分的、车辆自动驾驶所需运算中的至少一部分。
4.根据权利要求3所述的方法，其特征在于，还包括：
(f)步骤，借助于所述输出层而生成所述神经网络的至少一个输出后，所述计算装置参照所述输出及与之对应的至少一个地面真值GT，学习所述神经网络的一个以上参数的至少一部分。
5.根据权利要求1所述的方法，其特征在于，
在所述(a)步骤中，
所述第一融合特征图包括(i)所述原始图像包含的、关于各像素的原始颜色信息，及(ii)参照邻接所述雷达或所述激光雷达的三维空间上各位置的原始坐标信息而获得的、关于所述各像素的所述深度信息，其中，所述各位置包含于所述原始点云图，
所述第一融合点云图包括(i)所述原始坐标信息，及(ii)参照所述原始颜色信息获得的、关于所述各位置的所述颜色信息。
6.根据权利要求1所述的方法，其特征在于，
在所述(b)步骤中，
通过对所述第一融合特征图应用包括至少一个卷积运算的所述第一变换运算而生成所述第(1_1)中间特征图。
7.根据权利要求6所述的方法，其特征在于，
在所述(b)步骤中，
通过对所述第一融合特征图应用除至少一个卷积运算之外还包括至少一个修正线性单元ReLU运算及至少一个池化运算的所述第一变换运算而生成所述第(1_1)中间特征图。
8.根据权利要求1所述的方法，其特征在于，
在所述(b)步骤中，
通过对所述第一融合点云图应用包括至少一个神经网络运算、至少一个逆映射运算及至少一个卷积运算的所述第二变换运算而生成所述第(1_2)中间特征图，
所述逆映射运算是使(i)所述第一融合点云图包括的、所述颜色信息与三维坐标联动的形态的所述深度信息与(ii)所述第(1_1)中间特征图的各个特征联动的运算。
9.根据权利要求1所述的方法，其特征在于，
在所述(c)步骤中，
所述第二融合特征图通过将所述第(1_1)中间特征图及所述第(1_2)中间特征图沿通道方向级联而生成。
10.根据权利要求1所述的方法，其特征在于，
在所述(c)步骤中，
所述映射运算是使(i)所述第二融合特征图的各个特征值，与(ii)邻接所述雷达或所述激光雷达的三维空间上的各位置联动的运算。
11.一种测试方法，将借助于至少一个照相机而生成的至少一个图像、与此对应的借助于至少一个雷达或激光雷达而生成的至少一个点云图，按神经网络的各个卷积步骤进行统合并利用其进行测试，其特征在于，包括：
(a)步骤，(1)流程，学习装置使至少一个初始运算层，将借助于所述照相机而生成的至少一个原始训练图像，同与之对应的借助于所述雷达或所述激光雷达而生成的至少一个训练用原始点云图进行统合，(i)将所述训练用原始点云图包含的训练用深度信息添加于所述原始训练图像，从而生成至少一个训练用第一融合特征图，及(ii)将所述原始训练图像包含的训练用颜色信息添加于所述训练用原始点云图，从而生成至少一个训练用第一融合点云图；(2)流程，所述学习装置使至少一个变换层，对所述训练用第一融合特征图应用至少一个第一变换运算，从而生成训练用第(1_1)中间特征图，对所述训练用第一融合点云图应用至少一个第二变换运算，从而生成训练用第(1_2)中间特征图；(3)流程，所述学习装置使至少一个统合层，统合所述训练用第(1_1)中间特征图及所述训练用第(1_2)中间特征图，从而生成训练用第二融合特征图，对所述训练用第二融合特征图应用至少一个映射运算，从而生成训练用第二融合点云图；(4)流程，所述学习装置反复进行所述(2)流程及所述(3)流程，其结果，(i)使所述变换层，对借助于所述统合层而生成的训练用第N融合特征图应用至少一个所述第一变换运算，从而生成训练用第N_1中间特征图，对借助于所述统合层而生成的训练用第N融合点云图应用至少一个所述第二变换运算，从而生成训练用第N_2中间特征图，(ii)使所述统合层，统合所述训练用第N_1中间特征图及所述训练用第N_2中间特征图，从而生成训练用第N+1融合特征图，对所述训练用第N+1融合特征图应用所述映射运算，从而生成训练用第N+1融合点云图；(5)流程，所述学习装置使至少一个输出层，参照所述训练用第N+1融合特征图及所述训练用第N+1融合点云图中至少一部分，执行包括客体探测、语义分割及深度预测中至少一部分的、车辆自动驾驶所需运算中的至少一部分；(6)流程，借助于所述输出层而生成所述神经网络的至少一个输出后，所述学习装置参照所述输出及与之对应的至少一个GT，学习所述神经网络的一个以上参数的至少一部分；在执行了如上流程的状态下，
测试装置使所述初始运算层，将借助于所述照相机而生成的至少一个原始测试图像，同与之对应的借助于所述雷达或所述激光雷达而生成的至少一个测试用原始点云图进行统合，(i)将所述测试用原始点云图包含的测试用深度信息添加于所述原始测试图像，从而生成至少一个测试用第一融合特征图，及(ii)将所述原始测试图像包含的测试用颜色信息添加于所述测试用原始点云图，从而生成至少一个测试用第一融合点云图；
(b)步骤，所述测试装置使至少一个变换层，对所述测试用第一融合特征图应用至少一个第一变换运算，从而生成测试用第(1_1)中间特征图，对所述测试用第一融合点云图应用至少一个第二变换运算，从而生成测试用第(1_2)中间特征图；
(c)步骤，所述测试装置使所述统合层，统合所述测试用第(1_1)中间特征图及所述测试用第(1_2)中间特征图，从而生成测试用第二融合特征图，对所述测试用第二融合特征图应用至少一个映射运算，从而生成测试用第二融合点云图；
(d)步骤，所述测试装置反复进行所述(b)步骤及所述(c)步骤，其结果，(i)使所述变换层，对借助于所述统合层而生成的测试用第N融合特征图应用至少一个所述第一变换运算，从而生成测试用第N_1中间特征图，对借助于所述统合层而生成的测试用第N融合点云图应用至少一个所述第二变换运算，从而生成测试用第N_2中间特征图，(ii)使所述统合层，统合所述测试用第N_1中间特征图及所述测试用第N_2中间特征图，从而生成第N+1融合特征图，对所述测试用第N+1融合特征图应用所述映射运算，从而生成测试用第N+1融合点云图；
(e)步骤，所述测试装置使至少一个输出层，参照所述测试用第N+1融合特征图及所述测试用第N+1融合点云图中至少一部分，执行包括客体探测、语义分割及深度预测中至少一部分的、车辆自动驾驶所需运算中的至少一部分。
12.一种计算装置，将借助于至少一个照...
【专利技术属性】
技术研发人员：金桂贤，金镕重，金寅洙，金鹤京，南云铉，夫硕焄，成明哲，吕东勋，柳宇宙，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。