用于逼真性的图像增强制造技术

本公开提供“用于逼真性的图像增强”。一种计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以：将变换函数应用于来自真实世界数据集的多个图像以生成多个特征向量，应用子空间生成算法以生成子空间的基向量，并将模拟图像投影到所述子空间上以生成逼真合成图像。上以生成逼真合成图像。上以生成逼真合成图像。

【技术实现步骤摘要】
用于逼真性的图像增强


[0001]本公开总体上涉及车辆传感器，并且更具体地涉及车辆传感器图像数据增强。

技术介绍

[0002]车辆可配备有计算装置、网络、传感器和控制器以获取关于车辆的环境的数据并且基于所述数据来操作车辆。车辆传感器可提供关于在车辆环境中要行驶的路线和要避开的对象的数据。车辆的操作可依赖于在车辆正在道路上进行操作时获取关于车辆的环境中的对象的准确且及时的数据。车辆可以使用神经网络从由车辆传感器收集的图像数据识别对象。

技术实现思路

[0003]一种系统包括计算机，所述计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以：将变换函数应用于来自真实世界数据集的多个图像以生成多个特征向量，应用子空间生成算法以生成子空间的基向量，并且将模拟图像投影到所述子空间上以生成合成图像。
[0004]所述指令还可以包括将所述合成图像输入到神经网络以训练所述神经网络的指令。
[0005]所述指令还可以包括将来自传感器的图像数据输入到所述神经网络以识别以下中的一者的指令：附接到车辆的挂接球或挂车附接所述车辆的两个部分之间的角度。
[0006]所述指令还可以包括用于以下各项的指令：将所述变换函数应用于所述模拟图像以生成模拟特征向量，将所述模拟特征向量投影到所述子空间上以生成合成特征向量，并且将所述变换函数的逆函数应用于所述合成特征向量以生成所述合成图像。
[0007]所述变换函数可以是离散余弦变换、傅里叶变换、卷积自编码器或离散小波变换中的一者。
[0008]所述指令还可以包括从多个模拟图像生成多个合成图像并且通过将所述多个合成图像输入到神经网络来训练所述神经网络的指令。
[0009]所述指令还可以包括从图像生成引擎生成多个模拟图像并且从所述多个模拟图像生成所述多个合成图像的指令。
[0010]子空间生成算法可以是主分量分析算法、独立分量分析算法或稀疏字典学习算法中的一者。
[0011]所述指令还可以包括用于以下各项的指令：向包括一些但并非所有所述多个特征向量的一组特征向量分配来自所述多个特征向量中的具有高于所有所述多个特征向量的协方差矩阵中的阈值的本征值总和的特征向量，并且从所述一组特征向量的本征向量生成所述子空间的所述基向量。
[0012]所述指令还可以包括将从所述模拟图像生成的所述特征向量投影到所述子空间上以包括所述模拟图像中不存在的逼真特征的指令。
[0013]一种方法包括：将变换函数应用于来自真实世界数据集的多个图像以生成多个特征向量，应用子空间生成算法以生成子空间的基向量，以及将模拟图像投影到所述子空间上以生成合成图像。
[0014]所述方法还可以包括将所述合成图像输入到神经网络以训练所述神经网络。
[0015]所述方法还可以包括将来自传感器的图像数据输入到所述神经网络以识别以下中的一者：附接到车辆的挂接球或挂车附接所述车辆的两个部分之间的角度。
[0016]所述方法还可以包括：将所述变换函数应用于所述模拟图像以生成模拟特征向量，将所述模拟特征向量投影到所述子空间上以生成合成特征向量，以及将所述变换函数的逆函数应用于所述合成特征向量以生成所述合成图像。
[0017]所述方法还可以包括从多个模拟图像生成多个合成图像以及通过将所述多个合成图像输入到神经网络来训练所述神经网络。
[0018]所述方法还可以包括从图像生成引擎生成多个模拟图像以及从所述多个模拟图像生成所述多个合成图像。
[0019]所述方法还可以包括向包括一些但并非所有所述多个特征向量的一组特征向量分配来自所述多个特征向量中的具有高于所有所述多个特征向量的协方差矩阵中的阈值的本征值总和的特征向量，以及从所述一组特征向量的本征向量生成所述子空间的所述基向量。
[0020]所述方法还可以包括将从所述模拟图像生成的所述特征向量投影到所述子空间上以包括所述模拟图像中不存在的逼真特征。
[0021]还公开了一种计算装置，所述计算装置被编程为执行上述方法步骤中的任一者。还公开了一种包括所述计算装置的车辆。还公开了一种计算机程序产品，所述计算机程序产品包括计算机可读介质，所述计算机可读介质存储指令，所述指令可由计算机处理器执行以执行上述方法步骤中的任一者。
附图说明
[0022]图1A
‑
图1B是用于训练神经网络的示例性系统的框图。
[0023]图2示出了将模拟图像投影到子空间上。
[0024]图3是用于生成子空间的示例性过程的图示。
[0025]图4是用于将模拟图像投影到子空间上来生成合成图像的示例性过程的图示。
具体实施方式
[0026]神经网络需要大量数据集进行训练。为了训练神经网络以执行任务，例如识别图像中的对象，可以将传感器在真实世界环境中收集的参考图像与地面实况标签一起输入到神经网络。可以调整神经网络的成本函数，直到神经网络的输出基本上识别参考图像中表示的对象。训练可能需要大量图像，从而消耗大量和/或庞大量的计算机存储器。收集所有可能场景的真实数据来训练神经网络可能是不实际的。因此，可以利用真实数据和模拟数据的组合来训练神经网络。然而，模拟数据可能缺乏逼真性，并且可能使训练次优。可以基于所收集的真实数据将逼真性添加到模拟图像，以改进对神经网络的训练。使用图像的真实世界数据集，计算机使用可逆特征变换算法将真实世界数据集中的每个图像转换为“逼
真”特征向量，即，存在于图像的真实世界数据集中的每个图像现在被表示为“N”维特征向量。然后，计算机可以生成这些逼真特征向量的子空间。计算机可以利用图像生成引擎来生成模拟图像，使用与真实世界数据集使用的相同特征变换将模拟图像转换成“模拟”特征向量，并且通过将模拟特征向量投影到子空间上，通过将逆特征变换应用于所投影的特征向量来获得所得出的合成图像。因此，计算机通过将模拟特征向量投影到真实子空间上来将逼真性添加到模拟图像，从而提高用于训练神经网络的图像的适用性。
[0027]图1A
‑
图1B是用于利用逼真图像训练神经网络的示例性系统的框图。系统包括计算机100。计算机100包括处理器105和存储器110，如图1A所示。存储器110可以是任何类型，例如，硬盘驱动器、固态驱动器、服务器或任何易失性或非易失性介质。存储器110可以是与处理器105分开的装置。存储器110可以存储可由处理器105执行的指令。处理器105和存储器110通过通信总线115(诸如CAN总线、LIN总线等)进行通信。
[0028]计算机100包括图像生成引擎120，如图1B所示。图像生成引擎120(或图像引擎120)是处理器105可以遵循以生成模拟图像125的计算机100的编程。也就是说，“引擎”是软件编程，并且计算机100执行由图像生成引擎120提供的指令以生成如本文所公开的模拟图像。“图像”是对视觉数据(例如，照片)进行编码的值的二维阵列。例如，图像可以是值的二维阵列。阵列的每个元素可以是数字照片本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，其包括：将变换函数应用于来自真实世界数据集的多个图像以生成多个特征向量；应用子空间生成算法来生成子空间的基向量；以及将模拟图像投影到所述子空间上以生成合成图像。2.如权利要求1所述的方法，其还包括将所述合成图像输入到神经网络以训练所述神经网络。3.如权利要求2所述的方法，其还包括将来自传感器的图像数据输入到所述神经网络以识别以下中的一者：附接到车辆的挂接球或挂车附接所述车辆的两个部分之间的角度。4.如权利要求1所述的方法，其还包括将所述变换函数应用于所述模拟图像以生成模拟特征向量，将所述模拟特征向量投影到所述子空间上以生成合成特征向量，以及将所述变换函数的逆函数应用于所述合成特征向量以生成所述合成图像。5.如权利要求1所述的方法，其中所述变换函数是离散余弦变换、傅里叶变换、卷积自编码器或离散小波变换中的一者。6.如权利要求1所述的方法，其还包括从多个模拟图像生成多个合成图像，以及通过将所述多个合成图像输入到神经网络来训练所述神经网络。7.如权利要求6所述的方法，其还包括从图像生成引擎生成多个模拟图像以及从所述多个模拟图像生成所述多个合成图像。8.如权利要求1
‑
7中任一项所述的方法，其中所述子空间生成算法是主分量分析算法、独立分量分析算法或稀疏字典学习算法中的一者。9.如权利要求1
...

【专利技术属性】
技术研发人员：高拉夫，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：