训练卷积神经网络的方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本公开公开了一种训练卷积神经网络的方法，其特征在于，包括：确定图像对集合，所述图像对集合中的图像对与标签信息对应，所述标签信息用于指示与所述标签信息对应的图像对中的第一图像与第二图像间的变换参数；确定卷积神经网络的输出项目，所述输出项目的数量与所述变换参数的元素数量对应；根据所述图像对集合训练所述卷积神经网络。根据本公开实施例提供的训练卷积神经网络的方法、装置、电子设备和计算机可读存储介质所训练的卷积神经网络，能够用于确定输入的图像对的变换参数，相对于现有技术更加高效、准确、便捷。

Method, Device, Electronic Equipment and Computer Readable Storage Media for Training Convolutional Neural Networks

【技术实现步骤摘要】
训练卷积神经网络的方法、装置、电子设备和计算机可读存储介质
本公开涉及信息处理领域，尤其涉及一种训练卷积神经网络的方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着计算机技术的进步，与图像相关的应用愈发丰富，例如经过训练的卷积神经网络能够用于对输入图像的识别和/或分类。在虚拟现实和仿真等图像处理领域，两幅图像之间的变换参数能够用于支撑各种应用，作为示例，视频流中的第一图像和随后的第二图像之间可能发生了形变(包括但不限于包括缩放、旋转、平移等)，例如第一图像中的一个或多个像素在第二图像中被映射到了其他位置，那么可以根据第一图像和第二图像之间的变换参数来确定第一图像中的一个或多个像素在第二图像中被映射的具体位置。在确定该变换参数时，常见的处理方式包括：首先在第一图像中提取该一个或多个像素的颜色特征，然后在第二图像中确定与所提取的颜色特征满足相似度要求的像素的位置作为第一图像中该一个或多个像素在第二图像中被映射的具体位置，然后根据映射前后的位置计算出变换参数，以支撑各种应用。根据上述现有技术确定两幅图像之间的变换参数，需要将第二图像中的所有像素的颜色特征与第一图像中的像素的颜色特征做比对，计算量巨大，并且仅根据一个或多个像素的颜色特征的相似度来进行定位存在较大误差，例如第二图像中满足相似度要求的像素可能与第一图像中的一个或多个像素在图像内容上无关。
技术实现思路
本公开实施例提供训练卷积神经网络的方法，装置，电子设备，和计算机可读存储介质，根据本公开实施例训练的卷积神经网络能够用于确定输入的图像对的变换参数，相对于现有技术更加高效、准确、便捷。第一方面，本公开实施例提供一种训练卷积神经网络的方法，其特征在于，包括：确定图像对集合，所述图像对集合中的图像对与标签信息对应，所述标签信息用于指示与所述标签信息对应的图像对中的第一图像与第二图像间的变换参数；确定卷积神经网络的输出项目，所述输出项目的数量与所述变换参数的元素数量对应；根据所述图像对集合训练所述卷积神经网络。进一步的，所述变换参数包括矩阵。进一步的，所述矩阵包括3*3大小的单应性矩阵。进一步的，所述确定图像对集合，包括：获取所述第一图像；从变换参数集合中确定所述变换参数；根据所述第一图像和所述变换参数生成所述第二图像。进一步的，所述从变换参数集合中确定所述变换参数，包括：从所述变换参数集合中以随机的方式确定所述变换参数。进一步的，所述标签信息与所述变换参数集合中的各变换参数一一对应。进一步的，根据所述第一图像和所述变换参数生成所述第二图像，包括：将所述第一图像中的像素的坐标乘以所述变换参数得到所述第二图像中与所述第一图像中的像素对应的像素的坐标；和/或，将所述第一图像中的像素的颜色信息作为所述第二图像中与所述第一图像中的像素对应的像素的颜色信息。进一步的，根据所述图像对集合训练所述卷积神经网络，包括：将所述图像对集合输入所述卷积神经网络；确定所述卷积神经网络的所述输出项目的输出值；根据所述输出项目的输出值和所述变换参数构造损失函数；根据所述损失函数更新所述卷积神经网络的参数。进一步的，在根据所述图像对集合训练所述卷积神经网络之后，还包括：获取输入图像对；确定所述卷积神经网络的所述输出项目的输出值；根据所述输出项目的输出值确定与所述输入图像对中的第一图像与第二图像之间的输入图像对变换参数。进一步的，在根据所述输出项目的输出值确定与所述输入图像对中的第一图像与第二图像之间的输入图像对变换参数之后，还包括：从所述输入图像对的第一图像中确定第一像素；根据所述第一像素的坐标和所述输入图像对变换参数得到所述输入图像对的第二图像中与所述第一像素对应的第二像素的坐标；在以所述第二像素的坐标为圆心，以预设距离为半径的圆形区域中确定与所述第一像素的颜色的相似度最高的像素。第二方面，本公开实施例提供一种训练卷积神经网络的装置，其特征在于，包括：图像对集合确定模块，用于确定图像对集合，所述图像对集合中的图像对与标签信息对应，所述标签信息用于指示与所述标签信息对应的图像对中的第一图像与第二图像间的变换参数；输出项目确定模块，用于确定卷积神经网络的输出项目，所述输出项目的数量与所述变换参数对应；训练模块，用于根据所述图像对集合训练所述卷积神经网络。进一步的，所述变换参数包括矩阵。进一步的，所述矩阵包括3*3大小的单应性矩阵。进一步的，所述训练卷积神经网络的装置还包括图像获取模块，变换参数确定模块，和第二图像生成装置，所述图像获取模块用于：获取所述第一图像；所述变换参数确定模块用于：从变换参数集合中确定所述变换参数；所述第二图像生成装置用于：根据所述第一图像和所述变换参数生成所述第二图像。进一步的，所述变换参数确定模块还用于：从所述变换参数集合中以随机的方式确定所述变换参数。进一步的，所述标签信息与所述变换参数集合中的各变换参数一一对应。进一步的，所述第二图像生成装置还用于：将所述第一图像中的像素的坐标乘以所述变换参数得到所述第二图像中与所述第一图像中的像素对应的像素的坐标；和/或，将所述第一图像中的像素的颜色信息作为所述第二图像中与所述第一图像中的像素对应的像素的颜色信息。进一步的，所述训练模块还用于：将所述图像对集合输入所述卷积神经网络；确定所述卷积神经网络的所述输出项目的输出值；根据所述输出项目的输出值和所述变换参数构造损失函数；根据所述损失函数更新所述卷积神经网络的参数。进一步的，所述训练卷积神经网络的装置还包括输入图像对获取模块，输出值确定模块，和输入图像对变换参数确定模块，所述输入图像对获取模块用于：获取输入图像对；所述输出值确定模块用于确定所述卷积神经网络的所述输出项目的输出值；所述输入图像对变换参数确定模块用于根据所述输出项目的输出值确定与所述输入图像对中的第一图像与第二图像之间的输入图像对变换参数。进一步的，所述训练卷积神经网络的装置还包括第一像素确定模块，第二像素坐标确定模块，和相似度最高像素确定模块，所述第一像素确定模块用于从所述输入图像对的第一图像中确定第一像素；所述第二像素坐标确定模块用于根据所述第一像素的坐标和所述输入图像对变换参数得到所述输入图像对的第二图像中与所述第一像素对应的第二像素的坐标；所述相似度最高像素确定模块用于在以所述第二像素的坐标为圆心，以预设距离为半径的圆形区域中确定与所述第一像素的颜色的相似度最高的像素。第三方面，本公开实施例提供一种电子设备，包括：存储器，用于存储计算机可读指令；以及与所述存储器耦合的一个或多个处理器，用于运行所述计算机可读指令，使得所述处理器运行时实现前述第一方面中的任一所述训练卷积神经网络的方法。第四方面，本公开实施例提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行前述第一方面中的任一所述训练卷积神经网络的方法。本公开公开了一种训练卷积神经网络的方法、装置、电子设备和计算机可读存储介质。其中所述训练卷积神经网络的方法，其特征在于，包括：确定图像对集合，所述图像对集合中的图像对与标签信息对应，所述标签信息用于指示与所述标签信息对应的图像对中的第一图像与第二图像间的变换参数；确定卷积神经网络的输出项目，所述本文档来自技高网...

【技术保护点】
1.一种训练卷积神经网络的方法，其特征在于，包括：确定图像对集合，所述图像对集合中的图像对与标签信息对应，所述标签信息用于指示与所述标签信息对应的图像对中的第一图像与第二图像间的变换参数；确定卷积神经网络的输出项目，所述输出项目的数量与所述变换参数的元素数量对应；根据所述图像对集合训练所述卷积神经网络。

【技术特征摘要】
1.一种训练卷积神经网络的方法，其特征在于，包括：确定图像对集合，所述图像对集合中的图像对与标签信息对应，所述标签信息用于指示与所述标签信息对应的图像对中的第一图像与第二图像间的变换参数；确定卷积神经网络的输出项目，所述输出项目的数量与所述变换参数的元素数量对应；根据所述图像对集合训练所述卷积神经网络。2.根据权利要求1所述的训练卷积神经网络的方法，其特征在于，所述变换参数包括矩阵。3.根据权利要求2所述的训练卷积神经网络的方法，其特征在于，所述矩阵包括3*3大小的单应性矩阵。4.根据权利要求1到3中任一所述的训练卷积神经网络的方法，其特征在于，所述确定图像对集合，包括：获取所述第一图像；从变换参数集合中确定所述变换参数；根据所述第一图像和所述变换参数生成所述第二图像。5.根据权利要求4所述的训练卷积神经网络的方法，其特征在于，所述从变换参数集合中确定所述变换参数，包括：从所述变换参数集合中以随机的方式确定所述变换参数。6.根据权利要求5所述的训练卷积神经网络的方法，其特征在于，所述标签信息与所述变换参数集合中的各变换参数一一对应。7.根据权利要求4所述的训练卷积神经网络的方法，其特征在于，根据所述第一图像和所述变换参数生成所述第二图像，包括：将所述第一图像中的像素的坐标乘以所述变换参数得到所述第二图像中与所述第一图像中的像素对应的像素的坐标；和/或将所述第一图像中的像素的颜色信息作为所述第二图像中与所述第一图像中的像素对应的像素的颜色信息。8.根据权利要求1所述的训练卷积神经网络的方法，其特征在于，根据所述图像对集合训练所述卷积神经网络，包括：将所述图像对集合输入所述卷积神经网络；确定所述卷积神经网络的所述输出项目的输出值；根据所述输出项目的输出值和...

【专利技术属性】
技术研发人员：郭亨凯，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11