【技术实现步骤摘要】
本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置和计算机可读存储介质，更具体地，图像处理方法涉及一种用于在全景图像中检测关键点的方法和一种用于创建训练基于深度学习的神经网络的样本的方法。
技术介绍
1、在计算机视觉的图像处理任务中往往需要首先从原始图像中提取感兴趣点，例如，可以通过诸如同步定位和制图(slam)或运动推断结构(sfm)等算法来获得感兴趣点。由于图像中的这些感兴趣点可以是在不同条件(如不同的照明或视点)下是稳定和可重复的点，因而通过感兴趣点可以反映出图像的特征，而这样的感兴趣点故也可被称为关键点。正因如此，在诸如图像匹配、平面图生成以及3d重建等应用中，标注、提取关键点具有重要意义。然而，本领域中现有的关键点检测方法对于全景图像的适用性仍有待改进。
2、此外，虽然基于深度学习的方法可用于对关键点进行检测和标注，但现有的神经网络训练方法通常需要使用大量的带有人工标签的训练数据(例如，几百万个图像)，其通常难以获得并需要花费大量的人工标注工作，导致训练过程耗时耗力。与此同时，在对训练数据进行标注的过程中，还可能发生人工判别不准确导致输入错误标签的情形，从而对神经网络的训练造成不利影响。
3、因此，需要一种能够在全景图像的应用中自动标记关键点的图像处理方法和装置。
技术实现思路
1、鉴于以上，本公开提出如下图像处理方法、装置和计算机可读存储介质，从而解决现有技术中的至少上述技术问题或对现有技术进行改进。
2、根据本公开的一个方面，提
3、根据本公开的一个实施例，其中，基于空间变换参数对源全景图像进行变换来生成一个或多个目标全景图像和查找表包括：基于源全景图像生成二维坐标网格，其中，该二维坐标网格具有与源全景图像相同的尺寸，并且包括源全景图像中的每个像素的坐标；将二维坐标网格转换到三维球坐标系中，以生成与源全景图像相关联的三维球面；基于空间变换参数对三维球面进行变换；对经变换后的三维球面进行标准化处理，以生成与源全景图像相关联的单位球面；将单位球面转换到二维坐标系中，以生成查找表；以及将源全景图像中的每个像素通过查找表进行映射，以生成目标全景图像。
4、根据本公开的一个实施例，其中，三维球坐标系具有x，y，z三个坐标轴，基于空间变换参数对三维球面进行变换包括：沿三维球坐标系中的至少一个轴以第一数值对与源全景图像相关联的三维球面进行平移；和/或绕三维球坐标系中的至少一个轴以第二数值对与源全景图像相关联的三维球面进行旋转，其中，第一数值和第二数值由空间变换参数确定。经变换后的三维球面中的点的三维坐标值表示为(x,y,z)，以及对经变换后的三维球面进行标准化处理包括：使经变换后的三维球面中的每个点的三维坐标值满足x2+y2+z2＝1。
5、根据本公开的一个实施例，其中，在目标全景图像中检测作为关键点的第一像素集包括：使用基于深度学习的神经网络来检测目标全景图像中作为关键点的第一像素集。
6、根据本公开的一个实施例，其中，基于深度学习的神经网络通过以下处理进行训练，包括：输入样本全景图像；生成基于样本全景图像的立方体，以获得作为立方体的面的六个透视图；在六个透视图中的每个中标注作为关键点的像素；将标注了关键点的六个透视图合成为标注了关键点的合成全景图像；以及使用合成全景图像作为训练数据来训练基于深度学习的神经网络。
7、根据本公开的一个实施例，其中，对于生成多个目标全景图像的情形，还包括：将在多个目标全景图像中的每个目标全景图像中检测的关键点映射回源全景图像；以及从源全景图像中所映射的关键点中去除重复的冗余关键点，以获得源全景图像中作为关键点的第二像素集。
8、根据本公开的另一个方面，提供了一种用于创建训练基于深度学习的神经网络的样本的方法，该神经网络用于在全景图像中检测关键点，该方法包括：通过本公开上述方面和实施例的方法，获得标注了关键点的多个全景图像；以及使用所述标注了关键点的多个全景图像作为训练所述神经网络的样本全景图像。
9、根据本公开的另一个方面，提供了一种图像处理装置，包括：接收单元，配置为接收源全景图像；变换单元，配置为基于空间变换参数对源全景图像进行变换，以生成一个或多个目标全景图像和查找表，其中，该查找表指示源全景图像中的像素与目标全景图像中的像素之间的映射关系；以及检测单元，配置为在目标全景图像中检测作为关键点的第一像素集，并且将在目标全景图像中检测的第一像素集通过查找表映射回源全景图像，以获得源全景图像中作为关键点的第二像素集。
10、根据本公开的又一个方面，提供了一种图像处理装置，处理器；和存储器，在存储器中存储有计算机程序指令，其中，在计算机程序指令被处理器运行时，使得处理器执行以下步骤：获得源全景图像；基于空间变换参数对源全景图像进行变换，以生成一个或多个目标全景图像和查找表，其中，该查找表指示源全景图像中的像素与目标全景图像中的像素之间的映射关系；在目标全景图像中检测作为关键点的第一像素集；以及将在目标全景图像中检测的第一像素集通过查找表映射回源全景图像，以获得源全景图像中作为关键点的第二像素集。
11、根据本公开的又一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，计算机程序指令被处理器执行时实现以下步骤：获得源全景图像；基于空间变换参数对源全景图像进行变换，以生成一个或多个目标全景图像和查找表，其中，该查找表指示源全景图像中的像素与目标全景图像中的像素之间的映射关系；在目标全景图像中检测作为关键点的第一像素集；以及将在目标全景图像中检测的第一像素集通过查找表映射回源全景图像，以获得源全景图像中作为关键点的第二像素集。
12、根据本公开的上述图像处理方法、图像处理装置以及计算机可读存储介质，通过模拟相机运动的方式来生成目标图像和对应关键点，从而能够在源图像和目标图像两者全景图像上自动地对关键点进行标注，显著提高了图像处理的效率和准确性。此外，根据本公开的上述图像处理方法、图像处理装置和计算机可读存储介质，还能够解决全景图像失真导致的关键点匹配错误或不准确问题，进一步提高了在全景图像中的关键点检测的准确性。
本文档来自技高网...【技术保护点】
1.一种用于在全景图像中检测关键点的方法，包括：
2.如权利要求1所述的方法，其中，所述基于空间变换参数对所述源全景图像进行变换来生成一个或多个目标全景图像和查找表包括：
3.如权利要求2所述的方法，其中，所述基于所述空间变换参数对所述三维球面进行变换包括：
4.如权利要求2所述的方法，其中，所述三维球坐标系具有x，y，z三个坐标轴，以及所述经变换后的三维球面中的点的三维坐标值表示为(x,y,z)，以及
5.如权利要求1所述的方法，其中，所述在所述目标全景图像中检测作为关键点的第一像素集包括：
6.如权利要求5所述的方法，其中，所述基于深度学习的神经网络通过以下处理进行训练，所述处理包括：
7.如权利要求1所述的方法，其中，对于生成多个目标全景图像的情形，还包括：
8.一种用于创建训练基于深度学习的神经网络的样本的方法，所述神经网络用于在全景图像中检测关键点，所述方法包括：
9.一种图像处理装置，包括：
10.一种图像处理装置，包括：
11.一种计算机可读存储介
...【技术特征摘要】
1.一种用于在全景图像中检测关键点的方法，包括：
2.如权利要求1所述的方法，其中，所述基于空间变换参数对所述源全景图像进行变换来生成一个或多个目标全景图像和查找表包括：
3.如权利要求2所述的方法，其中，所述基于所述空间变换参数对所述三维球面进行变换包括：
4.如权利要求2所述的方法，其中，所述三维球坐标系具有x，y，z三个坐标轴，以及所述经变换后的三维球面中的点的三维坐标值表示为(x,y,z)，以及
5.如权利要求1所述的方法，其中，所述在所述目标全景图像中检测作为关键点的第一像素...
【专利技术属性】
技术研发人员：张恒之，伊红，贾海晶，张宇鹏，王炜，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。