影像特征提取方法及其显著物体预测方法技术

本发明专利技术公开一种类神经网络的影像特征提取方法及其显著物体预测方法，适用于环景影像，包含下列步骤：将环景影像投影至立方模型以产生包含多个图像且彼此具有链接关系的图像组；以图像组作为类神经网络的输入，其中，当类神经网络的运算层对其中多个图像进行填补运算时，根据连结关系由多个图像中的相邻图像取得须填补的数据，以保留图像边界部分的特征；以及由类神经网络的运算层的运算而产生填补特征图，并由填补特征图中提取影像特征图。

Image feature extraction and salient object prediction

The invention discloses an image feature extraction method of a kind of neural network and a prominent object prediction method, which are applicable to the circular image, and comprises the following steps: projecting the circular image to a cubic model to generate an image group containing multiple images and having a link relationship with each other; taking the image group as the input of the neural network, wherein, when the operation layer of the neural network has multiple images among them In the image filling operation, according to the connection relationship, the data to be filled is obtained from the adjacent images of multiple images, so as to retain the features of the boundary part of the image; and the filling feature map is generated by the operation of the neural network like operation layer, and the image feature map is extracted from the filling feature map.

【技术实现步骤摘要】
影像特征提取方法及其显著物体预测方法
本专利技术是关于一种类神经网络的影像特征提取方法及其显著物体预测方法，运用本专利技术的经由立方模型(Cubemodel)进行立方填补(Cubepadding)的图像处理方式，使影像在极点的特征表现完整且不失真，以符合使用者的需求。
技术介绍
近年来，影像拼接技术开始蓬勃发展，且360度环景影像是当今被广泛应用的一种影像呈现方式，因为其可无死角的对应各个方位故可运用在各个领域上，并再套用于现今的机器学习方式，可研发出无死角的预测与学习。但由于现今环景影像大多是等距圆柱投影方法(EQUI)即为方格投影，但等距圆柱投影会造成图像在南北极(极点附近)的扭曲也会产生多余的像素(即失真)，也产生物体辨识及应用的不便，以计算机视觉的系统处理这些影像时，也会因为投影的扭曲降低预测的精准度。因此，在环景影像的显著度预测上，如何能在机器学习的训练架构中，更有效率的处理环景影像极点失真问题，并更快速且精准的产生输出特征值将是相关图像处理厂商所希望达成之目标，因此，本专利技术的专利技术人思索并设计一种影像特征提取方法并透过机器学习的方式与现有的技术做比较，并针对现有技术的缺失加以改善，进而增进产业上之实施利用。
技术实现思路
有鉴于上述现有技术的问题，本专利技术的目的就是在提供一种影像特征提取方法及其显著物体预测方法，以解决现有技术影像修补方法修补出来的对象可能仍有瑕疵或是不自然失真的无法提取图像特征值的缺陷。根据本专利技术的目的，提出一种影像特征提取方法及其显著物体预测方法，其包含以下步骤：于将环景影像投影至立方模型(Cubemodel)以产生包含多个图像且彼此具有链接关系的图像组(Imagestack)；以图像组作为该类神经网络(ConvolutionNeuralNetworks，CNN)的输入，其中，当类神经网络的运算层(Operationlayer)对其中多个图像进行填补运算(Padding)时，根据连结关由多个图像中的相邻图像(Neighboringimages)取得须填补的数据，以保留图像边界部分的特征；以及由类神经网络的运算层的运算而产生填补特征图(Paddedfeaturemap)，并由填补特征图中提取影像特征图，影像特征图并运用静态模型再提取静态显著物体图，也可在类神经网络的运算层中插入长短期记忆神经网络运算层(longshort-termmemory，LSTM)的运算产生填补特征图，并在运用损失方程式(Lossfunction)对填补特征图进行修正后，进而产生的动态显著物体图。优选地，环景影像可包含任何具有360度视角的影像呈现方式。优选地，立方模型不局限除了本专利技术的立方六面模型，也可包含延伸到具有多边形模型，例如，八面模型及十二面模型等。优选地，多个图像且彼此具有链接关系的图像组(Imagestack)，其连接关系的连接方式运用其立方模型并将环景影像放入立方模型之中进行投影的预处理(Pre-process)，此预处理将立方模型的六面的面与面之间相对应图像边界运用重迭方法(Overlap)的方式进行，使其在类神经网络训练中在进行调整。优选地，多个图像可包含任何将环景影像投影至立方模型且具有链接关系的多个图像所形成的图像组，且图像组之间有依连接关系产生的相对性位置的多个图像。优选地，图像组确认连接关系的多个图像并运用如上述其经过预处理(Pre-process)的立方模型后，并依此图像组做为类神经网络(CNN)的输入。优选地，其图像组运用类神经网络的运算层训练，在训练过程中会运用运算层(Operationlayer)进行影像特征提取训练，并在训练的同时对经过立方模型且具有链接关系的多个图像所形成的图像组中的相邻图像(Neighboringimages)进行填补运算(Padding)即为立方填补(cubepadding)，其相邻图像为立方模型中面与面之间的图像即为相邻图像，如此每一个图像组在类神经网络的运算层训练皆有至少相对应的上方、下方、左方、右方的四方相邻图像，依据其相邻图像的重迭关系并确认其图像边界的特征值，并运用其运算层的边界再进一步确认其图像边界的边界范围。优选地，对运算层的范围可进一步包含图像的相邻图像取得须填补的数据的范围由运算层之一过滤器(Filter)的维度(Dimension)所控制。优选地，图像组在经过类神经网络的运算层训练中确认相邻图像的标示与重迭关系后即为填补特征图，在本专利技术调整图像组在经过类神经网络的运算层训练中确认相邻图像的标示与重迭关系使其在类神经网络训练过程中在特征抓取与效率上有优化的表现。优选地，运算层对该图像组进行运算时，可进一步包含产生彼此具有上述连结关系的多个填补特征图。优选地，在图像组在经过类神经网络的运算层训练中确认相邻图像的表示与重迭关后即为填补特征图，在经由后处理模块(Post-process)，此后处理模块对填补特征图中运用最大池化(Max-pooling)、反向投影(Inverseprojection)以及升频(Up-sampling)等处理方法把经过类神经网络的运算层的填补特征图提取出影像特征图。优选地，并对其影像特征图进行静态模型(Staticmodel,Ms)修正后对其提取静态显著物体图，其静态模型修正在影像特征图运用标示真值(Groundtruth，GT)来确认影像特征的方式并对各图像的画素进行显著性评分(Saliencyscoring)即为静态显著物体图(Staticsaliencymap,)。优选地，本专利技术使用其显著性评分方法需先经过扫描曲线下面积方法如本专利技术提及的线性相关系数(LinearCorrelationCoefficient，CC)、贾德曲线下面积方法(AUC-Judd，AUC-J)以及多波曲线下面积方法(AUC-Borji，AUC-B)皆为举例的扫描曲线下面积方法，故本专利技术皆可适用于任一扫描曲线下面积方法，并在经过扫描曲线下面积方法过后才可对其抓取影像特征图进行一显著性评分。优选地，显著性评分，主要调整再优化本专利技术的影像特征提取方法在静态模型以及插入长短期记忆神经网络运算层的动态模型之中，并可同时从评分上再比较现有技术方法以及基线(Baseline)，例如零填补(Zero-padding)、运动幅度(MotionMagnitude)、一致性显著影像(ConsistentVideoSal)以及显著神经(SalGAN)，并确认此本专利技术从显著性评分此客观的方法中可明显展现出卓越的分数。优选地，其图像组经由类神经网络的运算层训练可插入在长短期记忆神经网络运算层中产生的两个具有时间连续性特征的填补特征图，且其图像组具有与上述所说明的立方模型且具有链接关系的多个图像所形成的图像组表示之。优选地，其图像组经由类神经网络的运算层训练可插入在长短期记忆神经网络运算层中产生的具有时间连续性特征的填补特征图，经过长短期记忆神经网络运算层的两个连续填补特征图需再运用损失方程式进行修正，其损失方程式主要强化两个连续填补特征图的时间一本文档来自技高网...

【技术保护点】
1.一种类神经网络的影像特征提取方法，适用于环景影像，其特征在于，包含下列步骤:/n将所述环景影像投影至立方模型以产生包含多个图像且彼此具有链接关系的图像组；/n以所述图像组作为类神经网络的输入，其中，当所述类神经网络的运算层对其中所述多个图像进行填补运算时，根据连结关系由所述多个图像中的相邻图像取得须填补的数据，以保留图像边界部分的特征；以及/n由所述类神经网络的运算层的运算而产生填补特征图，并由所述填补特征图中提取影像特征图。/n

【技术特征摘要】
1.一种类神经网络的影像特征提取方法，适用于环景影像，其特征在于，包含下列步骤:
将所述环景影像投影至立方模型以产生包含多个图像且彼此具有链接关系的图像组；
以所述图像组作为类神经网络的输入，其中，当所述类神经网络的运算层对其中所述多个图像进行填补运算时，根据连结关系由所述多个图像中的相邻图像取得须填补的数据，以保留图像边界部分的特征；以及
由所述类神经网络的运算层的运算而产生填补特征图，并由所述填补特征图中提取影像特征图。


2.如权利要求1所述的影像特征提取方法，其特征在于，所述运算层对所述多个图像进行运算，进而产生彼此具有连结关系的多个填补特征图，而形成填补特征图组。


3.如权利要求2所述的影像特征提取方法，其特征在于，当所述类神经网络的运算层对所述多个填补特征图其中之一进行填补运算时，根据连结关系，由所述多个填补特征图中的相邻填补特征图取得须填补的数据。


4.如权利要求1所述的影像特征提取方法，其特征在于，所述运算层为卷积层或池化层。


5.如权利要求4所述的影像特征提取方法，其特征在于，进一步包含所述图像的相邻图像取得须填补的数据的范围由所述运算层之过滤器的维度所控制。


6.一种显著物体预测方法，适用于环景影像，其特征在于，包含下列步骤：将所述环景影像投影至立方模型以产生包含多个图像且彼此具有链接关系的图像组；

【专利技术属性】
技术研发人员：孙民，郑仙资，赵浚宏，刘庭禄，
申请(专利权)人：孙民，
类型：发明
国别省市：中国台湾;TW