图像处理装置、图像处理方法、程序以及记录介质制造方法及图纸

实现不需要事前知识且即使对一张静止图像也能够高精度地评价显著度的图像处理装置、图像处理方法、程序以及记录介质。图像处理装置（1）包括：相似图生成部（122），对各个超像素，生成表示与位于图像中的端部区域的超像素的相似度的相似图；前景区域确定部（123），确定在由相似图生成部（122）计算出的相似图中相似度表示与规定阈值相比不相似的超像素，作为前景区域；以及显著图生成部（124），对各超像素求出表示与前景区域的相似度的前景相似图，并输出该前景相似图作为显著图。

【技术实现步骤摘要】
图像处理装置、图像处理方法、程序以及记录介质
本专利技术涉及输出图像中的显著度的图像处理装置以及图像处理方法。
技术介绍
以往，在图像处理的领域中，已知将作为设想在图像中人们关注的图像区域或者应关注的图像区域的显著区域从该图像中检测（提取）的图像处理装置。此外，也通过使用这样的显著区域检测的技术而计算图像中的各像素的显著度(saliencymeasure)，从而制作表示该图像的各像素的显著度的显著图。这样的显著区域检测的技术例如为了从图像检测被摄体而使用。那么，作为用于上述显著区域检测的算法，存在基于学习的算法。例如，在专利文献1中，记载了如下技术：基于成为学习对象的多个图像数据，事先学习而决定特征的种类，基于所决定的特征的种类和成为显著度的计算对象的对象图像数据，提取该对象图像数据中的各部分的特征。根据该技术，通过将学习效果虚构为人的经验或记忆的程度，能够进行更接近于人的感觉的显著度的判断。另外，在上述基于学习的算法中，作为对于对象图像数据的事前知识（previousknowledge），需要预先准备成为学习对象的多个图像数据。因此，在不具有这样的事前知识的情况下，不能评价显著度。另一方面，在专利文献2中，记载了如下技术：不需要事前知识，使用构成影像的各帧之间的信息而检测显著区域。【现有技术文献】【专利文献】【专利文献1】（日本）特开2001-236508号公报（2001年8月31日公开）【专利文献2】（日本）特开2010-258914号公报（2010年11月11日公开）但是，虽然专利文献2的技术不需要事前知识，但只将由多个帧构成的活动图像作为对象，不能应用于对于静止图像的显著度的评价。
技术实现思路
本专利技术是为了解决上述课题而完成的，其目的在于，提供一种不需要事前知识且即使对一张静止图像也能够高精度地评价显著度的图像处理装置以及图像处理方法。本专利技术的图像处理装置的特征在于，包括：相似度计算部，将图像中的像素或者由被连接的多个像素构成的区域作为单位结构，对各个上述单位结构求出与位于图像中的端部区域的单位结构的第1相似度；前景区域确定部，确定由上述相似度计算部计算出的第1相似度表示与规定阈值相比不相似的单位结构的区域，作为前景区域；以及显著度输出部，对上述图像的各单位结构，求出与由前景区域确定部确定的前景区域的第2相似度，并输出该第2相似度作为该单位结构的显著度。此外，本专利技术的图像处理方法的特征在于，包括：相似度计算步骤，将图像中的像素或者由被连接的多个像素构成的区域作为单位结构，对各个上述单位结构求出与位于图像中的端部区域的单位结构的第1相似度；前景区域确定步骤，确定上述第1相似度表示与规定阈值相比不相似的单位结构的区域，作为前景区域；以及显著度输出步骤，对上述图像的各单位结构，求出与上述前景区域的第2相似度，并输出该第2相似度作为该单位结构的显著度。在拍摄图像时，人们一般使得应关注的物体尽可能不超出图像的端部（框）。因此，在图像的端部，主要存在背景区域。根据上述的结构，由于由与位于图像中的端部区域的单位结构的相似度表示与判定阈值相比不相似的单位结构的区域被确定为前景区域，所以在图像中人们应关注的关注物体被确定为前景区域的概率提高。并且，对图像的各单位结构，求出与被确定的前景区域的第2相似度，作为显著度。如上所述，由于在图像中人们应关注的关注物体被确定为前景区域，所以与前景区域的第2相似度表示单位结构中的显著度。由此，根据上述结构，能够实现即使是一张静止图像，也不需要事前知识，能够高精度地评价显著度的图像处理装置以及图像处理方法。此外，优选地，本专利技术的图像处理装置包括：分割处理部，将上述图像分割为由亮度值和/或色度相似的互相相邻的像素构成的像素小区域，并将该像素小区域作为上述单位结构。根据上述结构，与将像素作为单位结构的情况相比，求出第1相似度以及第2相似度时的运算处理数减少，能够提高计算速度。此外，优选地，在本专利技术的图像处理装置中，上述相似度计算部对各个上述单位结构，求出与位于矩形的上述图像的上端部区域的单位结构的相似度即上端用相似度、与位于上述图像的下端部区域的单位结构的相似度即下端用相似度、与位于上述图像的左端部区域的单位结构的相似度即左端用相似度、与位于上述图像的右端部区域的单位结构的相似度即右端用相似度，并通过将上端用相似度、下端用相似度、左端用相似度以及右端用相似度相乘而求出上述第1相似度。在人们拍摄的图像中有各种各样的形态，也有人们应关注的关注物体存在于图像的端部（框）的一部分的情况。但是，即使是在这样的情况下，在大部分图像中，关注物体只重叠在图像的4个端部（上端部、下端部、左端部、右端部）的一部分中。因此，在与关注物体未重叠的端部的相似度中，关注物体的区域和端部的相似度倾向于降低。因此，通过将4个相似度相乘而求出第1相似度，即使是在关注物体存在于图像的端部（框）的一部分中的情况下，也能够在某种程度上较高地维持能够将关注物体确定为前景区域的概率。此外，在本专利技术的图像处理装置中，上述相似度计算部使用以下的式（1），求出上端用相似度、下端用相似度、左端用相似度以及右端用相似度。f＊＝（D-αＷ）-1y……式（1）另外，f＊由[f1＊，……，fn＊]T表示，是表示上端用相似度、下端用相似度、左端用相似度以及右端用相似度的矢量。这里，fi＊表示第i个单位结构和位于端部区域的单位结构的相似度。另外，n是图像中的单位结构的数目。Ｗ是n行×n列的矩阵，i行j列的元素ｗij由以下的式表示。【数1】另外，ci表示第i个单位结构的特征量，cj表示第j个单位结构的特征量。D是n行×n列的对角矩阵（diagonalmatrix），由D＝diag（d11，……，dnn）表示。另外，dii由以下的式表示。【数2】dii=Σjwijy由［y1，……，yn］T表示，yi在第i个单位结构位于成为比较对象的端部区域时为1，在第i个单位结构不位于成为比较对象的端部区域时为0。α为规定的常数。上述的式（1）是在流形（Manifold）排序法中使用的式，能够高精度地求出流形的相似度。此外，由于在求出上端用相似度、下端用相似度、左端用相似度以及右端用相似度的4个相似度时，式（1）的（D-αＷ）-1共同，所以能够援用，能够提高计算速度。此外，优选地，在本专利技术的图像处理装置中，上述显著度输出部使用将在第i个单位结构位于前景区域时成为1且在第i个单位结构不位于前景区域时成为0的yi作为元素的y，根据上述的式（1）求出第2相似度。根据上述结构，由于在求出第2相似度时使用上述的式（1），所以能够援用在求出上端用相似度、下端用相似度、左端用相似度以及右端用相似度时求出的（D-αＷ）-1。其结果，能够提高求出显著图时的计算速度。另外，上述图像处理方法也可以通过计算机来实现，此时，通过使计算机执行包括上述各步骤的处理，从而使计算机实现图像处理方法的各步骤的图像处理程序以及记录了该图像处理程序的计算机可读取的记录介质也属于本专利技术的范围。根据本专利技术，能够提供一种不需要事前知识且即使对一张静止图像也能够高精度地评价显著度的图像处理装置以及图像处理方法。附图说明图1是表示本专利技术的一实施方式的图像处理装置的概略结构的一例的功能方框图。图2是表示图1本文档来自技高网...

【技术保护点】
一种图像处理装置，其特征在于，包括：相似度计算部，将图像中的像素或者由被连接的多个像素构成的区域作为单位结构，对各个上述单位结构求出与位于图像中的端部区域的单位结构的第1相似度；前景区域确定部，确定由上述相似度计算部计算出的第1相似度表示与规定阈值相比不相似的单位结构的区域，作为前景区域；以及显著度输出部，对上述图像的各单位结构，求出与由前景区域确定部确定的前景区域的第2相似度，并输出该第2相似度作为该单位结构的显著度。

【技术特征摘要】
2013.04.26 JP 2013-0947571.一种图像处理装置，其特征在于，包括：相似度计算部，将图像中的像素或者由被连接的多个像素构成的区域作为单位结构，对各个上述单位结构求出与位于图像中的端部区域的单位结构的第1相似度；前景区域确定部，确定由上述相似度计算部计算出的第1相似度低于规定阈值的单位结构的区域，作为前景区域；以及显著度输出部，对上述图像的各单位结构，求出与由前景区域确定部确定的前景区域的第2相似度，并输出该第2相似度作为该单位结构的显著度，其中，上述相似度计算部对各个上述单位结构，求出与位于矩形的上述图像的上端部区域的单位结构的相似度即上端用相似度、与位于上述图像的下端部区域的单位结构的相似度即下端用相似度、与位于上述图像的左端部区域的单位结构的相似度即左端用相似度、与位于上述图像的右端部区域的单位结构的相似度即右端用相似度，并通过将上端用相似度、下端用相似度、左端用相似度以及右端用相似度相乘而求出上述第1相似度。2.如权利要求1所述的图像处理装置，其特征在于，包括：分割处理部，将上述图像分割为由亮度值和/或色度相似的互相相邻的像素构成的像素小区域，并将该像素小区域作为上述单位结构。3.如权利要求1所述的图像处理装置，其特征在于，上述相似度计算部使用以下的式(1)，求出上端用相似度、下端用相似度、左端用相似度以及右端用相似度：f＊＝(D-αW)-1y……式(1)，另外，f＊由[f1＊，……，fi＊，……，fn＊]T表示，是表示上端用相似度、下端用相似度、左端用相似度以及右端用相似度的矢量，这里，fi＊表示第i个单位结构和位于端部区域的单位结构的相似度，另外，...

【专利技术属性】
技术研发人员：阮翔，卢湖川，杨川，张立和，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：日本;JP