图像合成装置及图像合成方法制造方法及图纸

本发明专利技术涉及图像合成装置及图像合成方法，能够生成被摄体的动区域被恰当地合成了的所期望的合成图像。生成对位后的基础对象与交换对象的差分图像(S1021)，通过主动轮廓模型来决定差分图像中的抽出轮廓(S1022)。将轮廓线的内侧区域和轮廓线的外侧区域以不同的颜色涂抹而进行区别，生成阿尔法混合用的掩模图像(S1023)。经由如此生成的掩模图像，通过阿尔法混合将基准图像的基础对象和与该基础对象对位后的交换对象合成(S1024)。

【技术实现步骤摘要】
图像合成装置及图像合成方法
本专利技术涉及通过多个图像的合成来生成所期望的图像的图像合成装置、以及在该图像合成装置中执行的图像合成方法。
技术介绍
在被摄体是人、动物等伴随着动作的物体的情况下，一般难以在该被摄体变成适于摄影的状态的时刻拍摄图像。尤其是在拍摄集体合影等的情况下，多个被摄体所有都以适于摄影的状态，例如视线朝向相机方向并没有眨眼、且面带微笑这一状态来拍摄图像是极其困难的，结果，对于所得到的摄影图像而言，任意一个被摄体以不优选的状态拍摄的情况较多。对此，已知有一种如下所述的技术：利用在某个时刻拍摄多个被摄体的基准图像和在与此不同的时刻拍摄到的其他图像(称为比较图像)，生成所有被摄体都被以优选的状态拍摄的合成图像。例如，在专利文献1所公开的图像合成方法中，根据基准图像及比较图像来检测被摄体的脸部轮廓线或者包括到躯体部为止的轮廓线，将该轮廓线所包含的区域作为局部图像抽出。然后，当在基准图像中被摄体被以优选的状态拍摄时保持该被摄体区域不变，当在基准图像中被摄体没有被以优选的状态拍摄，但在比较图像中被以优选的状态拍摄时，通过将该比较图像所包含的被摄体区域适用于基准图像的被摄体区域，来生成所有被测定者均以优选的状态拍摄的合成图像。另外，已知有一种通过多次拍摄伴随动作的被摄体，并将取得的图像组合成，来生成仅图像中的规定区域动作、且其他区域静止的动态图像的被称为动照片(Cinemagraph)的技术(例如参照专利文献2)。专利文献1：日本特开2001－45355号公报专利文献2：日本特开2012－199613号公报然而，在被测定者的头部动作的情况下，存在仅头部动作的情况，也存在伴随于此躯体部、胳膊也动作的情况。因此，即使从比较图像统一地抽出特定部分的轮廓线，将该轮廓线所包含的区域适用于基准图像，并且在应用时进行了晕映边缘等处理，仍有可能因适用的区域与周围的图像区域之间的不匹配而导致合成图像不自然。例如，存在适用的区域与其周围产生不连续的问题、脸部与躯体部、胳膊之间的位置关系变得不自然或部位间的方向关系变得不自然这样的问题。即，在现有技术中，当被摄体是伴随动作的物体时，难以生成被摄体的动区域被恰当地合成的所期望的合成图像。另外，还存在如下问题：因在生成动照片时，难以恰当地合成动区域，在动态图像中被摄体的一部分被以缺失的状态显示，或者动区域中包含超出需要的区域，所以有可能意想的被摄体以外的被摄体被以活动的状态显示。
技术实现思路
本专利技术提供一种能够解决上述课题的图像合成装置等。为了解决上述课题而采用了以下的方案。其中，为了参考而用括号标记在实施后述专利技术的实施方式的说明及附图中使用的附图标记。该用括号标记的内容只是用于实现本专利技术的结构的一个例子，用于实现本专利技术的结构并不限定于此。第一专利技术涉及一种图像合成装置，其特征在于，具备：动区域检测单元(控制部101)，基于在不同的时刻拍摄到的基准图像和比较图像来检测被摄体的动区域(基于差分图像检测动区域，基于在标准化后的图像中邻接的块之间的图像特征量之差来检测动区域块)；合成区域设定单元(控制部101)，根据动区域的检测结果来设定上述比较图像中的合成区域(生成与抽出的轮廓相对应的图像合成用掩模，生成与动区域块之和相对应的图像合成掩模或按每一个比较图像生成图像合成掩模)；以及合成图像生成单元(控制部101)，通过将所设定的合成区域合成至上述基准图像来生成合成图像(使用图像合成用掩模来执行基准图像与比较图像的合成处理)。据此，对于根据被摄体的动区域而设定的合成区域，能够得到比较图像中的合成区域被合成至基准图像后的所期望的合成图像。另外，第二专利技术基于第一专利技术的图像合成装置而提出，其特征在于，上述动区域检测单元抽出上述基准图像与上述比较图像的差分图像中的轮廓(包括被摄体的动区域的轮廓)，上述合成区域设定单元基于在上述差分图像中抽出的轮廓来设定上述合成区域(基于包括被摄体的动区域的轮廓来生成图像合成用掩模)。据此，通过基于在基准图像与比较图像的差分图像中抽出的轮廓来设定合成区域，能够得到轮廓被恰当合成的所期望的合成图像。另外，第三专利技术基于第二专利技术的图像合成装置而提出，其特征在于，上述动区域检测单元初始设定在上述差分图像中包含规定的被摄体区域的闭合曲线(初始设定成作为初始形状的椭圆的轮廓线上的辉度值的合计值为最小的径)，通过使规定上述闭合曲线的节点向与该闭合曲线相对应的能量函数(能量函数：式(1)、式(2))进行最佳化的方向移动(Greedy搜索(贪婪搜索))来进行轮廓的抽出(ACM(ActiveContourModel：主动轮廓模型))。据此，通过采用使用了能量函数的最佳化手法，能够准确地抽出轮廓。另外，第四专利技术基于第三专利技术的图像合成装置而提出，其特征在于，还具备在多个被摄体区域间设定边界(设定距各脸区域的中心坐标的距离为等间距那样的边界线)的边界设定单元(控制部101)，上述动区域检测单元按照不具有与上述边界的交点的方式初始设定上述闭合曲线(按照不与所设定的边界线相交的方式初始设定包含被摄体区域的闭合曲线)。据此，能够防止在被摄体区域间产生干扰。结果，能够提高被摄体区域的轮廓检测的实效性。另外，第五专利技术基于第三专利技术的图像合成装置而提出，其特征在于，上述动区域检测单元再次初始设定包含抽出了的轮廓所包含的被摄体区域中、基于用户操作(点击操作、拖动操作)而决定的被摄体区域的闭合曲线(当在被抽出的轮廓内包含多个被摄体时除去通过用户操作而指定的被摄体区域来再次设定闭合曲线)，基于该闭合曲线来再次进行轮廓的抽出。据此，在没有执行所期望的轮廓抽出的情况下，能够以用户操作为契机再次进行轮廓的抽出。另外，第六专利技术基于第二专利技术的图像合成装置而提出，其特征在于，还具备：基础区域显示单元(显示部103)，以用户能够选择的方式(用户通过点击操作、图标操作能够进行选择)显示包含上述基准图像中的规定的被摄体区域的基础区域(基础对象)；以及交换候补区域显示单元(显示部103)，按每一个比较图像来确定与基于用户操作而选择的基础区域相对应的交换候补区域(成为交换对象的候补的矩形区域)，并以用户能够选择的方式(用户通过点击操作、图标操作能够进行选择)显示确定出的各交换候补区域，上述动区域检测单元抽出基于上述用户操作而选择出的基础区域与基于用户操作而选择出的作为交换候补区域的交换区域的差分图像中的轮廓(从由用户选择出的基础对象与交换对象的差分图像中抽出被摄体的轮廓)。据此，能够使包含规定的被摄体区域的基础区域和按每一个比较图像确定出的交换候补区域显示成用户能够选择。而且，能够从由用户选择出的基础区域与交换区域的差分图像中恰当地抽出轮廓。另外，第七专利技术基于第一专利技术的图像合成装置而提出，其特征在于，还具备：干扰度判定单元(控制部101)，判定将上述基准图像中的规定的被摄体(基准图像中的规定的人物)替换成上述比较图像中的该规定的被摄体时的与其他被摄体之间的干扰度(被摄体区域的轮廓线的重叠程度、轮廓区域彼此间的重复范围)；以及推荐度显示单元(显示部103)，基于上述干扰度来显示与上述规定的被摄体相关的替换推荐度(多级的替换推荐度)。据此，能够判定出基准图像中的规定的被摄体与其他被摄体之间的干扰度，并且使用户能够把握规定的本文档来自技高网...

【技术保护点】
一种图像合成装置，其特征在于，具备：动区域检测单元，基于在不同的时刻拍摄到的基准图像和比较图像来检测被摄体的动区域；合成区域设定单元，根据动区域的检测结果来设定所述比较图像中的合成区域；以及合成图像生成单元，通过将所设定的合成区域合成至所述基准图像来生成合成图像。

【技术特征摘要】
2013.04.24 JP 2013-918151.一种图像合成装置，其特征在于，具备：动区域检测单元，基于在不同的时刻拍摄到的基准图像和比较图像来检测被摄体的动区域；合成区域设定单元，根据动区域的检测结果来设定所述比较图像中的合成区域；以及合成图像生成单元，通过将所设定的合成区域合成至所述基准图像来生成合成图像，其中所述动区域检测单元初始设定在差分图像中包含规定被摄体区域的闭合曲线，通过使规定所述闭合曲线的节点向与该闭合曲线相对应的能量函数进行最佳化的方向移动，抽出所述基准图像与所述比较图像的所述差分图像中的轮廓，其中所述合成区域设定单元基于在所述差分图像中抽出的轮廓来设定所述合成区域，其中所述的图像合成装置还具备：在多个被摄体区域间设定边界的边界设定单元，所述动区域检测单元按照不具有与所述边界的交点的方式初始设定所述闭合曲线。2.根据权利要求1所述的图像合成装置，其特征在于，所述动区域检测单元再次初始设定包含抽出了的轮廓所包含的被摄体区域中、基于用户操作而决定的被摄体区域的闭合曲线，并基于该闭合曲线再次进行轮廓的抽出。3.一种图像合成装置，其特征在于，具备：动区域检测单元，基于在不同的时刻拍摄到的基准图像和比较图像来检测被摄体的动区域；合成区域设定单元，根据动区域的检测结果来设定所述比较图像中的合成区域；以及合成图像生成单元，通过将所设定的合成区域合成至所述基准图像来生成合成图像，其中所述动区域检测单元抽出所述基准图像与所述比较图像的差分图像中的轮廓，其中所述合成区域设定单元基于在所述差分图像中抽出的轮廓来设定所述合成区域，其中所述的图像合成装置还具备：基础区域显示单元，以用户能够选择的方式显示包含所述基准图像中的规定的被摄体区域的基础区域；以及交换候补区域显示单元，按每一个比较图像确定与基于用户操作而选择的基础区域相对应的交换候补区域，并以用户能够选择的方式显示确定了的各交换候补区域，所述动区域检测单元抽出基于所述用户操作而选择的基础区域与基于用户操作而选择的作为交换候补区域的交换区域之间的所述差分图像中的轮廓。4.一种图像合成装置，其特征在于，具备：动区域检测单元，基于在不同的时刻拍摄到的基准图像和比较图像来检测被摄体的动区域；合成区域设定单元，根据动区域的检测结果来设定所述比较图像中的合成区域；以及合成图像生成单元，通过将所设定的合成区域合成至所述基准图像来生成合成图像，其中所述的图像合成装置还具备：干扰度判定单元，判定将所述基准图像中的规定的被摄体替换成所述比较图像中的该规定的被摄体时与其他被摄体之间的干扰度；以及推荐度显示单元，基于所述干扰度来显示与所述规定的被摄体相关的替换推荐度。5.根据权利要求4所述的图像合成装置，其特征在于，所述干扰度判定单元基于在所述基准图像与所述比较图像的差分图像中抽出的替换候补区域的交点来判定规定的被摄体与其他被摄体之间的干扰度。6.根据权利要求5所述的图像合成装置，其特征在于，所述干扰度判定单元基于按所述基准图像与各比较图像的每一个差分图像而抽出的规定的被摄体的轮廓与其他被摄体的轮廓的交点数来判定规定的被摄体与其他被摄体之间的干扰度。7.一种图像合成装置，其特征在于，具备：动区域检测单元，基于在不同的时刻拍摄到的基准图像和比较图像来检测被摄体的动区域；合成区域设定单元，根据动区域的检测结果来设定所述比较图像中的合成区域；以及合成图像生成单元，通过将所设定的合成区域合成至所述基准图像来生成合成图像，其中所述动区域检测单元抽出所述基准图像与所述比较图像的差分图像中的轮廓，其中所述合成区域设定单元基于在所述差分图像中抽出的轮廓来设定所述合成区域，其中所述的图像合成装置还具备：脸区域检测单元，检测所述基准图像及各比较图像中的脸区域；特征量计算单元，按在所述各比较图像中检测出的每一个脸区域计算出特征量；以及比较图像决定单元，决定按每一个脸区域计算出的特征量成为最佳值的比较图像的组合。8.一种图像合成装置，其特征在于，具备：动区域检测单元，基于在不同的时刻拍摄到的基准图像和比较图像来检测被摄体的动区域；合成区域设定单元，根据动区域的检测结果来设定所述比较图像中的合成区域；以及合成图像生成单元，通过将所设定的合成区域合成至所述基准图像来生成合成图像，其中所述动区域检测单元抽出所述基准图像与所述比较图像的差分图像中的轮廓，其中所述合成区域设定单元基于在所述差分图像中抽出的轮廓来设定所述合成区域，其中所述的图像合成装置还具备：脸区域检测单元，检测所述基准图像及各比较图像中的脸区域；脸区域显示单元，以用户能够选择的方式显示在所述基准图像及各比较图像中检测出的脸区域；以及比较图像决定单元，当将在所述基准图像中选择出的规定的脸区域替换成在任意一个比较图像中选择出的该规定的脸区域时，在该规定的脸区域与其他脸区域之间产生干扰的情况下，将对于该其他脸区域不产生干扰且对于该其他脸区域计算出的特征量成为最佳值的比较图像决定为对于该其他脸区域的替换对象。9.一种图像合成装置，其特征在于，具备：动区域检测单元，基于在不同的时刻拍摄到的基准图像和比较图像来检测被摄体的动区域；合成区域设定单元，根据动区域的检测...

【专利技术属性】
技术研发人员：猪俣哲平，加藤康史郎，佐藤真希，栗原洸太，木村一树，大野良，
申请(专利权)人：株式会社摩如富，
类型：发明
国别省市：日本;JP