表示图像组的方法和装置制造方法及图纸

一种表示图像组的方法包括为该图像组确定一个或多个主色值和根据所述主色值中的一个或多个导出一个表现该图像组的主色表示。（*该技术在2024年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及一种表示图像组尤其是用色彩表示图像组，和用于搜索及恢复图像的方法和装置。
技术介绍
有各种已知的使用可视特征例如图像中呈现的色彩来表示图像的技术。例如，在一项已知的技术中，每个像素被指定一个颜色值，并且通过为多个颜色值范围设置框(bin)和对图像中的像素数进行计数可得到颜色直方图，所述像素在每个范围中具有一个颜色值。然后颜色直方图可用于表示图像。在另一项已知的技术中，图像中的一个或多个主色被识别，并且该主色被用于表示图像。本专利技术特别关心的是图像组。例如，图像组可以是视频图像(帧或画面)序列，或者是图像以某种方式与之关联的任何源的任何图像组。例如，图像组可以是影像中的单一场景或连续镜头。现有技术中已知的这样一个图像组的术语为GroupOfFrames/GroupOfPictures(帧组/图像组)。下面该术语将被称作GoFGoP。在本说明中，术语图像将被用于说明组中的帧/画面，而不管其是否是视频帧或镜头还是静态画面。此外，术语图像和图像区域是可互换的，除非从上下文是显而易见的。用于表示图像组的一个方法是从图像组中选择一单个图像，并且将该单个图像作为整个图像组的表示。然后使用表示单个图像的已知技术来表示该单个图像。例如，该单个图像可以是图像序列中出现的最先或最后的图像，或者根据感兴趣的可视特征对图像组进行分析以识别所述组中的图像，该图像特别的在某些方面代表所述图像组。另一个方法为集结图像组。现有的MPEG-7 Visual Standard(可视标准)(ISO/IEC 15938-3)允许使用GoFGoP色彩描述符对视频段或图像组中的色彩进行描述。例如，这在Manjunath、Salembier和Sikora编写的书Introduction to MPEG-7 Multimedia content descriptioninterface(ISBN 0-471-48678-7)的部分13.5中有详细的介绍。其中介绍了三种聚集图像组的技术均值、中值和交集。在每一个技术中，色彩直方图被得到用于组中的每个图像，如上所述。在求均值技术中，色彩直方图被累积，然后每个累积的框(bin)值被N除以产生一平均直方图，其中N为所述组中图像的数量。在中间值技术中，对于每个框值，图像组的直方图值以升序或降序排列，并且为各个框指定中间值。对于每个框，通过采用图像组直方图中的最小直方图值而获得交集直方图。换句话说，交集直方图表示所有图像中出现的特定颜色或颜色范围(相当于一个框)的像素的数量。那么，在每种情况下，使用一可升级的颜色描述符(见上述书中的部分13.4)来表示聚集直方图(均值、中值和交集)，其是将基于哈尔变换的编码方案应用于颜色直方图的值。Tong Lin和Hong-Jiang Zhang的论文“通过连续画面编组进行自动视频场景提取”涉及将连续的画面编组成场景。对形成连续镜头的一组帧进行分析以确定每个帧中的主色对象，然后确定持续整个帧组的主色对象。这对于一个连续镜头将产生一个主色直方图。对不同连续镜头的主色直方图进行比较。如果两个连续镜头之间的相关性是高的，则所述连续镜头被编组成一个场景。
技术实现思路
本专利技术的各个方面在后附的权利要求中阐明。附图说明将参照附图对本专利技术的实施例进行说明，其中图1为根据本专利技术的实施例的系统的方框图；图2a、2b和图3至5为说明根据本专利技术的实施例的合并图像描述符的方法的坐标图；图6表示合并图像以形成一超级图像。具体实施例方式根据本专利技术一实施例的系统在图1中示出。该系统包括一控制单元12，例如用于控制系统操作的计算机，该控制单元12至少包括一存储器和一处理器，所述系统还包括一连接到控制单元12的显示单元14，例如监视器，用于显示包括图像和文本的输出，和一指示(pointing)设备16，例如鼠标，用于给控制单元12输入指令。该系统还包括一存储数字形式的多个图像组的图像数据库18和存储描述符信息的描述符数据库，将在下面更加详细的说明，所述描述符信息用于存储在图像数据库8中的每组图像。在该例子中，每组图像对应于视频序列中的一连续镜头。有各种已知的技术用于将视频序列分割成连续镜头，这里将不对其进行详细说明。本专利技术能够应用于任何图像组，或图像区域，包括图像中的区域。图像能够以组的形式存储，或者，例如，可以有一个识别符指示哪些图像属于相同的组。图像数据库18和描述符数据库20的每一个都被连接到控制单元12。该系统还包括一个搜索引擎22，它是一个在控制单元12控制下的计算机程序，并且运行在描述符数据库20上。在本实施例中，该系统的元件提供在单一位置上，例如图像库，其中该系统的部件被永久连接。描述符数据库20存储储存在图像数据库中的所有图像的描述符和额外的该图像数据库中的所有图像组的描述符。该图像和图像组描述符如下所述的得到。每个图像具有一个与之相关的图像描述符，其根据图像中的主颜色表示各个图像。在本实施例中，图像描述符基本上如在我们同时未决的申请WO 00/67203中所述的获得，其内容通过参考而被并入本文。获得图像描述符的简短概述如下。每个图像具有多个像素，并且每个像素在有关的颜色空间中具有一个与之相关的颜色值，例如RGB。颜色值和相应的像素在颜色域中被集结成群以便确定主色和哪些颜色对应于各个主色。这可使用合适的群集算法来实现，例如广义劳埃德算法，如在上述的MPEG-7书中的部分13.3.1中所述的。从该聚类过程得到的簇矩心被用作主色值，并且用于形成各个簇的像素组被存储用于计算另外的域(权值和颜色方差)，如下所述。可选择的，可使用直方图方法获得主色，如在WO 00/67203中所述。在那种情况下，通过在有关的颜色空间中选择预定数量的颜色值或颜色值的范围而获得图像的颜色直方图，并且图像中的具有每个颜色值或具有有关范围中的一个值的像素数被计数。通常，直方图将具有一个或多个峰值，并且各个峰值(或者其子集，例如预定数量的最高峰值)被选作为主色，同时颜色值/像素在颜色域中关于主色被聚类。一旦颜色值已经被聚类，则对于每个主色就确定了颜色方差值，表示对于每个主色各个簇的颜色值以主色为中心变化。主色可被看作是有关簇中颜色分布的平均值。可使用下式表示方差的计算CVj=1NΣk=0N-1(mj-Pkj)2]]>其中j指明颜色分量，mj为主色的第j个分量，pkj为第k个像素值的第j个分量，且总和超过了与所考虑的主色相应的N个像素。所述描述符也包括一个对于每个主色的加权值，其是图像中每个主色的相关有效值的量度。在该例子中，加权值为对应于主色值的簇中的像素数与图像中的像素的总数的比。加权值可以表示为百分数。主色值和它们的各个方差和加权值被结合以形成图像的颜色描述符。描述符也可以具有其它的分量，例如次数n，表示主色的数量。描述符也可以包括协方差值Cij，其中对于每个主色和簇，以及方差值，i和j代表有关颜色空间中的颜色分量。每个图像的颜色描述符被存储在描述符数据库中。着重注意主色描述符与图像的直方图表示不同。主色描述符包括图像中的主色的值，其在早先的处理步骤中已经被确定。图像的直方图表示包括主色，但是没有识别主色。主色描述符也可以包括其它值，例如对应于关于该主色或每个主色的颜色分布的方本文档来自技高网...

【技术保护点】
一种表示图像组（８）的方法，该方法包括：为该图像组确定一个或多个主色值（１－５）和根据所述主色值中的一个或多个导出一个表现该图像组的主色表示，其中至少该图像组中的一些图像是由各自的根据该图像的一个或多个主色值的主色表示所代表，并且其中每个主色表示具有一个或多个包括至少一个主色值的分量，该方法还包括结合多个所述主色表示或选择一个主色表示作为该组的代表，其特征在于在颜色空间中基于主色的接近度结合所述表示中的一个或多个分量。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：L西普林斯基，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：JP[日本]