使用能量值的图像处理装置及其图像处理方法和显示方法制造方法及图纸

提供了一种图像处理方法。所述图像处理方法包括：根据深度信息来移动在参考图像中显示的对象；通过使用移动的对象的背景区域的能量值来确定可变大小的伸展区域；以及将伸展区域的像素插入到通过移动对象而生成的孔区域中，以生成目标图像。因此，防止了图像质量劣化现象。

【技术实现步骤摘要】
【国外来华专利技术】使用能量值的图像处理装置及其图像处理方法和显示方法
本专利技术的大体构思一般涉及提供一种使用能量值的图像处理装置，及其图像处理方法和显示方法，并且更具体地，提供一种通过使用能量值来确定可变大小的伸展区域以产生目标图像的图像处理装置，及其图像处理方法和显示方法。
技术介绍
随着电子技术的发展已经开发和提供了多种类型的电子装置。典型的电子装置的示例是诸如电视机（TV）的显示设备。三维（3D）显示技术最近已被开发，因此，3D内容通过在一般家庭的电视机等就可以进行观看。3D显示设备被分类为不同类型的设备，诸如，眼镜型显示设备，非眼镜型显示设备等。要观看这些3D显示设备中的3D内容需要具有差异的多个图像。详细地说，左眼和右眼图像。3D显示设备交替排列地显示左眼和右眼图像，以顺序地显示左眼和右眼图像，或者将左眼和右眼图像分割为奇数和偶数行，并且组合奇数和偶数行来以显示一个帧。如上所述，3D显示设备需要诸如左眼和右眼图像的多个图像来显示3D内容。多个图像从内容制作者处提供。然而，由于为相同的帧提供两个或更多图像，所以频率使用带宽变得短缺。因此，出现了仅向接收设备提供左眼和右眼图像中的一个，通过使用在接收设备中所提供的图像来生成另一图像，并且将两个图像组合来显示3D图像的方法。然而，当通过使用所提供的图像来生成另一图像时，条纹图案或模糊现象会发生在图像的某些区域中。因此，需要一种防止图像质量劣化现象并且有效地生成3D图像的方法。
技术实现思路
示例性实施例提供了一种图像处理装置及其图像处理方法和显示方法，所述图像处理装置通过使用能量值来确定可变大小的伸展区域，并且通过使用所确定的区域来生成目标图像，以防止图像质量劣化。根据示例性实施例的一个方面，提供了一种图像处理方法，包括：根据深度信息来移动参考图像中显示的对象；通过使用移动对象的背景区域的能量值来确定可变大小的伸展区域；以及将伸展区域的像素插入到通过移动对象而产生的孔区域中，以生成目标图像。伸展区域的确定可以包括：计算孔区域的大小；通过计算的大小从孔区域的边界来计算背景区域的能量值；以及计算具有小于或者等于阈值的能量值的背景区域的区域作为所述伸展区域。伸展区域可以是包括从孔区域的边界到超过阈值像素之前一个像素的范围内的像素的区域。阈值可以是由下面的公式计算出的平均能量值：其中，ξ表示平均能量值，λ表示孔区域的宽度，并且Ei表示第i个像素的能量值。能量值可以通过使用下面的公式的一个来计算：其中，E(x,y)表示在坐标（x，y）处的像素的能量值，并且I(x,y)表示图像的R、G、和B分量的线性组合。线性组合I（x，y）可以由下面的公式计算：I(x,y)=ωRR(x,y)+ωGG(x,y)+ωBB(x,y)其中，R（x，y）、G（x，y）、和B（x，y）表示位于坐标（x，y）处的像素的R，G和B值，并且ωR、ωG、ωB分别表示R、G、B值的权重。图像处理方法可以进一步包括：平滑存在于目标图像的原始位置处的对象和背景区域之间的边界。根据示例性实施例的另一个方面，提供了一种显示方法，包括：接收参考图像和深度信息；根据深度信息，移动在参考图像中显示的对象；通过使用所移动的对象的背景区域的能量值来从背景区域确定可变大小的伸展区域；将伸展区域的像素插入到通过移动对象而产生的孔区域中，以生成目标图像；以及组合参考图像和目标图像，以显示三维（3D）图像。伸展区域的确定可包括：计算孔区域的大小；通过计算的大小从孔区域的边界来计算背景区域的能量值；以及计算具有小于或者等于阈值的能量值的背景区域的区域作为所述伸展区域。伸展区域可以是包括从孔区域的边界到超过阈值像素之前一个像素的范围内的像素的区域。根据示例性实施例的另一个方面，提供了一种图像处理装置，包括：接收器，其接收参考图像和深度信息;控制器，其通过使用在参考图像中所显示的对象的背景的能量值来确定可变大小的伸展区域；以及图像处理器，其根据深度信息来移动在参考图像中显示的对象，并且将伸展区域的像素插入到通过移动对象而产生的孔区域中，以产生目标图像。控制器可以计算孔区域的大小，并且通过计算的大小从孔区域的边界来计算背景区域的能量值，以确定具有小于或者等于阈值的能量值的背景区域的区域作为所述伸展区域。伸展区域可以是包括从孔区域的边界到超过阈值像素之前一个像素的范围内的像素的区域。阈值可以是由下面的公式而计算出的平均能量值：其中，ξ表示平均能量值，λ表示孔区域的宽度，并且Ei表示第i个像素的能量值。图像处理器可以平滑存在于目标图像的原始位置处的对象和背景区域之间的边界。图像处理装置可以进一步包括显示装置，其将参考图像和目标图像组合来显示3D图像。图像处理装置可以进一步包括接口，其发送参考图像和目标图像到显示设备。技术效果根据上文所描述的各种示例性实施例，从参考图像中生成不具有图像质量劣化的目标图像，以显示3D图像。附图说明图1是示出根据本专利技术的大体构思的示例性实施例的图像处理装置的结构的框图;图2是示出移动参考图像中的对象的过程的视图;图3是示出确定伸展区域的过程的视图;图4是示出了通过使用参考图像和深度信息来产生目标图像的过程的视图;图5和图6是示出了图像处理装置的各种具体结构的框图;图7是示出了根据本专利技术的大体构思的示例性实施例的用于处理三维（3D）图像的方法的流程图;图8是示出用于确定伸展区域的方法的流程图;图9是示出根据本专利技术的大体构思的示例性实施例的用于显示3D图像的方法的流程图。具体实施方式将参照附图来更详细地描述示例性实施例。图1是示出根据本专利技术的大体构思的示例性实施例的图像处理装置的结构的框图。参照图1，图像处理装置100包括：接收器110、控制器120、图像处理器130。接收器110接收参考图像和深度信息。参考图像是指二维（2D）图像，即，左眼和右眼图像中的一个。深度信息是指指示在参考图像中存在的对象的三维（3D）距离信息的信息。深度信息可以被称为深度图像或者深度地图。在深度图像中高亮显示的部分是具有高3D效果的部分，并且在深度图像中较暗显示的部分是具有低3D效果的部分。深度信息的每个像素值表示参考图像的对应像素的深度。控制器120通过使用在参考图像中显示的对象的背景区域的能量值来确定伸展区域。伸展区域是指作为用于确定填充由移动对象所产生的孔区域（holearea）的像素值的标准的区域。能量值是指指示定位在背景区域中的像素和周边像素之间的特性的值。将在后面详细描述确定伸展区域的方法。图像处理器130执行基于深度图像的渲染，其通过使用深度信息来移动在参考图像中显示的对象。详细地说，图像处理器130通过使用深度信息来计算参考图像的各对象的视差值的差。图像处理器130在左或右方向上按照视差值之间的差来移动对象，以生成新时间点的图像。视差值之间的差的计算可以通过使用下面的公式1来执行：其中，p(x,y)表示位置（x，y）处的像素的视差值，d(x,y)表示位置（x，y）处的像素的深度值，并且M表示最大视差值。在本说明书中，从参考图像产生的图像被称为目标图像。目标图像是用于与参考图像混合以形成三维图像的图像。换句话说，目标图像是指通过在不同的时间根据参考图像来表示对象而形成的图像。例如，如果参考图像是左眼图像，则目标图像对应于右眼图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.11.17 KR 10-2011-0120489;2010.11.30 US 61/4171.一种图像处理方法，包括：根据深度信息来移动在参考图像中显示的对象；通过使用移动对象的背景区域的能量值来确定可变大小的伸展区域；以及将所述伸展区域的像素插入到通过移动对象而产生的孔区域中，来生成目标图像，其中，所述伸展区域的确定包括：从孔区域的边界来计算对应于孔区域的大小的背景区域的能量值；以及确定具有小于或者等于阈值的的能量值的背景区域作为所述伸展区域，该阈值是对应于孔区域的大小的背景区域的平均能量值。2.根据权利要求1所述的图像处理方法，其中，所述伸展区域是包括范围从孔区域的边界到超过阈值的像素之前一个像素内的像素的区域。3.根据权利要求2所述的图像处理方法，其中，所述阈值是由下面的公式计算出的平均能量值：其中，ξ表示平均能量值，λ表示孔区域的宽度，并且Ei表示第i个像素的能量值。4.根据权利要求3所述的图像处理方法，其中，所述能量值通过使用下面的公式的一个来计算：其中，E(x,y)表示在坐标(x，y)处的像素的能量值，并且I(x,y)表示图像的R、G、和B分量的线性组合。5.根据权利要求4所述的图像处理方法，其中，所述线性组合I(x,y)由下面的公式计算：I(x,y)＝ωRR(x,y)+ωGG(x,y)+ωBB(x,y)其中，R(x，y)、G(x，y)、和B(x，y)表示位于坐标(x，y)处的像素的R，G和B值，并且ωR、ωG、ωB分别表示R、G和B值的权重。6.根据权利要求1到5中的任意一个所述的图...

【专利技术属性】
技术研发人员：A利蒙诺夫，李珍晟，张朱镕，
申请(专利权)人：三星电子株式会社，
类型：
国别省市：