三维图像处理方法及实施该方法的便携式三维显示设备技术

本发明专利技术提供了三维图像处理方法及实施该方法的便携式三维显示设备，其用于基于例如安卓平台之类的移动平台在使用便携式三维显示设备中极少数目的硬件组件的同时通过软件高速率地处理立体图像。该方法适用于便携终端设备，该终端配备有直接控制包括显示面板的硬件装置的内核层和控制内核层以通过硬件装置显示移动图片的应用/中间件层。首先从应用/中间件层生成一个或多个平面图像表面并将其存储在第一帧缓冲器中。在应用/中间件层的控制下对编码的图像信号解码从而还原表示立体图像对的YUV图像信号。随后，将YUV图像信号转换为RGB图像信号，并且在内核层混合RGB图像信号的左图像和右图像。在第二帧缓冲器中存储混合的立体图像信号。

【技术实现步骤摘要】

本专利技术涉及图像处理方法和设备。具体地讲，本专利技术涉及三维(3D)显示设备和方法。
技术介绍
人类视觉系统能够通过使用多种深度线索来发现事物的相对位置。这些深度线索 包括如调节、会聚、双目视差、运动视差等之类的生理因素，以及如直线距离、阴影、阴影距离、被其他物体遮挡、纹理等级、色彩等之类的心理因素。在生理深度线索中，调节是出于使得眼睛聚焦在指定位置上的目的而改变晶状体的聚焦范围。调节的功能和会聚一起进行。同时，会聚是在一个人凝视距离他有限距离的目标点时，通过向内移动使得他的眼睛聚集到目标点。双目视差源自这样的事实，左眼和右眼被设置为响应分别的图像，这是因为它们彼此相隔约为65mm，这意味着当观看三维景象时入射到左眼视网膜和右眼视网膜上的图像之间的差异。双目视差的这个功能作为人类视觉系统中用于深度感知或立体视觉的关键深度线索。通过利用人类视觉系统这样的认知机制来设计三维显示设备以显示三维图像。在已经提出的各种类型的三维图像显示模式中，从技术还原和三维显示能力的角度看来，在这篇专利申请被提交时立体模式可以被视为是卓越的。在立体三维显示系统中，可以利用双目视差通过模拟来实现深度认知或立体视觉，这是通过使左眼和右眼接收由像人眼一样间隔约64mm的两台图像传感器独立采集的两幅图像这一方式来实现的。这里，有必要通过控制形成一对立体图像的两幅图像(即，左图像和右图像)被准确地发送至用户的左眼和右眼来排除干扰。存在几种控制干扰的方法，例如偏光类型(也叫做被动式眼镜类型或图案相位差膜(film patterned retarder, FPR)类型)，其中一个相位调制板被安装在显示面板上以从左图像和右图像产生正交极化并且经过嵌入在用户眼镜中的极化滤波片将左图像和右图像分别入射到用户的左眼和右眼上；主动式眼镜类型(也称为快门眼镜类型)，其中左图像和右图像被交替地施加于显示面板，并且用户的主动式眼镜操作为交替地开启其左快门和右快门；双凸透镜状类型，其中采用双凸透镜状的透镜来控制光路径；视差格栅类型，其中电子生成的视差格栅对部分屏幕进行操作，然后左图像和右图像被分别入射到用户的左眼和右眼上。在应用的时候，虽然通常已知的立体三维显示系统的最广泛应用的情况涉及电视机设备，但是还有许多技术方法将立体三维显示应用到个人电脑(PC)、智能电话、以及诸如平板计算机之类的数据处理单元的监示器中。一般通过诸如多媒体播放器之类的应用程序来进行对数据处理单元中的三维图像信号的管理。相对于二维图像播放中简单地对原始图像信号进行解码、改变其格式然后播放经过解码和格式化的原始图像信号，播放三维图像可能导致运行负担的增加，这是因为必须要对三维图像信号进行解码并且混合左图像和右图像。诸如台式计算机或者笔记本计算机之类的数据处理设备通过应用程序很容易处理三维图像信号，这是因为它们自身的微处理器拥有足够的运行能力。与之相反，考虑到功率消耗和散热而采用嵌入式低速处理器的便携式设备(诸如智能电话或平板计算机)，比不上高性能的计算机，不足以处理三维图像信号。因此，目前对于便携式设备来说通过应用程序播放三维图像时不可避免地会导致低帧速率或者低比特率、或者低分辨率。尤其是类似采用安卓(android)平台的系统，如果应用程序由诸如Dalvic之类的虚拟机运行的二进制代码组成，而不是由诸如C或者C++之类的本机代码组成，则应用程序的运行速度降低很大。另外，在仅仅通过应用程序播放三维图像时，因为应用程序体量变大，所以需要很长的启动时间。考虑到这些限制，一些类型的便携式设备除了嵌入式处理器之外，还通过在其上附加用于三维图像信号处理的芯片组来播放三维图像。对于这项功能，安卓平台被配置为通过硬件抽象层(HardwareAbstraction Layer,HAL)的方式由外部硬件来实现硬件加速和 图像处理。但是，这样的附加芯片组会导致生产成本和价格，同时在设备的印刷电路板的增加了占用的面积。
技术实现思路
本专利技术的各方面至少用于解决上述问题和/或者缺陷，以及至少提供如下描述的优点。相应地，本专利技术的一个方面在于提供一种用于高速处理立体图像信号的方法，同时减少基于移动应用平台的便携式三维播放设备中除了处理器之外的额外的硬件元件。本专利技术的另一个方面在于提供一种三维显示设备，其可基于移动应用平台操作、便携、并且能够在没有类似三维专用芯片组的硬件元件的情况下高速播放立体图像。本专利技术的另一个方面在于提供一种可适用于便携式终端设备的方法，该便携式终端设备配备有直接控制包括显示面板的硬件装置的内核层、以及控制内核层以通过硬件装置显示移动图片的应用/中间件层。在这种用于图像信号处理的方法的示例性实施例中，首先从应用/中间件层生成一个或多个平面图像表面并将其存储在第一帧缓冲器中。在应用/中间件层的控制下对编码的图像信号进行解码从而还原表示立体图像对的YUV图像信号。随后，YUV图像信号被转换为RGB图像信号，并且在内核层中混合RGB图像信号的左图像和右图像。混合的立体图像信号被存储在第二帧缓冲器中。然后，在内核层通过叠加以硬件方式对存储在第一帧缓冲器和第二帧缓冲器中的信号进行合成，并且将合成的信号传输到显示面板。因此，一个立体(三维)图像和正常的平面图像一起被显示在显示面板上。在将平面图像表面存储于帧缓冲器中的步骤中，在应用/中间件层生成多个平面图像表面之后，在应用/中间件层中对所述多个平面图像表面进行合成，并且合成的表面被存储在第一帧缓冲器中。在生成和存储混合的立体图像信号的步骤中，YUV图像信号被转换为RGB图像信号，并且RGB图像信号被存储在混合缓冲器中。然后，对存储在混合缓冲器中的RGB图像信号的左图像和右图像进行混合，并且混合的立体图像信号被存储在RGB缓冲器中。混合的立体图像信号从RGB缓冲器被传输到第二帧缓冲器。这里，将YUV图像信号转换为RGB图像信号是在内核层中进行的。根据本专利技术的一个方面，提供了一种便携式三维显示设备，其通过解复用从原始图像信号中抽取压缩的图像信号，并且解码压缩的图像信号用于显示。该设备包括在前端配备有视差格栅并且被配置为显示立体图像的显示面板；显示控制器，其被配置为驱动显示面板；第一帧缓冲器和第二帧缓冲器，其被配置为分别存储通过显示控制器出现在显示面板上的图像的至少一部分。根据本专利技术的一个方面，提供了一种微处理器，其被配置为控制解复用和解码并且运行程序。微处理器包括内核层，其被配置为直接控制显示面板；以及应用/中间件层，其被配置为控制内核层以在显示面板上显示移动图片。微处理器可以被配置为在应用/中间件层生成一个或多个平面图像表面，并在 第一帧缓冲器中存储所述一个或多个平面图像表面；在应用/中间件层的控制下对编码的图像信号进行解码，并还YUV图像信号以原表示立体图像对；将YUV图像信号转换为RGB图像信号，在内核层混合RGB图像信号的左图像和右图像，并在第二帧缓冲器中存储混合的立体图像信号；以及在内核层通过叠加以硬件方式对第一帧缓冲器和第二帧缓冲器的信号进行合成，并且将合成的信号传输到显示面板。这种示例性实施例的图像处理方案是可以基于可在诸如智能电话或平板电脑之类的显示设备中执行的程序的。根据本专利技术的一个方面，提供了一种包括显示设备的记录介质。该显示设备包括本文档来自技高网...

【技术保护点】
一种在便携式终端设备中处理三维图像信号的方法，所述便携式终端设备配备有带有显示面板的硬件装置、直接控制硬件装置的内核层、控制内核层以通过硬件装置显示移动图片的应用/中间件层，三维图像被显示在显示面板上，该方法包括：从应用/中间件层生成一个或者多个平面图像表面，并将所述一个或者多个平面图像表面存储在第一帧缓冲器中；在应用/中间件层控制下对编码的图像信号进行解码，并且还原YUV图像信号以表示立体图像对；将YUV图像信号转换为RGB图像信号，在内核层混合RGB图像信号的左图像和右图像，并在第二帧缓冲器中存储混合的立体图像信号；以及在内核层通过叠加以硬件方式对存储在第一帧缓冲器和第二帧缓冲器中的信号进行合成，并将合成的信号传输到显示面板。

【技术特征摘要】
2011.05.09 KR 10-2011-00435071.一种在便携式终端设备中处理三维图像信号的方法，所述便携式终端设备配备有带有显示面板的硬件装置、直接控制硬件装置的内核层、控制内核层以通过硬件装置显示移动图片的应用/中间件层，三维图像被显示在显示面板上，该方法包括 从应用/中间件层生成一个或者多个平面图像表面，并将所述一个或者多个平面图像表面存储在第一帧缓冲器中； 在应用/中间件层控制下对编码的图像信号进行解码，并且还原YUV图像信号以表示立体图像对； 将YUV图像信号转换为RGB图像信号，在内核层混合RGB图像信号的左图像和右图像，并在第二帧缓冲器中存储混合的立体图像信号；以及 在内核层通过叠加以硬件方式对存储在第一帧缓冲器和第二帧缓冲器中的信号进行合成，并将合成的信号传输到显不面板。2.如权利要求I所述的方法，其中生成和存储的步骤包括 在应用/中间件层生成多个平面图像表面；以及 在应用/中间件层对所述多个平面图像表面进行合成并在第一帧缓冲器中存储合成的表面。3.如权利要求I所述的方法，其中转换、混合和存储的步骤包括 将YUV图像信号转换为RGB图像信号，并在混合缓冲器中存储RGB图像信号；以及对存储在混合缓冲器中的RGB图像信号的左图像和右图像进行混合，在RGB缓冲器中存储混合的立体图像信号，并将混合的立体图像信号从RGB缓冲器传输到第二帧缓冲器。4.如权利要求3所述的方法，其中在内核层中进行转换和存储的步骤。5.一种便携式三维显示设备，其通过解复用从原始图像信号抽取压缩图像信号并且解码压缩图像信号用于显示，该设备包括 显示面板，其在前端配备有视差格栅并被配置为显示立体图像； 显示控制器，其被配置为驱动显示面板； 第一帧缓冲器和第二帧缓冲器，其被配置为分别存储通过显示控制器出现在显示面板上的图像的至少一部分；以及 微处理器，其被配置为控制解复用和解码并且运行程序，该微处理器包括内核层，其被配置为直接控制显示面板；以及应用/中间件层，其被配置为控制内核层以在显示面板上显示移动图片； 其中所述微处理器被配置为 在应用/中间件层生成一个或多个平面图像表面，并在第一帧缓冲器中存储所述一个或多个平面图像表面； 在应用/中间件层的控制下对编码的图像信号进行解码，并还原YUV图像信号以表示立体图像对； 将YUV图像信号转换为RGB图像信号，在内核层混合RGB图像信号的左图像和右图像，并在第二帧缓冲器中存储混合的立体图像信号；以及 在内核层通过叠加以硬件方式对第一帧缓冲器和第二帧缓冲器的信号进行合成，并将合成的信号传输到显不面板。6.如权利要求5所述的设备，其中所述微处理器被配置为在应用/中间件层生成多个平面图像表面并对其进行合成，并在第一帧缓冲器中存储合成的平面图像。7.如权利要求5所述的设备，其中所述微处理器被配置为 将YUV图像信号转换为RGB图像信号，并在混合缓冲器中存储RGB图像信号；以及对存储在混合缓冲器中的RGB图像信号的左图像和右图像进行混合，在RGB缓冲器中存储混合的立体图像信号，并将混合的立体图像信号从RGB缓冲器传输到第二帧缓冲器。8.如权利要求7所述的设备，其中所述微处理器被配置为在内核层将YUV图像信号转换为RGB图像信号，并在混合缓冲器中存储RGB图像信号。9.一种包括显示设备的记录介质，其中所述显示设备包括 显示面板，其被配置为显示立体图像； 显示控制器，其被配置为驱动显示面板； 第一帧缓冲器和第二帧缓冲器，其被配置为分别存储通过显示控制器出现在显示面板上的图像的至少一部分；以及 微处理器，其被配置为在层的控制下来运行，该微处理器包括内核层，其被配置为直接控制显示面板；以及应用/中间件层，其被配置为控制内核层以在显示面板上显示移动图片； 其中所述微处理器被配置为 在应用/中间件层生成一个或多个平面图像表面，并在第一帧缓冲器中存储所述一个或多个平面图像表面； 在应用/中间件层的控制下对编码的图像信号进行解码，并还原YUV图像信号以表...

【专利技术属性】
技术研发人员：金正珍，朴哲，
申请(专利权)人：株式会社三D诺里，
类型：发明
国别省市：