用于估计深度和将２Ｄ视频转换为３Ｄ视频的方法和设备技术

提供了一种用于估计深度和将２Ｄ视频转换为３Ｄ视频的方法和设备。可通过从输入视频提取特征信息来估计视频的深度，并基于提取的特征信息估计输入视频的深度。

【技术实现步骤摘要】

—个或多个实施例涉及一种当没有提供深度信息时能够提供深度信息的深度估 计设备和深度估计方法，所述深度信息用于将二维(2D)单目视频转换为立体视频(以下称 为3D视频)，更具体地，涉及一种作为3D视频转换设备的深度建立设备和3D视频转换方 法的深度建立方法。
技术介绍
随着对3D视频的兴趣的显著增加，正在对3D视频进行各种研究和学习。 通常，众所周知人类感知3D效果主要由于两眼之间感知的双目视差。因此，可利 用人类的这个感知来实现3D视频。作为示例，为了在3D视频中显示对象，相应地同时显示 分别经由左眼和右眼观看的图像，从而使观看者能够以3D体验该对象。因此，可通过制作 双目视频(即，分别具有左图像和右图像的视频)并显示该双目视频来实现3D视频。
技术实现思路
—个或多个实施例提供一种用于深度测量和/或单目2D视频到3D视频的转换的 方法和设备，该方法和设备不提供深度信息，通过产生用于2D视频的深度信息的渲染处理 来完成深度测量。 —个或多个实施例可提供一种用于估计深度的设备，该设备包括特征信息提取 单元，从输入视频提取至少一条特征信息，所述特征信息独立于输入视频的任何预建立的 深度值；深度建立单元，基于关于部分输入视频的所述至少一条特征信息来建立部分输入 视频的深度。 —个或多个实施例可提供一种3D视频转换设备，该设备包括提取单元，从输入 视频提取至少一条特征信息，所述特征信息独立于输入视频的任何预建立的深度值；深度 建立单元，基于关于部分输入视频的所述至少一条特征信息建立部分输入视频的深度；渲 染单元，使用建立的部分输入视频的深度将输入视频渲染为3D视频。 —个或多个实施例可提供一种深度估计方法，该方法包括从输入视频提取至少 一条特征信息，所述特征信息独立于输入视频的预建立的深度值；基于关于部分输入视频 的所述至少一条特征信息建立部分输入视频的深度。 —个或多个实施例可提供一种3D视频转换方法，该方法包括从输入视频提取至 少一条特征信息，所述特征信息独立于输入视频的任何预建立的深度值；基于关于部分输 入视频的所述至少一条特征信息来建立部分输入视频的深度；使用建立的部分输入视频的 深度将输入视频渲染为3D视频。 —个或多个实施例可提供一种用于估计深度的设备，该设备包括特征信息提取9单元，从输入图像提取至少一条特征信息，所述特征信息独立于输入图像的任何预建立的 深度值；深度建立单元，基于关于部分输入图像的所述至少一条特征信息建立部分输入图 像的深度。 —个或多个实施例可提供一种深度估计方法，该方法包括从输入图像提取至少 一条特征信息，所述特征信息独立于输入图像的预建立的深度值；基于关于部分输入图像 的所述至少一条特征信息来建立部分输入图像的深度。 通过使用深度估计设备和深度估计方法、3D视频转换装置和3D视频转换方法，可 将2D视频转换为3D视频，所述深度估计设备和深度估计方法基于至少一条特征信息来估 计用于将输入2D视频转换为3D视频的深度，所述3D视频转换装置和3D视频转换方法使 用所述深度估计设备和深度估计方法。 将在接下来的描述中部分阐述另外的方面、特点和/或优点，还有一部分通过描 述将是清楚的，或者可以经过本公开的实施而得知。附图说明 通过下面结合附图进行的描述，这些和/或其它方面、特点和优点将会变得更加 清楚和容易，其中 图l是示出根据- 图2是示出根据- 图3是示出根据- 图4是示出根据- 图5是示出根据- 图6是示出根据- 图7是示出根据- 图8是示出根据- 图9是示出根据- 图10是示出根据 图ll是示出根据 图12是示出根据 图13是示出根据 图14是示出根据 图15是示出根据 图16是示出根据具体实施例方式现在，具体地参照本专利技术的实施例，其示例在附图中表示，其中，相同的标号始终 表示相同的部件。在这方面，本专利技术的实施例可被以多种不同的形式实现，不应被认为限于 在此列出的实施例。因此，以下通过参考附图仅仅描述实施例以解释本专利技术的各方面。 图1是示出根据一个或多个实施例的深度估计设备120的结构的示图。这里，深度 估计设备120可包括例如特征信息提取单元121和深度建立单元122。这里，贯穿以下描述，-个或多个实施例的深度估计设备的结构的示图； -个或多个其它实施例的深度估计设备的结构的示图； -个或多个其它实施例的深度估计设备的结构的示图； -个或多个其它实施例的深度估计设备的结构的示图； -个或多个实施例的3D视频转换设备的结构的示图； -个或多个其它实施例的3D视频转换设备的结构的示图 -个或多个其它实施例的3D视频转换设备的结构的示图 -个或多个其它实施例的3D视频转换设备的结构的示图 -个或多个实施例的深度估计方法的流程图； 一个或多个其它实施例的深度估计方法的流程图； 一个或多个其它实施例的深度估计方法的流程图； 一个或多个其它实施例的深度估计方法的流程图； 一个或多个实施例的3D视频转换方法的流程图； 一个或多个其它实施例的3D视频转换方法的流程图； 一个或多个其它实施例的3D视频转换方法的流程图； 一个或多个其它实施例的3D视频转换方法的流程图。术语设备应被认为与物理系统的元件同义，而不局限于所有实施例中的单个附件或在各个 单个附件中实现的所有描述的元件，而根据实施例，通过不同元件以不同附件和/或位置 一起或单独实现是开放的。仅作为另一示例，各个设备/系统或方法还可通过一个或多个 处理元件/装置被控制或通过分布的网络实施，注意附加和替代实施例是平等可用的。 当输入视频110被提供到深度估计设备120时，特征信息提取单元121可获得输 入视频110的至少一条特征信息，并将提取的输入视频110的至少一条特征信息提供给深 度建立单元122。 根据一个或多个实施例，输入视频110可以是没有深度信息的单目视频。作为另 一示例，输入视频110可以是空间交织的立体视频、时间交织的立体视频和具有深度信息 的单目视频。另外，根据一个或多个实施例，在特征信息提取单元121中提取的特征信息可 以是边缘信息、颜色信息、亮度信息、运动信息和/或直方图信息中的至少一个，注意替代 物是平等可用的。特征信息可关于图像(诸如帧或视频)，或可关于多个图像或帧，以及关 于视频。 深度建立单元122可基于从特征信息提取单元121提取的至少一条特征信息来建 立输入视频110的深度。 因此，深度估计单元120可基于输入视频110的特征信息通过建立输入视频110 的深度将二维(2D)输入视频转换为立体视频(以下称为3D视频)。如果已经存在用于 输入视频的一个或多个像素的深度信息，则深度估计单元120随后可基于提取的特征信息 来转换或修改输入视频以估计用于输入视频的一个或多个像素的深度，所述提取的特征信 息具有独立于一个或多个像素的这些潜在预存在或预建立的深度值的至少一个特征信息。 这里，可基于预存在或预建立的深度值和提取的特征信息两者或单独基于提取的特征信息 来估计用于一个或多个像素的深度。或者，例如，如果不存在任何或所有用于输入视频的预 存在或预建立的深度值，则输入视频可以仅是不具有任何先前深度信息的2D视频；由于任 何预存在或预建立的深度值不存在，故提取的至少一个特征信息可固有地独立于任何预本文档来自技高网...

【技术保护点】
一种用于估计深度的设备，该设备包括：特征信息提取单元，从输入图像提取至少一条特征信息，所述特征信息独立于输入图像的任何预建立的深度值；和深度建立单元，基于关于部分输入图像的所述至少一条特征信息建立部分输入图像的深度。

【技术特征摘要】
KR 2008-12-4 10-2008-0122655一种用于估计深度的设备，该设备包括特征信息提取单元，从输入图像提取至少一条特征信息，所述特征信息独立于输入图像的任何预建立的深度值；和深度建立单元，基于关于部分输入图像的所述至少一条特征信息建立部分输入图像的深度。2. 如权利要求1所述的设备，其中，所述至少一条特征信息是边缘信息、颜色信息、亮 度信息、运动信息和直方图信息中的至少一个。3. 如权利要求1所述的设备，其中，所述深度建立单元包括深度图初始化单元，基于 输入图像中的部分输入图像的位置特性来建立部分输入图像的初始深度，从而具有不同位 置特性的部分输入图像被建立为具有不同初始深度。4. 如权利要求1所述的设备，其中，所述深度建立单元包括深度图初始化单元，建立输入图像的至少一个像素的初始深度，并将建立的初始深度 存储到深度图；禾口深度更新单元，基于所述初始深度通过执行滤波来计算部分输入图像的深度，并基于 计算的深度更新深度图。5. 如权利要求4所述的设备，其中，所述特征信息提取单元基于所述至少一条特征信 息计算所述至少一个像素与相邻像素之间的权重，所述深度更新单元基于所述权重执行滤 波。6. 如权利要求4所述的设备，其中，所述深度图初始化单元基于所述至少一条特征信 息建立初始深度，并将初始深度存储到深度图。7. 如权利要求4所述的设备，还包括预处理单元，转换输入图像的颜色空间或当输入图像是被编码为预定的视频流的图像 时通过解码输入图像来提取输入图像的运动矢量。8. 如权利要求4所述的设备，还包括 縮小单元，将输入图像縮小为预定的分辨率；第二深度图初始化单元，建立縮小的输入图像的至少一个像素的第二初始深度，并将 所述第二初始深度存储到第二深度图；第二特征信息提取单元，从縮小的输入图像提取至少一条第二特征信息；第二深度更新单元，基于所述至少一条第二特征信息和第二初始深度通过执行滤波来 计算縮小的输入图像的第二深度，并使用所述第二深度更新第二深度图；禾口放大单元，基于输入图像的分辨率放大更新的第二深度图，其中，所述深度图初始化单元基于存储在放大的第二深度图中的深度建立初始深度。9. 如权利要求1所述的设备，其中，所述深度建立单元包括深度图初始化单元，根据将输入图像的多个像素分组为至少一个块的各个分组来建立 输入图像的所述至少一个块的初始深度，并将所述初始深度存储到深度图；禾口深度更新单元，基于所述初始深度通过执行滤波来计算所述至少一个块的第二深度， 并基于所述第二深度更新深度图。10. 如权利要求9所述的设备，还包括 放大单元，基于多个像素放大更新的深度图。11. 如权利要求1所述的设备，其中，输入图像的任何预存在和预建立的深度值是未 知或不存在的，深度建立单元仅基于所述至少一条特征信息来初始建立部分输入图像的深 度。12. —种3D视频转换设备，该设备包括提取单元，从输入图像提取至少一条特征信息，所述特征信息独立于输入图像的任何 预建立的深度值；深度建立单元，基于关于部分输入图像的所述至少一条特征信息来建立部分输入图像 的深度；和渲染单元，使用建立的部分输入图像的深度将输入图像渲染为3D视频。13. 如权利要求12所述的设备，其中，所述深度建立单元包括深度图初始化单元，基 于输入图像中的部分输入图像的位置特性来建立部分输入图像的初始深度，从而具有不同 位置特性的部分输入图像被建立为具有不同初始深度。14. 如权利要求12所述的设备，其中，所述深度建立单元包括深度图初始化单元，建立输入图像的至少一个像素的初始深度，并将建立的所述至少 一个像素的初始深度存储到深度图；禾口深度更新单元，基于所述初始深度通过执行滤波来计算部分输入图像的深度，并基于 计算的深度更新深度图，其中，所述渲染单元使用更新的深度图将输入图像渲染为3D视频。15. 如权利要求14所述的设备，其中，所述特征信息提取单元基于所述至少一条特征 信息计算所述至少一个像素与相邻像素之间的权重，所述深度更新单元基于所述权重执行 滤波。16. 如权利要求14所述的设备，还包括 縮小单元，将输入图像縮小为预定的分辨率；第二深度图初始化单元，建立縮小的输入图像的至少一个像素的第二初始深度，并将 所述第二初始深度存储到第二深度图；第二特征信息提取单元，从縮小的输入图像提取至少一条第二特征信息；第二深度更新单元，基于所述至少一条第二特征信息和第二初始深度通过执行滤波来 计算縮小的输入图像的第二深度，并使用所述第二深度更新第二深度图；禾口放大单元，基于输入图像的分辨率放大更新的第二深度图，其中，所述深度图初始化单元基于存储在放大的第二深度图中的深度建立初始深度。17. 如权利要求12所述的设备，其中，所述至少一条特征信息是边缘信息、颜色信息、 亮度信息、运动信息和直方图信息中的至少一个。18. 如权利要求12所述的设备，其中，所述深度建立单元包括深度图初始化单元，根据将输入图像的多个像素分组为至少一个块的各个分组来建立 输入图像的所述至少一个块的初始深度，并将所述初始深度存储到深度图；禾口深度更新单元，基于所述初始深度通过执行滤波来计算所述至少一个块的第二深度， 并基于所述第二深度更新深度图。19. 如权利要求18所述的设备，还包括 放大单元，基于多个像素放大更新的深度图，其中，渲染单元使用放大的深度图将输入图像渲染为3D视频。20. 如权利要求12所述的设备，其中，输入图像的任何预存在和预建立的深度值是未 知或不存在的，深度建立单元仅基于所述至少一条特征信息来初始建立部分输入图像的深 度。21. —种深度估计方法，该方法包括从输入图像提取至少一条特征信息，所述特征信息独立于输入图像的预建立的深度 值；以及基于关于部分输入图像的所述至少一条特征信息来建立部分输入图像的深度。22. 如权利要求21所述的方法，其中，所述建立部分输入图像的深度的步骤还包括基于输入图像中的部分输入图像的位置特性来建立部分输入图像的初始深度，从而具有不同 位置特性的部分输入图像被建立为具有不同初始深度。23. 如权利要求21所述的方法，其中，所述建立深度的步骤包括 建立输入图像的至少一个像素的初始深度，并将初始深度存储到深度图；以及 基于所述初始深度通过执行滤波来计算部分输入图像的深度，并基于计算的深度更新深度图。24. 如权利要求23所述的方法，其中，所述提取至少一条特征信息的步骤包括 基于所述至少一条特征信息计算至少一个像素与相邻像素之间的权重，其中，所述更新深度图的步骤基于所述权重执行滤波。25. 如权利要求23所述的方法，还包括 将输入图像縮小为预定的分辨率；建立縮小的输入图像的至少一个像素的第二初始深度，并将所述第二初始深度存储到 第二深度图；从縮小的输入图像提取至少一条第二特征信息；基于所述至少一条第二特征信息和第二初始深度通过执行滤波来计算縮小的输入图 像的第二深度，并使用所述第二深度更新第二深度图；以及 基于输入图像的分辨率放大更新的第二深度图，其中，所述建立至少一个像素的初始深度的步骤还包括基于存储在放大的第二深度图 中的深度建立初始深度。26. 如权利要求21所述的方法，其中，所述至少一条特征信息是边缘信息、颜色信息、 亮度信息、运动信息和直方图信息中的至少一个。27. 如权利要求21所述的方法，其中，所述建立深度的步骤包括根据将输入图像的多个像素分组为至少一个块的各个分组来建立输入图像的所述至 少一个块的初始深度，并将所述初始深度存储到深度图；禾口基于所述初始深度通过执行滤波来计算所述至少一个块的第二深度，并基于所述第二 深度更新深度图。28. 如权利要求27所述的方法，还包括 基于多个像素放大更新的深度图。29. 如权利要求21所述的方法，其中，输入图像的任何预存在和预建立的深度值是未 知或不存在的，仅基于所述至少一条特征信息来初始建立部分输入图...

【专利技术属性】
技术研发人员：白艾伦，郑用柱，金智元，朴斗植，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：KR[韩国]