背景显示设备、背景显示系统、记录系统、相机系统、数码相机和控制背景显示设备的方法技术方案

一种用于虚拟图像记录工作室的背景显示设备被配置为在真实对象的后面或上方显示虚拟背景的表示以用于由相关联的相机记录。此外，背景显示设备被配置为显示多个预定光学可检测方位标记，从而能够确定相关联的相机相对于背景显示设备的方位。于背景显示设备的方位。于背景显示设备的方位。

【技术实现步骤摘要】
背景显示设备、背景显示系统、记录系统、相机系统、数码相机和控制背景显示设备的方法


[0001]本专利技术涉及一种用于虚拟图像记录工作室的背景显示设备，该背景显示设备被配置为在对象的后面或上方现实虚拟背景的表示以用于借助相关联的相机记录。
[0002]此外，本专利技术涉及具有此类背景显示设备的背景显示系统、具有此类背景显示设备的记录系统、以及相关联的相机、数码相机、相机系统和控制此类背景显示设备的方法。

技术介绍

[0003]这种类型的背景显示设备可以特别用于在图像记录工作室中显示风景或环境，在该风景或环境中进行记录并且形成要记录的场景的虚拟背景。例如，图像记录工作室可以是用于记录移动图像序列的电影工作室或其中记录各个图像或静止图像的照相工作室。通常，此类记录可以包括图像数据的本地存储或到远程位置的传输(例如，广播、流式传输)。在虚拟图像记录工作室中，可以创建虚拟背景或环境，演员可以在移动图像记录期间在该虚拟背景或环境中四处移动，或者它可以形成用于静止图像记录的背景。
[0004]例如，当记录移动图像时，此类背景显示设备可以用于显示虚拟背景的表示，从而能够直接在预期环境中记录场景。特别地，作为此的结果，可以促进表演，因为在虚拟背景中发生的可能事件可以由演员感知并且演员可以对这些事件做出反应。与使用绿幕(例如在环境对演员不可见的情况下)相反，演员因此可以针对任何背景事件适应性调整他的表演，并且导演、摄影师或参与摄制的任何其他人可以已经获得了摄制期间中对场景的整体印象，并可以评估场景。此外，可以在记录后直接查看和检查整个场景或电影的对应的部分，而不必先添加背景。
[0005]在静止图像记录的情况下，此类背景显示设备可以特别用于在图像记录工作室中的基本上任何环境中(并且因此在可控的环境中)记录照片，从而在拍摄照片时完全看到所产生的图像。背景和真实对象或要照相的人因此可以彼此最佳匹配或协调。此外，可以立即查看记录或记录的照片，从而在需要时进行必要的调节。
[0006]因此，此类背景显示设备可以使得能够将任何风景或周围环境显示为虚拟背景以用于在图像记录工作室中记录，并在此类虚拟背景之前进行记录。然而，关于与相关联的相机的交互，出现的问题是，由于相机的移动或方位改变，与由相机进行的虚拟背景的实际成像表示相比，与虚拟背景对应的真实背景通常将被相机被不同地成像。特别地，对于三维虚拟背景，例如风景，虚拟图像记录工作室中的至少一些背景区通常不被显示在与真实对象的一距离处，在该距离处所讨论的背景区将被布置到与虚拟背景对应的真实背景中的真实对象。实际上，通常需要在背景显示设备的二维表面上至少部分地显示三维虚拟背景，然而，这导致虚拟背景的表示针对相机方位的改变而被不同地成像，正如实际三维场景的观察者所预计的那样。
[0007]为了解决这个问题，基本上将有必要，至少要知道相机的方位，从而能够基于该信息进行任何调节。然而，相机的方位的确定在大多数情况下只能利用大量的建设性努力和
对应的高成本来实现。例如，可以在图像记录工作室中布置若干附加相机，它们面向被提供用于记录的相机，从而根据它们的图像确定相机的方位。然而，这需要多个附加相机，这些相机需要产生空间高分辨率图像并且需要使用复杂的图像分析方法来评估它们的图像，从而能够将被提供用于记录的相机与其他成像元件区分开。

技术实现思路

[0008]因此，本专利技术的一个目的是创建更简单、更快和更具成本效益的选项，用于确定用于在虚拟图像记录工作室中记录的相关联的相机的方位。
[0009]该目的通过独立权利要求实现。
[0010]特别地，背景显示设备被配置为显示多个预定光学可检测方位标记，从而能够确定相关联的相机相对于背景显示设备的方位。
[0011]由于在背景显示设备上显示多个光学可检测方位标记，位于相关联的相机的视场中的方位标记和/或方位标记的至少一部分可以例如由相关联的相机在记录期间成像，特别是附加于虚拟背景的表示。通过识别图像中的方位标记，特别是通过确定各个方位标记在图像内的位置，然后可以推断出，相机相对于方位标记并因此相对于背景显示设备位于何处或哪个空间方位。替代地或附加地，在一些实施例中，方位标记也可以借助至少一个辅助相机来检测。基于方位标记在图像内的位置确定相机的方位，例如，可以基于三角测量法进行，如下文将解释的。
[0012]多个方位标记特别是可以在空间上彼此间隔开(在平面内或在三维空间中)，使得根据方位标记在背景显示设备的图像中的位置，可以确定生成图像的相机的方位。
[0013]主相机和/或辅助相机生成的图像通常可以对应于相关相机的截头体(也称为视锥体)在图像传感器上的投影。在这方面，借助相应相机，可以将发生虚拟图像记录工作室中的三维场景的相机的三维(特别是截头圆锥形的)视场投影到二维图像传感器，以生成相机截头体的二维图像。方位标记在图像内的位置或成像的方位标记的位置因此可以特别指示方位标记在二维图像内的位置。因此可以将成像的方位标记的位置指定为例如二维坐标。这些位置并且特别是它们的坐标可以在图像本身中或者在与图像对应并且由相关联的相机或辅助相机的图像传感器生成的图像数据中确定。作为对此的替代方案，位置也可以直接涉及图像传感器并且指示从方位标记发出的光撞击到图像传感器上的位置。为此目的，例如可以识别和指定图像传感器的检测从方位标记发出的光的那些传感器元件。
[0014]除了方位标记在图像内的位置之外，在确定相关联的相机的方位时还可以考虑成像的方位标记的数量，因为例如相机记录的背景显示设备区中的区域的大小可以根据相机与背景显示设备之间的距离而变化。通过将相机远离背景显示设备移动，相应地，越来越多的方位标记可以进入相机的截头体并被成像，使得成像的方位标记的数量与相机和背景显示设备之间的距离相关，并且可以提供有关相机在空间中的方位的信息。
[0015]虽然方位标记由背景显示设备显示，但是方位标记对虚拟背景的表示没有贡献。因此，方位标记不是表示虚拟背景的所表示的图像内容的一部分。相反，方位标记可以仅用于或专门用于标记背景显示设备上的方位。方位标记可以布置在虚拟背景的表示内并且可以与虚拟背景的表示一起成像，然而，在光学上与虚拟背景的表示可区分开，或在适用的情况下与虚拟背景的相邻背景区可区分开，并且因此在图像中可识别。例如，可以通过在特定
波长范围内显示方位标记来实现光学可区分性，特别是在不可见(即，人眼不可感知)波长范围内，诸如红外和/或紫外波长范围。在一些实施例中，还可以例如通过特定标记图案的显示来实现光学可区分性。例如，考虑几何形状或颜色图案(波长图案)。特别地，方位标记也可以始终以相同的方式显示，独立于相应所表示的虚拟背景，特别是独立于在记录期间发生的虚拟背景的改变或调节，从而能够实现简单且恒定的图像中的识别。
[0016]基本上，虚拟背景可以表示三维场景。该三维场景可以由背景显示设备特别是至少部分地显示在二维表面上，为此背景显示设备可以具有例如有源照明矩阵，特别是LED壁，或用于后方投影的屏幕。背景显示设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于虚拟图像记录工作室(13)的背景显示设备(15)，其被配置为在真实对象(17)的后面或上方显示虚拟背景(21)的表示(19)以用于由相关联的相机(23)记录，其中所述背景显示设备(15)还被配置为显示多个预定光学可检测方位标记(29)，从而能够确定所述相关联的相机(23)相对于所述背景显示设备(15)的方位(A)。2.根据权利要求1所述的背景显示设备(15)，其中所述背景显示设备(15)包括用于所述虚拟背景(21)的所述表示(19)的显示表面(31)。3.根据权利要求1或2所述的背景显示设备(15)，其中所述背景显示设备(15)在竖直方向和/或水平方向上延伸。4.根据前述权利要求中任一项所述的背景显示设备(15)，其中所述背景显示设备(15)包括包含多个光源(35)的光源壁(33)，其中所述光源(35)被配置为显示所述虚拟背景(21)的所述表示(19)并生成所述多个方位标记(29)，其中所述光源(35)特别是能够分别控制。5.根据权利要求4所述的背景显示设备(15)，其中所述多个光源(35)包括发光二极管(38)和/或多色光源单元。6.根据权利要求4或5所述的背景显示设备(15)，其中所述背景显示设备(15)包括生成所述多个方位标记(29)的多个方位标记光源(37)，并且其中所述光源壁(33)包括能够分别控制的多个图片
‑
元素光源(35)，所述多个图片
‑
元素光源(35)在平面布置中生成相应图片
‑
元素光信号(S)，以显示所述虚拟背景(21)。7.根据权利要求6所述的背景显示设备(15)，其中所述多个图片
‑
元素光源(35)布置成规则网格(36)，其中所述方位标记光源(37)布置在所述规则网格(36)的所述图片
‑
元素光源(35)之间；和/或其中所述多个图片
‑
元素光源(35)布置成规则网格(36)，其中所述方位标记光源(37)布置成代替所述规则网格(36)的相应图片
‑
元素光源(34)；和/或其中所述背景显示设备(15)包括具有侧边缘(125)的多个显示模块(123)，其中所述多个显示模块(123)在它们的侧边缘(125)处彼此邻接，其中所述多个显示模块(123)中的每一个包括所述多个图片
‑
元素光源(35)的一部分，其中所述多个方位标记光源(37)布置在所述多个显示模块(123)的所述侧边缘(125)处。8.根据权利要求6或7所述的背景显示设备(15)，其中所述背景显示设备(15)被配置为以与所述图片
‑
元素光信号(S)部分不同或完全不同的波长生成所述多个方位标记(29)和/或以部分不可见或完全不可见波长生成所述多个方位标记(29)。9.根据权利要求6至8中任一项所述的背景显示设备(15)，其中所述背景显示设备(15)被配置为仅间歇地生成所述方位标记(29)和/或与所述图片
‑
元素光信号(S)在时间上交替地生成所述方位标记。10.根据权利要求4或5所述的背景显示设备(15)，其中所述多个光源(35)被配置为选择性地生成所述多个方位标记(29)或显示所述虚
拟背景(21)的所述表示的一部分。11.根据权利要求10所述的背景显示设备(15)，其中所述背景显示设备(15)被配置为在所述背景显示设备(15)上的变化的方位生成所述多个方位标记(29)和/或以部分不可见或完全不可见波长生成所述多个方位标记(29)。12.根据前述权利要求中任一项所述的背景显示设备(15)，其中所述背景显示设备(15)被配置为将所述方位标记(29)生成为至少一个预定标记图案(30)。13.一种用于虚拟图像记录工作室(13)的背景显示系统(11)，包括：
‑
背景显示设备(15)，其被配置为在真实对象(17)的后面或上方显示虚拟背景(21)的表示(19)，以用于由相关联的相机(23)记录，其中所述背景显示设备(15)还被配置为生成多个预定光学可检测方位标记(29)，从而能够确定所述相关联的相机(23)相对于所述背景显示设备(15)的方位(A)，其中所述背景显示设备(15)特别是根据前述权利要求中的任一项配置；以及
‑
控制设备(25)，其被配置为根据所述相关联的相机(23)的所确定的方位(A)来适应性调整所述虚拟背景(21)的所述表示(19)。14.根据权利要求13所述的背景显示系统(11)，其中所述背景显示系统(11)包括方位确定设备(57)，所述方位确定设备(57)被配置为根据表示所述多个方位标记(29)在所述背景显示设备(15)的图像(39)内的位置(L1、L2)的相机数据(D)确定所述相关联的相机(23)的所述方位(A)。15.根据权利要求13所述的背景显示系统(11)，其中所述相机数据(D)包括所述多个方位标记(29)在由所述相关联的相机(23)和/或由至少一个辅助相机(27)生成的所述背景显示设备(15)的图像(39)内的所述位置(L1、L2)的坐标(Y1、Z1；Y2、Z2)；和/或其中所述相机数据(D)包括由所述相关联的相机(23)和/或由至少一个辅助相机(27)生成的所述背景显示设备(15)的图像(39)的图像数据(B)，其中所述方位确定设备(57)被配置为确定所述多个方位标记(29)在所述图像(39)内的所述位置(L1、L2)。16.根据权利要求14或15所述的背景显示系统(11)，其中所述方位确定设备(57)被配置为根据所述多个方位标记(29)在所述图像(39)内的所述位置(L1、L2)计算所述相关联的相机(23)的所述方位(A)和/或被配置为在查找表中查找所述方位(A)。17.根据权利要求14至16中任一项所述的背景显示系统(11)，其中所述方位确定设备(57)被配置为根据所述多个方位标记(29)在所述图像(39)内的所述位置(L1、L2)确定在所述背景显示设备(15)上生成的所述多个方位标记(29)相对于所述相关联的相机(23)布置的相应方向(R1、R2)。18.根据权利要求14至17中任一项所述的背景显示系统(11)，其中所述方位确定设备(57)被配置为使用三角测量确定所述相关联的相机(23)的所
述方位(A)。19.根据权利要求14至18中任一项所述的背景显示系统(11)，其中所述方位确定设备(57)被配置为根据所述多个方位标记(29)在所述图像(39)内的所述位置(L1、L2)确定所述多个方位标记(29)相对于所述相关联的相机(23)布置的相应方向(R1、R2)，并且其中所述方位确定设备(57)被配置为将所述相关联的相机(23)的所述方位(A)确定为从所述多个方位标记(29)在所述相应方向(R1、R2)上延伸的直线(71、72)的交点。20.根据权利要求14至19中任一项所述的背景显示系统(11)，其中所述相机数据(D)还包括所述相关联的相机(23)的取向，特别是所述相关联的相机(23)的旋转方位和/或倾斜方位，其中所述方位确定设备(57)被配置为在确定所述相关联的相机(23)的所述方位(A)时考虑所述取向。21.根据权利要求14至20中任一项所述的背景显示系统(11)，其中所述控制设备(25)被配置为根据所述相机数据(D)改变所述背景显示设备(15)上的所述多个方位标记(29)的方位(103；105)。22.根据权利要求21所述的背景显示系统(11)，其中所述控制设备(25)被配置为将所述多个方位标记(29)的改变的方位(103
’
、103”；104
’
、104”、105
’
、105”；106
’
、106”)传输到所述方位确定设备(57)。23.根据权利要求13至22中任一项所述的背景显示系统(11)，其中所述控制设备(25)连接到存储器(45)，在所述存储器(45)中存储用于生成所述虚拟背景(21)的所述表示(19)的...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：阿诺德和里克特电影技术公司，
类型：发明
国别省市：