一种LED虚拟拍摄切割合成方法技术

本发明专利技术公开了一种LED虚拟拍摄切割合成方法，包括：在二维的屏幕空间坐标系下，将LED面板组合体的面片所占据区域分解为多个三角形，表示为一个三角形数组；通过三角形对平面进行裁剪，把投影相机的视锥体分解为平面；遍历所有面片及其所有三角形，通过所有三角形依次对每个投影相机的视锥体的各个面进行裁剪，得到占据区域数据；把每个三角形的三维顶点映射到屏幕坐标系下的二维坐标；占据区域数据输入着色器程序，并在片段着色器阶段对每个像素点进行是否在三角形内的判断；如果在三角形内，则采用真实相机的实拍图像，否则采用虚拟场景的图像。本发明专利技术不仅能为演员的表演提供参照，而且不受衣着、妆容的颜色的限制，还不需要绿幕打光。打光。打光。

【技术实现步骤摘要】
一种LED虚拟拍摄切割合成方法


[0001]本专利技术涉及虚拟制作
，尤其涉及一种LED虚拟拍摄切割合成方法。

技术介绍

[0002]在影视行业，虚拟制作(virtual production)是指多种计算机辅助影视制作方法，包括视觉特效(VFX)、表演捕捉、绿幕抠像、LED大屏等。多种虚拟制作技术为影视制作带来了增强效果、降低成本、缩短工期等诸多好处，并且赋予内容制作者更大的想象力。
[0003]目前大多采用绿幕抠像技术，但绿幕抠像技术容易产生如下问题：背景颜色不匀产生的局部噪点布光不匀；人物服饰部分接近背景，局部颜色接近背景的过渡色范围，在抠像合成时这部分区域会成半透明状态，把背景画面透出来。
[0004]因此，如何提供一种效果更好的LED虚拟拍摄切割合成方法，成为了本领域技术人员急需解决的技术问题。

技术实现思路

[0005]本专利技术目的是提供了一种LED虚拟拍摄切割合成方法，以解决上述问题。
[0006]本专利技术解决技术问题采用如下技术方案：
[0007]一种LED虚拟拍摄切割合成方法，包括如下步骤：
[0008]步骤S1，占据区域表示：在二维的屏幕空间坐标系下，将LED面板组合体的面片所占据区域分解为多个三角形，表示为一个三角形数组；
[0009]步骤S2，面向平面的三角形裁剪：通过三角形对平面进行裁剪，把投影相机的视锥体分解为平面；
[0010]步骤S3，占据区域计算：遍历所有面片及其所有三角形，通过所有三角形依次对每个投影相机的视锥体的各个面进行裁剪，得到占据区域数据；
[0011]步骤S4，投影和屏幕映射：把每个三角形的三维顶点映射到屏幕坐标系下的二维坐标；
[0012]步骤S5，合成：步骤S3得到的占据区域数据输入着色器程序，并在片段着色器阶段对每个像素点进行是否在三角形内的判断；如果在三角形内，则采用真实相机的实拍图像，否则采用虚拟场景的图像。
[0013]进一步的，步骤S2中，通过三角形对平面进行裁剪，把投影相机的视锥体分解为平面的方法如下：
[0014]设在同一坐标系下，平面的法线为n，平面到坐标原点的距离为d，法线的正方向一侧是平面的正面，另一侧是反面；设三角形的三个顶点为A，B，C；A，B，C在平面法线上的投影距离与平面到原点的距离之差依次为p
a
，p
b
,p
c
，则
[0015]p
a
＝n
·
A
‑
d
[0016]p
b
＝n
·
B
‑
d
[0017]p
c
＝n
·
C
‑
d
[0018]设三角形的三条边AB、BC、CA与平面的交点依次为V
ab
，V
bc
，V
ca
，则：
[0019][0020]进一步的，步骤S3中，投影相机的视锥体的各个面的获取方法为：将LED面板组合体的面片的顶点位置变换到世界空间，再变换到投影相机的观察空间；根据投影相机的视锥体的8个顶点，计算出投影相机的视锥体的6个面。
[0021]进一步的，把每个三角形的三维顶点映射到屏幕坐标系下的二维坐标的方法为：对于三角形数组中的每个三角形的每个顶点，都进行投影变换、齐次除法、屏幕映射、竖直翻转,从而将每个三角形的三维顶点映射到屏幕坐标系下的二维坐标。
[0022]进一步的，步骤S5中，对每个像素点进行是否在三角形内的判断的方法为：
[0023]已知屏幕坐标系下的一点P，以及一个三角形的三个顶点P1，P2，P3，判断点P在不在三角形内，方法是：
[0024]求解三角形的法线N：
[0025]N＝(P2‑
P1)
×
(P3‑
P1)
[0026]三条边与N的叉积：
[0027]N
12
＝(P2‑
P1)
×
N
[0028]N
23
＝(P3‑
P2)
×
N
[0029]N
31
＝(P1‑
P3)
×
N
[0030]求P点与N
12
，N
23
，N
31
的关系：
[0031]ρToN
12
＝(P
‑
P1)
·
N
12
/mod(N
12
)
[0032]ρToN
23
＝(P
‑
P2)
·
N
23
/mod(N
23
)
[0033]ρToN
31
＝(P
‑
P3)
·
N
31
/mod(N
31
)
[0034]如果ρT0N
12
、ρT0N
23
、ρT0N
31
都不大于零，则说明P点在三角形内。
[0035]本专利技术公开的一种LED虚拟拍摄切割合成方法，具有以下有益效果：
[0036]本专利技术使用LED大屏幕的虚拟拍摄技术表现出比绿幕抠像技术更大的发展潜力，不仅能为演员的表演提供参照，而且不受衣着、妆容的颜色的限制，还不需要绿幕打光。
附图说明
[0037]图1为本专利技术的整体流程图。
[0038]图2为矩形面片基本几何体示意图。
[0039]图3为本专利技术三角形对矩形面片的裁剪图。
[0040]图4为本专利技术由复杂多边形的图像合成示意图。
[0041]图5为使用三块LED大屏进行三角拼接方式的示意图。
[0042]图6为使用三块LED大屏进行直角拼接方式的示意图。
具体实施方式
[0043]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0044]LED虚拟拍摄系统可分为硬件部分和软件部分。
[0045]硬件部分：在拍摄场地安装LED大屏幕，以某种拼接方式组合在一起，形成舞台；现场需要部署空间定位系统，并在摄像机安装一个追踪器。此外需要两台计算机，以运行主控软件和3D场景渲染软件，以及与LED大屏幕配套的LED视频控制器。
[0046]软件部分：主控软件将根据LED大屏幕的物理尺寸、分辨率等参数，在软件中对其进行建模，并设置一个虚拟相机。主控软件将接收来自摄像机的实拍图像和定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种LED虚拟拍摄切割合成方法，其特征在于，包括如下步骤：步骤S1，占据区域表示：在二维的屏幕空间坐标系下，将LED面板组合体的面片所占据区域分解为多个三角形，表示为一个三角形数组；步骤S2，面向平面的三角形裁剪：通过三角形对平面进行裁剪，把投影相机的视锥体分解为平面；步骤S3，占据区域计算：遍历所有面片及其所有三角形，通过所有三角形依次对每个投影相机的视锥体的各个面进行裁剪，得到占据区域数据；步骤S4，投影和屏幕映射：把每个三角形的三维顶点映射到屏幕坐标系下的二维坐标；步骤S5，合成：步骤S3得到的占据区域数据输入着色器程序，并在片段着色器阶段对每个像素点进行是否在三角形内的判断；如果在三角形内，则采用真实相机的实拍图像，否则采用虚拟场景的图像。2.根据权利要求1所述的一种LED虚拟拍摄切割合成方法，其特征在于，步骤S2中，通过三角形对平面进行裁剪，把投影相机的视锥体分解为平面的方法如下：设在同一坐标系下，平面的法线为n，平面到坐标原点的距离为d，法线的正方向一侧是平面的正面，另一侧是反面；设三角形的三个顶点为A，B，C；A，B，C在平面法线上的投影距离与平面到原点的距离之差依次为p
a
，p
b
,p
c
，则p
a
＝n
·
A
‑
dp
b
＝n
·
B
‑
dp
c
＝n
·
C
‑
d设三角形的三条边AB、BC、CA与平面的交点依次为V
ab
，V
bc
，V
ca
，则：，则：，则：3.根据权利要求2所述的一种LED虚拟拍摄切割合成方法，其特征在于，步骤S3中，投影相机的视锥体的各个面的获取方法为：将LED面板组合体的面片的顶点位置变换到世界空间，再变换到投影相机的观察空间；根据投影相机的视锥体的8个顶点，计算出投影相机的视...

【专利技术属性】
技术研发人员：桑维东，
申请(专利权)人：北京中科深智科技有限公司，
类型：发明
国别省市：