双焦距视频的沉浸式显示方法技术

本发明专利技术公开了一种双焦距视频的沉浸式显示方法，通过A、B双焦距照相设备同时拍摄两个带时间戳的3D视频，其中镜头A拍摄整体场景，镜头B拍摄主体特写，播放时用户可以在整体场景与主体特写之间实时切换，还可以通过影像缩放平滑过渡，更进一步，还可以在视频B主体特写的基础上进一步裁剪插值影像，放大拉近主体，实现沉浸式近眼显示。本发明专利技术公开的沉浸式显示方法，运用了单目运动视差、非对称清晰度3D技术，克服了3D视频沉浸感不足、VR显示角分辨率低的缺点。双焦距视频保留了整体感和丰富的视频细节，具有场景推拉和环视的显示功能，消除碎片化观看的感觉。化观看的感觉。化观看的感觉。

Immersion display method of dual focus video

【技术实现步骤摘要】
双焦距视频的沉浸式显示方法

：
[0001]本专利技术涉及一种双焦距视频的沉浸式显示方法。

技术介绍
：
[0002]采用双机位拍摄的包括FHD、4K、8K等各种清晰度的左右视差3D视频，每帧图像可以达到4M～64M像素，而3D手机、PAD、电视机、投影仪或VR一体机等屏幕的清晰度通常只有2M～4M像素，不能满足3D视频的高清完整显示需求。视频节目常采用多机位摄录、切换、剪辑，观看节目内容的主动选择权不在观众手中，播放什么样的画面观众只能被动接受。另外，3D视频的多机位拍摄比较困难，缺少细节、缺乏变化与沉浸交互感，让3D视频的魅力大打折扣。
[0003]VR显示中采用了大视野、3D拍摄、360
°
场景、主动式环视观看技术，其带来的现场感和沉浸感是单纯的3D视频难以企及的。但是，VR视频由于包含的全景视野过于宏大，在显示视窗中影像的分辨率相对较低，比如4K VR全景视频显示窗口的清晰度还达不到480P，由于VR全景视频的角分辨率较低，除了能主动选择环视场景的优点外，拉近关注对象近距离观看会进一步降低角分辨率，并不能获得好的VR显示效果。
[0004]本专利技术的目的在于提供一种双焦距拍摄视频的沉浸式显示方法，将具有宽广场景、丰富细节的3D视频，结合VR显示的主动环视技术，通过影像缩放和视窗平移将场景拉近、推远以及环视局部细节，可以主动、交互式再现整体场景，展示主体动态细节。

技术实现思路
：
[0005]本专利技术公开了一种双焦距视频的沉浸式显示方法，通过A、B双焦距视频设备同时拍摄两个带时间戳的视频或3D视频，其中镜头A(1)拍摄整体场景(8)，镜头B(2)拍摄主体特写(9)，播放时用户可以在整体场景(8)与主体特写(9)之间主动实时切换。除了焦距直接切换之外，A、B双焦距视频之间还可以通过清晰影像缩放平滑过渡；更进一步，还可以在B焦距主体特写的基础上进一步裁剪插值影像，放大拉近主体，实现沉浸式近眼显示，如图10所示。
[0006]本专利技术所述的双焦距视频设备，可以是不同等效焦距的相机或摄像机的组合，如图1所示；也可以指能同时录制两个视频、具有不同焦距的多镜头拍照手机，如图9所示；B焦距还可以采用光学变焦镜头，与A镜头的数字变焦形成3D视频，如图6所示。A、B等效焦距并不特指某个值，一般A为广角镜头，B为中长焦镜头，B焦距大于A，镜头A(1)摄录整体，镜头B(2)摄录局部。
[0007]双焦距视频拍摄设备有两种链接方式：软链接和硬链接。前者适合摄录固定场景，广角镜头A视野固定，中长焦镜头B的光轴可调整，实时追踪被拍摄的主体；后者适合移动场景，A、B双焦镜头硬链接固定成一个整体，一起追踪整个场景和主体，更适合拍摄具有运动视差的影像。双焦距视频分为3D视频和2D视频，2D视频在下面的描述中简称视频，下面分别说明这两种双焦距视频的拍摄方法。
[0008]在合适的水平视差位置上，一组焦距为A的广角镜头同步拍摄A
L
、A
R
两个视频，组合成3D视频A；一组焦距为B的中长焦镜头同步拍摄B
L
、B
R
两个视频，组合成3D视频B；3D视频A和3D视频B具有共同的时间戳，组合成双焦距3D视频。两组3D视频的水平视差可以相同，如图1a所示；也可以不同，在通常情况下3D视频B的视差要大于3D视频A的视差，如图1b所示。双焦距3D视频在同一时刻的4幅A
L
、A
R
、B
L
、B
R
帧图像拼合在一起，组合成新的视频帧，此时全高清视频变成4K视频，或者4K视频变成8K视频，如图2所示，双焦距3D视频组成一个视频文件来存储、传输、播放。显然，A
L
、A
R
、B
L
、B
R
4个视频文件独立，作为一组双焦距3D视频存储也是可行的，它们之间由共同的时间戳链接在一起。
[0009]在合适的水平视差位置上，具有焦距A的广角镜头与焦距B的中长焦镜头同时拍摄两个视频，广角镜头A(1)拍摄整体场景(8)，中长焦镜头B(2)拍摄主体特写(9)，如图3所示。广角视频A和中长焦视频B具有共同的时间戳，组成双焦距视频，双焦距视频在同一时刻的2幅帧图像拼合在一起，按时序可以组合成新的双焦距视频帧存储，如图4所示。同样，两个视频文件作为一组双焦距视频独立存储也是可行的，它们之间由共同的时间戳链接在一起。单镜头拍摄的视频A、视频B属于2D视频，但只要视频内容中存在运动视差，就可以通过单眼视觉形成立体感觉；通过裁切视频A帧图像(14)，放大后与同时刻的视频B帧图像(15)可以组成非对称清晰度的双目3D视频，同样可以形成沉浸式3D显示，如图5所示。
[0010]一般来说组成3D图像和3D视频的左右分辨率是相同的，但是，当两者清晰度不同，甚至其中一个图像的分辨率不到另一个的1/2，仍然能实现3D显示，其清晰度由分辨率高的图像决定，本专利技术把这一特性称为3D视频的非对称清晰度，本专利技术多处应用到这一特性。利用非对称清晰度可以将不同的镜头组合在一起，让手机拍摄3D视频成为可能，其次还可以节省存储空间。
[0011]双焦距视频和双焦距3D视频的沉浸式显示，需要结合数字变焦、单目双目可切换立体技术的播放APP在显示终端上实现。显示终端主要指VR头显、个人手持裸眼3D屏，也包括其它用户可操控的显示屏。播放APP可实现如下功能：
[0012]a)完整显示视频A(或3D视频A)、视频B(或3D视频B)，并可在两者之间实时切换；
[0013]b)显示视频A、视频B时，采用画面裁切数字变焦技术实现局部场景的拉近、推远、平移显示；
[0014]c)显示缩放控制：
①
高度满屏的居中显示，画面可左右移动；
②
100％像素显示，画面居中局部显示，可上下左右平移、环视；
③
在完整场景与200％像素显示之间放大率可调，画面可平移、环视；
[0015]d)切换方式控制：
①
对于VR头显，依靠设定的显示姿态切换A、B视频，缩放和移动画面；
②
个人手持裸眼3D屏，双指快速缩放画面，单指快速移动画面。
[0016]依据视频源的拍摄方法不同，双焦距视频显示方法主要分为四类：双焦距3D视频、双焦距视频、双焦距变焦视频和注视点高分辨率同屏显示。
[0017]如图2所示，双焦距3D视频的帧图像拼合在一起，组成双焦距3D视频，显示终端可采用裸眼3D显示屏、眼镜式3D显示屏或者VR头显。其中3D视频A或3D视频B按3D显示终端的要求以交织或者分屏的方式进行显示，用户主动控制3D视频A、B的切换，以及画面的缩放，场景的拉近推远、平移环视等。在视频的任意时刻，用户既可以看到完整的3D场景，也可以通过切换3D视频B并数字放大，拉近距离看到清晰的局部3D细节。
[0018]如图4所示，双焦距A视频帧图像(14)与B视频帧图像(15)拼合在一起，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双焦距视频及显示方法，其特征在于，通过A、B双焦距视频设备同时拍摄两个带时间戳的视频或3D视频，其中镜头A(1)拍摄整体场景(8)，镜头B(2)拍摄主体特写(9)，播放时用户可以在整体场景(8)与主体特写(9)之间实时切换。2.如权利要求1所述的双焦距视频及显示方法，其特征还在于，视频A和视频B之间还可以通过影像缩放平滑过渡，在视频B主体特写的基础上进一步裁剪插值影像，放大拉近主体，实现沉浸式近眼显示。3.如权利要求1或2所述的双焦距视频及显示方法，其特征还在于，一组焦距为A的广角镜头同步拍摄A
L
、A
R
两个视频，组合成3D视频A；一组焦距为B的中长焦镜头同步拍摄B
L
、B
R
两个视频，组合成3D视频B；3D视频A和3D视频B具有共同的时间戳，组合成双焦距3D视频。4.如权利要求1或2所述的双焦距视频及显示方法，其特征还在于，具有焦距A的广角镜头与焦距B的中长焦镜头同时拍摄两个视频，广角镜头A(1)拍摄整体场景(8)，中长焦镜头B(2)拍摄主体特写(9)，视频A和视频B具有共同的时间戳，组成双焦距视频，双焦距视频在同一时刻的2幅帧图像拼合在一起，按时序组合成新的双焦距视频文件存储，或者，视频A、视频B独立存储，它们之间由共同的时间戳链接在一起。5.如权利要求4所述的双焦距视频及显示方法，其特征还在于，视频A、视频B含有运动视差，可以通过单目观看形成立体感觉，裁切视频A帧图像(14)放大，与同时刻的视频B帧图像(15)组合成非对称清晰度的3D视频，视频A、视频B、3D视频之间可以实时切换。6.如权利要求5所述的双焦距视频及显示方法，其特征还在于，拍照手机的超广镜头(4)、中焦人像镜头(5)、长焦镜头(6)、标准广角主摄镜头(7)一字排开，在超广镜头(4)和标准广角主摄镜头(7)之间有足够的间距满足3D拍摄需要的水平视差，超广镜头(4)和标准广角主摄镜头(7)可以组成双焦距镜头同时拍摄视频A和视频B。7.如权利要求1或2所述的双焦距视频及显示方法，其特征还在于，智能手机的广角镜头A(1)与外挂变焦拍摄模块(3)组合，手机广角A视频帧图像(14)和外挂变焦B视频帧图像(18)拼合成双焦距变焦视频，根据视频B时间轨上记录...

【专利技术属性】
技术研发人员：邓云天，
申请(专利权)人：邓云天，
类型：发明
国别省市：