全景视频的处理方法、装置及系统制造方法及图纸

本发明专利技术实施方式公开了一种全景视频的处理方法、装置及系统，终端设备通过接收显示设备发送的分区参数，进而根据分区参数，确定全景视频画面中第一视频区域和第二视频区域，对第一视频区域内的视频数据按照第一码率处理，对第二视频区域内的视频数据按照第二码率处理，实现用户观察区域对应的图像按照高码率处理，用户非观察区域对应的图像按照低码率处理，确保在有限的信道带宽的情况下，提高显示设备与终端设备之间图像传输的实时性、提高用户观看到的视频图像的清晰度，增强用户体验。

【技术实现步骤摘要】

本专利技术涉及全景图像处理
，特别是涉及一种全景视频的处理方法、装置及系统。
技术介绍
随着VR头戴显示设备以及飞行器的普及，通过飞行器携带的全景摄像模组捕捉高空场景中较大范围的图像信息，进而利用WiFi、蓝牙、Zigbee、移动通信等无线传输技术，将上述图像信息发送至VR头戴显示设备。现有技术中，通常对全景摄像模组拍摄的各个角度的图像进行拼接形成图像帧，进而将图像帧映射到构建的虚拟球体模型的球体表面，得到以球体模型来呈现的球面图像，通过VR头戴显示设备来观看球面图像所呈现出来的全景景观，提升用户的体验和沉浸感。专利技术人在实现本专利技术的过程中发现：鉴于目前无线传输技术中信道带宽有限，将图像帧发送至VR头戴显示设备的过程中，很难通过VR头戴显示设备实时地显示球面图像。虽然能够通过降低码率、减少帧率的方式适应有限的信道带宽，以提高实时性，但是却以牺牲在VR头戴显示设备上看到的视频图像质量为代价，降低了用户的体验。
技术实现思路
本专利技术实施方式主要解决的技术问题是提供一种全景视频的处理方法、装置及系统，能够确保在有限的信道带宽的情况下，提高显示设备与终端设备之间图像传输的实时性、提高用户观看到的视频图像的清晰度。第一方面，本专利技术实施例提供了一种全景视频的处理方法，包括：接收显示设备发送的分区参数；根据所述分区参数，确定全景视频画面中第一视频区域和第二视频区域；对所述第一视频区域内的视频数据按照第一码率处理，对所述第二视频区域内的视频数据按照第二码率处理。第二方面，本专利技术实施例提供了一种全景视频的处理装置，所述装置包括：参数接收模块，用于接收显示设备发送的分区参数；区域确定模块，用于根据所述分区参数，确定全景视频画面中第一视频区域和第二视频区域；第一码率处理模块，用于对所述第一视频区域内的视频数据按照第一码率处理；第二码率处理模块，用于对所述第二视频区域内的视频数据按照第二码率处理。第三方面，本专利技术实施例提供了一种全景视频的处理方法，所述方法包括：向终端设备发送分区参数；接收终端设备根据所述分区参数反馈的全景视频画面，其中，所述全景视频画面包括第一视频区域和第二视频区域，所述第一视频区域内的视频数据按照第一码率处理，所述第二视频区域内的视频数据按照第二码率处理。第三方面，本专利技术实施例提供了一种全景视频的处理装置，所述装置包括：参数发送模块，用于向终端设备发送分区参数；画面接收模块，用于接收终端设备根据所述分区参数反馈的全景视频画面，其中，所述全景视频画面包括第一视频区域和第二视频区域，所述第一视频区域内的视频数据按照第一码率处理，所述第二视频区域内的视频数据按照第二码率处理。第四方面，本专利技术实施例提供了一种全景视频的处理系统，所述系统包括：显示设备，用于向所述终端设备发送分区参数；终端设备，用于根据所述分区参数，确定全景视频画面中第一视频区域和第二视频区域，并对所述第一视频区域内的视频数据按照第一码率处理，对所述第二视频区域内的视频数据按照第二码率处理。本专利技术实施例提供的一种全景视频的处理方法、装置及系统，终端设备通过接收显示设备发送的分区参数，进而根据分区参数，确定全景视频画面中第一视频区域和第二视频区域，对第一视频区域内的视频数据按照第一码率处理，对第二视频区域内的视频数据按照第二码率处理，实现用户观察区域对应的图像按照高码率处理，用户非观察区域对应的图像按照低码率处理，确保在有限的信道带宽的情况下，提高显示设备与终端设备之间图像传输的实时性、提高用户观看到的视频图像的清晰度，增强用户体验。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种全景视频的处理方法的流程图；图2a和图2b是用户视角的朝向在球体模型内切换的示意图；图3a和图3b是用户视角的范围对应全景视频画面中图像的变化示意图；图4是本专利技术实施例提供的一种全景视频的处理装置的功能框图；图5是本专利技术又一实施例提供的一种全景视频的处理装置的功能框图；图6是本专利技术实施例提供的一种全景视频的处理方法的流程图；图7是本专利技术实施例提供的一种全景视频的处理装置的功能框图；图8是本专利技术又一实施例提供的一种全景视频的处理装置的功能框图；图9是本专利技术实施例提供的一种全景视频的处理系统的示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。本专利技术实施例的全景视频的处理方法可以是基于与全景摄像模组通信连接的终端设备和显示设备之间的信息交互过程。全景摄像模组可以是由一个或者多个摄像头组成。终端设备可以是飞行器、相机、手机、平板电脑等，显示设备可以是VR头戴显示设备、电视机、投影设备等。终端设备将全景摄像模组采集的全景视频经过预设处理后以无线或有线传输的方式发送给显示设备进行显示，无线传输的方式包括但不限于Wifi、Bluetooth、ZigBee、移动数据通信等无线传输技术。下面结合具体附图对本专利技术实施例作具体阐述。如图1所示，本专利技术实施例提供了一种全景视频的处理方法，所述方法可以由终端设备执行，所述方法包括：步骤11、接收显示设备发送的分区参数。在本专利技术实施例中，以显示设备是VR头戴式显示设备为例，全景摄像模组拍摄全景视频画面，终端设备根据VR头戴式显示设备发送的分区参数反馈所述全景视频画面至VR头戴式显示设备。用户佩戴VR头戴式显示设备时，为了能够观看全景视频画面的三维效果，如图2a所示，VR头戴式显示设备可以构建虚拟三维空间内的球体模型21，进而将全景视频画面映射到球体模型21的球体表面上，得到以球体模型21来展现的球面视频画面，实现把二维的全景视频画面模拟成三维的球面视频画面，以呈现给用户。用户视角的切换可以实现向用户呈现球面视频画面中不同的区域，在用户视角的切换的实现方式上，包括但不限于如下两种方式：第一种方式，佩戴VR头戴式显示设备的用户转动头部，VR头戴式显示设备的陀螺仪检测用户的头部转动，确定用户视角的方位，以便向用户呈现球面视频画面中用户视角朝向的区域，例如，由如图2a所示的用户视角朝向的区域切换到如图2b所示的用户视角朝向的区域。第二种方式，佩戴VR头戴式显示设备的用户操作遥控器上的摇杆或按键，VR头戴式显示设备根据摇杆的摆动或按键的触发，即可向用户呈现球面视频画面中不同的区域。遥控器与VR头戴式显示设备可以是以无线或有线传输的方式进行通信。需要说明的是，在用户视角的切换的实现方式上，可以采用上述第一种方式，也可以采用上述第二种方式，还也可以采用在第一种方式与第二种方式之间切换，以便供用户选择第一种方式或第二种方式。在本专利技术实施例中，可以将球体模型的球体表面分成多个分区，分区的数量及各个分区的面积大小可以显示设备的显示屏视角大小进行适应性调整。图2a和图2b中以将球体模型21的球体表面分成六个分区为例本文档来自技高网...

【技术保护点】
一种全景视频的处理方法，其特征在于，包括：接收显示设备发送的分区参数；根据所述分区参数，确定全景视频画面中第一视频区域和第二视频区域；对所述第一视频区域内的视频数据按照第一码率处理，对所述第二视频区域内的视频数据按照第二码率处理。

【技术特征摘要】
1.一种全景视频的处理方法，其特征在于，包括：接收显示设备发送的分区参数；根据所述分区参数，确定全景视频画面中第一视频区域和第二视频区域；对所述第一视频区域内的视频数据按照第一码率处理，对所述第二视频区域内的视频数据按照第二码率处理。2.根据权利要求1所述的全景视频的处理方法，其特征在于，所述分区参数为根据所述显示设备的用户视角所确定的全景视频画面的分区位置。3.根据权利要求1或2所述的全景视频的处理方法，其特征在于，所述对所述第一视频区域按照第一码率处理，对所述第二视频区域按照第二码率处理，具体为：对所述第一视频区域内的视频数据按照第一码率进行压缩编码；对所述第二视频区域内的视频数据按照第二码率进行压缩编码。4.根据权利要求3所述的全景视频的处理方法，其特征在于，还包括：将压缩编码后的视频码流通过无线传输的方式发送至所述显示设备。5.根据权利要求1或2所述的全景视频的处理方法，其特征在于，所述对所述第一视频区域按照第一码率处理，对所述第二视频区域按照第二码率处理，具体为：确定拍摄第一视频区域的第一组摄像头，将所述第一组摄像头的输出码率设置为第一码率；以及，确定拍摄第二视频区域的第二组摄像头，将所述第二组摄像头的输出码率设置为第二码率。6.一种全景视频的处理装置，其特征在于，所述装置包括：参数接收模块，用于接收显示设备发送的分区参数；区域确定模块，用于根据所述分区参数，确定全景视频画面中第一视频区域和第二视频区域；第一码率处理模块，用于对所述第一视频区域内的视频数据按照第一码率处理；第二码率处理模块，用于对所述第二视频区域内的视频数据按照第二码率处理。7.根据权利要求6所述的装置，其特征在于，所述分区参数为根据所述显示设备的用户视角所确定的全景视频图像分区的位置。8.根据权利要求6或7所述的装置，其特征在于，所述第一码率处理模块用于对所述第一视频区域内的视频数据按照第一码率进行压缩编码；所述第二码率处理模块用于对所述第二视频区域内的视频数据按照第二码率进行压缩编码。9.根据权利要求8所述的装置，其特征在于，所述装置还包括：码流发送模块，用于将压缩编码后的视频码流通过无线传输的方式发送至所述显示设备。10.根据权利要求6或7所述的装置，其特征在于，所述第一码率处理模块用于确定拍摄第一视频区域的第一组摄像头，将所述第一组摄像头的输出码率设置为第一码率；所述第二码率处理模块用于确定拍摄第二视频区域的第二组摄像头，将所述第二组摄像头的输出码率设置为第二码率。11.一种全景视频的处理方法，其特征在于，所述方法包括：向终端设备发送分区参数；接收终端设备根据所述分区参数反馈的全景视频画面，其中，所述全景视频画面包括第一视频区域和第二视频区域，所述第一视...

【专利技术属性】
技术研发人员：刘洋，
申请(专利权)人：深圳市道通智能航空技术有限公司，
类型：发明
国别省市：广东;44