一种双目720度全景采集系统技术方案

本发明专利技术公开了一种双目720度全景采集系统，包括：采集模块，用于采集N路音频数据和双路视频数据；核心处理模块，用于将N路音频数据和双路视频数据进行匹配并拼接为全景视频；云端流媒体服务器模块和本地服务器模块，用于创建直播、生成推流地址和播放地址，将接收到的音视频流格式进行格式转换；广域网终端体验模块和局域网终端体验模块，用于完成音视频现场直播。本发明专利技术通过两路高处理能力的ISP和至少两路MIPI接口，可以实现双路视频的硬件同步采集、双路千万像素以上的传感器的数据量的实时处理、及720度全景视频的实时拼接，保证在网络较低的码率下也能实现高清图像信息的快速传输，极大地提高了用户体验的真实感和舒适感。

【技术实现步骤摘要】
一种双目720度全景采集系统
本专利技术属于图像采集
，特别是涉及一种双目720度全景采集系统。
技术介绍
随着计算机技术的飞速发展，多媒体所包含的种类也越来越多，所能表现的效果也越来越多，而一些比较传统的表现方式也越来越无法满足大部分客户对于展示方式的要求。在传统的表现方式中，展示的手段无非是静态的平面图片和动态的视频，也有通过三维全景进行展示的，静态图片只能提供场景的某一角度图像，即使是广角镜头，也不能有效全面的对场景进行表现；而动态视频虽然可以让用户对场景有全面的了解，可图像视角依然有限，观看方式取决于拍摄者的拍摄方式，并不自由，所以，在我们需要真实、全面、直观的表现某一场景时，360全景无疑是最好的选择。随着人们需求的不断提高，人们更希望构建出一个连续漫游、信息丰富以及交互性强的虚拟全景环境，那么如何快速有效地构建虚拟现实所需要的图像信息并将其传递到客户端并显示，提高用户体验的真实感和舒适感，将成为一个亟待解决的问题。
技术实现思路
为解决上述技术问题，本专利技术提供了一种双目720度全景采集系统，以快速有效地构建虚拟现实所需要的图像信息，提高用户体验的真实感和舒适感。本专利技术提供的一种双目720度全景采集系统，包括：采集模块，用于采集N路音频数据和双路视频数据，其中N为大于或等于2的正整数；核心处理模块，用于将所述采集模块采集的双路视频数据进行全景视频实时拼接，同时将所述N路音频数据通过环绕立体声算法进行所述N路音频数据的融合，并与全景视频进行算法的位置信息匹配，使得环绕立体声音频能够根据全景视频不同的视角位置匹配模拟出真实场景人耳感受到的声源位置的发生情况，再把经过匹配的全景视频和环绕立体声音频进行视频数据的硬件加速编码和音频数据的硬件加速编码，再进行一个时间戳同步，最后将同步后的音频数据和视频数据进行本地存储或者直接通过以太网进行RTMP格式的音视频推流，其与所述采集模块相连接；云端流媒体服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在云平台创建直播、生成推流地址和播放地址，将接收到的视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；广域网终端体验模块，用于实时接收和解码云端流媒体服务器模块分发过来的音频和视频数据，进行远程沉浸式全景音视频现场的直播体验，其与所述云端流媒体服务器模块相连接；本地服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在本地服务器创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；局域网终端体验模块，用于实时接收和解码本地服务器模块分发过来的音频和视频数据，完成本地沉浸式全景音视频现场的直播体验，其与所述本地服务器模块相连接。进一步地，所述采集模块包括相互电连接的摄像头模组第一单元和摄像头模组第二单元，所述摄像头模组第一单元包括图像第一传感器以及与所述图像第一传感器电连接的第一鱼眼镜头，所述摄像头模组第二单元包括图像第二传感器以及与所述图像第二传感器电连接的第二鱼眼镜头，所述采集模块还包括拾音第一单元和拾音第二单元。进一步地，所述摄像头模组第一单元的光轴和所述摄像头模组第二单元的光轴相互重合或者相互平行。进一步地，所述核心处理模块包括CPU管理单元，分别与所述CPU管理单元相连接的ISP第一单元，ISP第二单元，多声道混音单元，内存单元，GPU单元，全景拼接单元，音频编码单元，所述核心处理模块还包括MIPI第一接口，MIPI第二接口，视频编码单元，复用单元，RTMP推流单元，本地存储单元，所述视频编码单元、复用单元、RTMP推流单元依次连接且所述视频编码单元与所述全景拼接单元相连接，所述本地存储单元与所述复用单元相连接，所述复用单元还与所述音频编码单元相连接，所述多声道混音单元与所述采集模块中的所述拾音第一单元和拾音第二单元相连接，所述ISP第一单元与所述MIPI第一接口相连接，所述ISP第二单元与所述MIPI第二接口相连接，所述MIPI第一接口与所述采集模块中的图像第一传感器相连接，所述MIPI第二接口与所述采集模块中的图像第二传感器相连接。进一步地，所述云端流媒体服务器模块与所述核心处理模块中的RTMP推流单元相连接。进一步地，所述广域网终端体验模块包括第一解复用单元，第一视频解码单元，与所述第一视频解码单元相连接的第一显示单元，第一音频解码单元，与所述第一音频解码单元相连接的第一播放单元，所述第一解复用单元与所述第一视频解码单元和第一音频解码单元相连接，所述云端流媒体服务器模块与所述第一解复用单元相连接。进一步地，所述广域网终端体验模块可以为VR一体机、手机、平板电脑、MAC电脑、笔记本电脑或台式机电脑。进一步地，所述本地服务器模块与所述核心处理模块中的RTMP推流单元相连接。进一步地，所述局域网终端体验模块包括第二解复用单元，第二视频解码单元，与所述第二视频解码单元相连接的第二显示单元，第二音频解码单元，与所述第二音频解码单元相连接的第二播放单元，所述第二解复用单元与所述第二视频解码单元和第二音频解码单元相连接，所述本地服务器模块与所述第二解复用单元相连接。进一步地，所述局域网终端体验模块可以为VR一体机、手机、平板电脑、MAC电脑、笔记本电脑或台式机电脑。本专利技术的双目720度全景采集系统通过两路高处理能力的ISP和至少两路MIPI接口，可以实现双路视频的硬件同步采集、双路千万像素以上的传感器的数据量的实时处理、及720度全景视频的实时拼接，保证在网络较低的码率下也可以实现高清图像信息的快速传输，极大地提高了用户体验的真实感和舒适感，同时，该系统体积小、功耗低及成本低廉的特点使它能够更加符合消费者的需求。附图说明图1为本专利技术实施例提供的双目720度全景采集系统的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。请参阅图1，图1是本专利技术实施例提供的双目720度全景采集系统的结构示意图，如图1所示，双目720度全景采集系统包括：采集模块1，用于采集N路音频数据和双路视频数据，其中N为大于或等于2的正整数；核心处理模块2，用于将采集模块1采集的双路视频数据进行全景视频实时拼接，同时将N路音频采样数据通过环绕立体声算法进行N路音频数据的融合，并与全景视频进行算法的位置信息匹配，使得环绕立体声音频能够根据全景视频不同的视角位置匹配模拟出真实场景人耳感受到的声源位置的发生情况，进一步加强了体验者身临其境的震撼感，再把经过匹配的全景视频和环绕立体声音频进行视频数据的硬件加速编码和音频数据的硬件加速编码，再进行一个时间戳同步，最后将同步后的音频数据和视频数据进行本地存储或者直接通过以太网进行RTMP格式的音视频推流，其与采集模块1相连接；云端流媒体服务器模块3，用于接收核心处理模块2通过以太网推流过来的音频和视频流并在云平台创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与核心处理模块2相本文档来自技高网...

【技术保护点】
一种双目720度全景采集系统，其特征在于，包括：采集模块，用于采集N路音频数据和双路视频数据，其中N为大于或等于2的正整数；核心处理模块，用于将所述采集模块采集的双路视频数据进行全景视频实时拼接，同时将所述N路音频数据通过环绕立体声算法进行所述N路音频数据的融合，并与全景视频进行算法的位置信息匹配，使得环绕立体声音频能够根据全景视频不同的视角位置匹配模拟出真实场景人耳感受到的声源位置的发生情况，再把经过匹配的全景视频和环绕立体声音频进行视频数据的硬件加速编码和音频数据的硬件加速编码，再进行一个时间戳同步，最后将同步后的音频数据和视频数据进行本地存储或者直接通过以太网进行RTMP格式的音视频推流，其与所述采集模块相连接；云端流媒体服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在云平台创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；广域网终端体验模块，用于实时接收和解码云端流媒体服务器模块分发过来的音频和视频数据，进行远程沉浸式全景音视频现场的直播体验，其与所述云端流媒体服务器模块相连接；本地服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在本地服务器创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；局域网终端体验模块，用于实时接收和解码本地服务器模块分发过来的音频和视频数据，完成本地沉浸式全景音视频现场的直播体验，其与所述本地服务器模块相连接。...

【技术特征摘要】
1.一种双目720度全景采集系统，其特征在于，包括：采集模块，用于采集N路音频数据和双路视频数据，其中N为大于或等于2的正整数；核心处理模块，用于将所述采集模块采集的双路视频数据进行全景视频实时拼接，同时将所述N路音频数据通过环绕立体声算法进行所述N路音频数据的融合，并与全景视频进行算法的位置信息匹配，使得环绕立体声音频能够根据全景视频不同的视角位置匹配模拟出真实场景人耳感受到的声源位置的发生情况，再把经过匹配的全景视频和环绕立体声音频进行视频数据的硬件加速编码和音频数据的硬件加速编码，再进行一个时间戳同步，最后将同步后的音频数据和视频数据进行本地存储或者直接通过以太网进行RTMP格式的音视频推流，其与所述采集模块相连接；云端流媒体服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在云平台创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；广域网终端体验模块，用于实时接收和解码云端流媒体服务器模块分发过来的音频和视频数据，进行远程沉浸式全景音视频现场的直播体验，其与所述云端流媒体服务器模块相连接；本地服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在本地服务器创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；局域网终端体验模块，用于实时接收和解码本地服务器模块分发过来的音频和视频数据，完成本地沉浸式全景音视频现场的直播体验，其与所述本地服务器模块相连接。2.根据权利要求1所述的双目720度全景采集系统，其特征在于，所述采集模块包括相互电连接的摄像头模组第一单元和摄像头模组第二单元，所述摄像头模组第一单元包括图像第一传感器以及与所述图像第一传感器电连接的第一鱼眼镜头，所述摄像头模组第二单元包括图像第二传感器以及与所述图像第二传感器电连接的第二鱼眼镜头，所述采集模块还包括拾音第一单元和拾音第二单元。3.根据权利要求2所述的双目720度全景采集系统，其特征在于，所述摄像头模组第一单元的光轴和所述摄像头模组第二单元的光轴相互重合或者相互平行。4.根据权利要求1所述的双目720度全景采集系统，其特征在于，所述核心处理模块包括CPU管理...

【专利技术属性】
技术研发人员：王超，沈靖程，王士博，刘亚辉，张睿妍，
申请(专利权)人：深圳市圆周率软件科技有限责任公司，
类型：发明
国别省市：广东,44