【技术实现步骤摘要】
本申请涉及计算摄像，特别是涉及一种支持多分辨率融合视频播放的亿级像素计算成像系统。
技术介绍
1、为了克服单个摄像设备无法兼顾大视野范围和高清晰度的问题，出现了基于阵列摄像机的亿级像素计算成像系统，其通过包含多个镜头的阵列摄像机采集多路局部视频，进而采用相关算法对各路局部视频进行拼接融合等计算处理，可以得到大视野范围、亿像素级甚至十亿像素级的超高清融合视频，可应用于具有大场景超高清视频需求的
，如安防领域的视频监控、数字文化创意
、增强现实
等。
2、在对亿级像素计算成像系统输出的超高清融合视频进行实时播放时，不同视频播放场合中使用的显示终端分辨率不同，如采用个人计算机播放，其显示分辨率远小于亿级像素融合视频的分辨率，若采用拼接屏播放，其显示分辨率可以与亿级像素融合视频的分辨率相当。然而，超高分辨率的亿级像素融合视频已超出目前单显卡的编解码和渲染能力。因此，亟须一种能够支持不同分辨率融合视频的同时或分时播放，且能满足各分辨率融合视频播放的实时性要求的亿级像素计算成像系统。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够支持不同分辨率融合视频播放、且能满足播放实时性要求的亿级像素计算成像系统。
2、本申请提供了一种支持多分辨率融合视频播放的亿级像素计算成像系统。所述亿级像素计算成像系统包括阵列摄像机、融合服务模块和上屏服务模块，所述阵列摄像机分别与所述融合服务模块、所述上屏服务模块通信连接；
3、所述阵列摄像机用于
4、所述融合服务模块用于对所述多路局部视频进行拼接融合，得到亿级像素融合视频，对所述亿级像素融合视频进行采样处理，得到第一融合视频，并将所述第一融合视频发送给第一显示终端播放；
5、所述上屏服务模块用于通过多个显卡对各路所述局部视频进行视频帧变换和渲染，得到各路局部视频在亿级像素融合视频中对应的局部融合视频，并将各所述局部融合视频传输给第二显示终端进行拼接播放，所述第二显示终端为包括多个显示模块的拼接显示终端。
6、在其中一个实施例中，所述融合服务模块包括第一解码线程、第一融合线程和第二融合线程；
7、所述第一解码线程用于对所述多路局部视频进行解码，得到第一局部解码帧数据；
8、所述第一融合线程用于采用预先配置的图像拼接模型，将各所述第一局部解码帧数据中属于同一融合视频帧的一组局部解码帧数据进行拼接融合，得到亿级像素融合视频帧数据，并将所述亿级像素融合视频帧数据发送给所述第二融合线程；
9、所述第二融合线程用于对所述亿级像素融合视频帧数据进行采样处理和渲染，得到所述第一融合视频，并对所述第一融合视频进行编码，将编码后的数据发送给所述第一显示终端进行解码播放。
10、在其中一个实施例中，所述融合服务模块还包括输送线程；
11、所述第一解码线程用于对所述多路局部视频进行解码，并将得到的各第一局部解码帧数据存放在多个解码帧队列中，所述局部视频与所述解码帧队列一一对应；
12、所述输送线程用于基于各所述第一局部解码帧数据的时间戳信息，从各所述解码帧队列中获取属于同一融合视频帧的第一局部解码帧数据，将其更新至所述第一融合线程的解码帧缓冲队列，并添加更新时间；
13、所述第一融合线程用于从所述解码帧缓冲队列中获取更新时间满足条件的第一局部解码帧数据，并采用预先配置的图像拼接模型将获取的各所述第一局部解码帧数据进行拼接融合，得到亿级像素融合视频帧数据。
14、在其中一个实施例中，所述输送线程用于根据上一帧融合视频帧的时间戳和融合视频帧率，确定当前融合视频帧的时间戳，并基于所述当前融合视频帧的时间戳和各所述局部解码帧数据的时间戳表征的时间差，从各所述解码帧队列中确定时间差小于预设阈值的目标第一局部解码帧数据，得到同属于当前融合视频帧的第一局部解码帧数据。
15、在其中一个实施例中，所述融合服务模块还用于在接收到所述第一显示终端发送的视频播放控制信息的情况下，基于所述视频播放控制信息包含的控制倍数信息和控制位置信息，确定匹配的采样参数和融合视频播放区域位置信息，根据匹配的采样参数对所述亿级像素融合视频进行采样处理，从采样处理后的融合视频中获取所述融合视频播放区域位置信息对应的局部区域视频发送给所述第一显示终端播放；或者，
16、从所述亿级像素融合视频中获取所述融合视频播放区域位置信息对应的局部区域视频，并根据匹配的采样参数对所述局部区域视频进行采样处理，将采样处理后的局部区域视频发送给所述第一显示终端播放。
17、在其中一个实施例中，所述上屏服务模块包括多个显卡，一个显卡对应处理一路或多路局部视频，且该显卡与所述第二显示终端的一个显示模块或多个显示模块对应连接，用于将该显卡处理得到的所述局部融合视频传输给对应连接的所述显示模块播放。
18、在其中一个实施例中，所述上屏服务模块包括设置于显卡上的第二解码线程和渲染线程，各所述第二解码线程和渲染线程对应处理一路或多路局部视频；
19、所述第二解码线程用于将对应处理的局部视频进行解码，得到第二局部解码帧数据；
20、所述渲染线程用于采用预先配置的、与局部视频对应的单应性变换矩阵和裁剪参数，将对应处理的所述第二局部解码帧数据进行视频帧变换，得到变换视频帧数据，并将所述变换视频帧数据进行渲染，得到局部融合视频；
21、所述渲染线程还用于将所述局部融合视频传输给对应的所述显示模块播放。
22、在其中一个实施例中，所述亿级像素计算成像系统还包括跟踪服务模块，所述跟踪服务模块分别与所述阵列摄像机、所述融合服务模块、所述上屏服务模块通信连接；
23、所述跟踪服务模块用于对所述多路局部视频进行目标检测和目标跟踪，得到目标跟踪信息，所述目标跟踪信息包括各目标对象在融合视频帧中的融合位置信息和在其所属局部视频帧对应的局部融合视频帧中的局部融合位置信息。
24、在其中一个实施例中，所述融合服务模块还用于获取所述目标跟踪信息，并基于所述目标跟踪信息中各所述目标对象的融合位置信息，在所述第一融合视频中添加目标检测框。
25、在其中一个实施例中，所述上屏服务模块还用于获取所述目标跟踪信息，并基于所述目标跟踪信息中各所述目标对象的局部融合位置信息，在对应的局部融合视频中添加目标检测框。
26、上述亿级像素计算成像系统，通过融合服务模块对阵列摄像机拍摄的多路局部视频进行拼接融合得到亿级像素融合视频，进而对亿级像素融合视频进行采样处理，得到分辨率合适的第一融合视频，以适用于分辨率较小的第一显示终端(如个人计算机、移动终端、单屏智能显示器等)进行融合视频播放；通过上屏服务模块的多个显卡分别对每路局部视频进行视频帧变换和渲染(一个显卡对应处理一路或多路局部视频)，得到每路局部视频对应的局部融合视频，将各路局部融合视频传输给第二显示终端中对应的显示模块，本文档来自技高网...
【技术保护点】
1.一种支持多分辨率融合视频播放的亿级像素计算成像系统，其特征在于，所述亿级像素计算成像系统包括阵列摄像机、融合服务模块和上屏服务模块，所述阵列摄像机分别与所述融合服务模块、所述上屏服务模块通信连接；
2.根据权利要求1所述的系统，其特征在于，所述融合服务模块包括第一解码线程、第一融合线程和第二融合线程；
3.根据权利要求2所述的系统，其特征在于，所述融合服务模块还包括输送线程；
4.根据权利要求3所述的系统，其特征在于，所述输送线程用于根据上一帧融合视频帧的时间戳和融合视频帧率，确定当前融合视频帧的时间戳，并基于所述当前融合视频帧的时间戳和各所述局部解码帧数据的时间戳表征的时间差，从各所述解码帧队列中确定时间差小于预设阈值的目标第一局部解码帧数据，得到同属于当前融合视频帧的第一局部解码帧数据。
5.根据权利要求1所述的系统，其特征在于，所述融合服务模块还用于在接收到所述第一显示终端发送的视频播放控制信息的情况下，基于所述视频播放控制信息包含的控制倍数信息和控制位置信息，确定匹配的采样参数和融合视频播放区域位置信息，根据匹配的采样参
6.根据权利要求1所述的系统，其特征在于，所述上屏服务模块包括多个显卡，一个显卡对应处理一路或多路局部视频，且该显卡与所述第二显示终端的一个显示模块或多个显示模块对应连接，用于将该显卡处理得到的所述局部融合视频传输给对应连接的所述显示模块播放。
7.根据权利要求6所述的系统，其特征在于，所述上屏服务模块包括设置于显卡上的第二解码线程和渲染线程，各所述第二解码线程和渲染线程对应处理一路或多路局部视频；
8.根据权利要求1所述的系统，其特征在于，所述亿级像素计算成像系统还包括跟踪服务模块，所述跟踪服务模块分别与所述阵列摄像机、所述融合服务模块、所述上屏服务模块通信连接；
9.根据权利要求8所述的系统，其特征在于，所述融合服务模块还用于获取所述目标跟踪信息，并基于所述目标跟踪信息中各所述目标对象的融合位置信息，在所述第一融合视频中添加目标检测框。
10.根据权利要求8所述的系统，其特征在于，所述上屏服务模块还用于获取所述目标跟踪信息，并基于所述目标跟踪信息中各所述目标对象的局部融合位置信息，在对应的局部融合视频中添加目标检测框。
...【技术特征摘要】
1.一种支持多分辨率融合视频播放的亿级像素计算成像系统，其特征在于，所述亿级像素计算成像系统包括阵列摄像机、融合服务模块和上屏服务模块，所述阵列摄像机分别与所述融合服务模块、所述上屏服务模块通信连接；
2.根据权利要求1所述的系统，其特征在于，所述融合服务模块包括第一解码线程、第一融合线程和第二融合线程；
3.根据权利要求2所述的系统，其特征在于，所述融合服务模块还包括输送线程；
4.根据权利要求3所述的系统，其特征在于，所述输送线程用于根据上一帧融合视频帧的时间戳和融合视频帧率，确定当前融合视频帧的时间戳，并基于所述当前融合视频帧的时间戳和各所述局部解码帧数据的时间戳表征的时间差，从各所述解码帧队列中确定时间差小于预设阈值的目标第一局部解码帧数据，得到同属于当前融合视频帧的第一局部解码帧数据。
5.根据权利要求1所述的系统，其特征在于，所述融合服务模块还用于在接收到所述第一显示终端发送的视频播放控制信息的情况下，基于所述视频播放控制信息包含的控制倍数信息和控制位置信息，确定匹配的采样参数和融合视频播放区域位置信息，根据匹配的采样参数对所述亿级像素融合视频进行采样处理，从采样处理后的融合视频中获取所述融合视...
【专利技术属性】
技术研发人员：赵月峰，杨杰，王鹏，
申请(专利权)人：苏州一际智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。