System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及视频图像处理,具体涉及一种无人机云台相机的视频图像处理方法、装置及存储介质。
技术介绍
1、随着无人机技术的不断发展,无人机所搭载的云台相机通常包括多个镜头,用于拍摄同一场景下的不同视频图像,例如变焦镜头、定焦镜头、热成像镜头等等。云台相机所拍摄的视频图像最终经图传链路传回到遥控器,用户可在遥控器上进行多镜头的切换,实时观看不同的视频图像。
2、然而,由于不同镜头拍摄的视频画面幅形比不同,无法完全适配遥控器显示屏幕的显示比例。对此,现有技术通常有如下两种解决方案:
3、将视频图像缩放到一定程度,然后再强制拉伸,使视频图像占满整个显示屏幕。然而,该方案会导致视频图像发生变形,影响用户的视频观看效果。
4、将视频图像缩放到一定程度,然后通过计算视频图像的尺寸和在显示屏幕中的显示位置,在视频图像的宽度/高度方向上填充黑边区域,使视频图像占满整个显示屏幕。虽然该方案能够解决视频图像出现变形的问题,但仍存在以下问题:一方面,该方案需要通过处理器进行复杂的计算和资源调度,导致时延较高,出图慢,用户在切换镜头时会出现明显的卡顿,因此不适用于多视频图像实时切换显示;另一方面,该方案是基于设备端实现的,只能在设备端实时显示,其无法对经过处理后的图像进行保存和传输。
技术实现思路
1、为了解决上述技术问题,本申请提出了一种无人机云台相机的视频图像处理方法、装置及存储介质,通过低时延的视频图像处理,保持多视频流在同一幅形比,不影响用户的镜头切换观看效果和体验
2、根据本申请的第一方面,提出了一种无人机云台相机的视频图像处理方法,包括:
3、使用无人机云台相机的多个镜头实时采集多路第一yuv图像;
4、建立客户端与所述云台相机的rtsp协议通信,获取客户端的指令;
5、响应于获取到客户端发送的镜头切换指令,根据所述镜头切换指令获取对应的所述第一yuv图像,所述镜头切换指令包括镜头id;
6、响应于获取到的所述第一yuv图像的原始分辨率与目标分辨率为不同比例,执行如下操作:
7、将所述第一yuv图像缩放至小于所述目标分辨率的预设分辨率,得到第二yuv图像,基于所述预设分辨率在物理内存中创建第一内存区域,使用ive操作将所述第二yuv图像搬运保存到所述第一内存区域;
8、基于所述目标分辨率在物理内存中创建第二内存区域,创建所述目标分辨率的空白yuv图像并保存到所述第二内存区域,使用ive操作将所述空白yuv图像的yuv值设置成黑色像素值,得到填充yuv图像;
9、使用ive操作将所述第二yuv图像搬运覆盖到所述填充yuv图像,得到第一目标yuv图像。
10、优选的,所述方法还包括:
11、响应于获取到的所述第一yuv图像的原始分辨率与所述目标分辨率为相同比例,执行如下操作:
12、将所述第一yuv图像的原始分辨率缩放至所述目标分辨率,得到第二目标yuv图像,基于所述目标分辨率在物理内存中创建第三内存区域,使用ive操作将所述第二目标yuv图像搬运保存到所述第三内存区域。
13、优选的,所述镜头切换指令还包括内存地址和第一编码信息,所述方法还包括:
14、通过所述内存地址找到对应的内存区域,将该内存区域中的目标yuv图像发送至第一venc编码模块;
15、所述第一venc编码模块根据所述第一编码信息对该目标yuv图像进行编码并存储到本地的同一mp4文件中;
16、其中,对于不同的目标yuv图像,所述第一venc模块使用相同的参数。
17、优选的,所述镜头切换指令还包括第二编码信息,所述方法还包括:
18、通过所述内存地址找到对应的内存区域,复制该内存区域中的目标yuv图像并发送到第二venc编码模块;
19、所述第二venc编码模块根据所述第二编码信息对该目标yuv图像进行编码并通过rtsp协议推流到客户端;
20、其中,对于不同的目标yuv图像,所述第二venc模块使用相同的参数,并通过同一个rtsp通道推流到客户端。
21、优选的,所述将所述第一yuv图像缩放至小于所述目标分辨率的预设分辨率,包括:
22、当所述第一yuv图像的宽度或高度与所述目标分辨率的宽度或高度为相同比例,则将所述第一yuv图像的宽度或高度缩放至与所述目标分辨率的宽度或高度相同。
23、优选的,所述第一编码信息为h264编码格式,所述第二编码信息为h265编码格式。
24、优选的,使用硬件dma实现ive操作。
25、优选的,所述多个镜头至少包括变焦镜头、定焦镜头和热成像镜头中的两种或两种以上的组合。
26、根据本申请的第二方面,提出了一种无人机云台相机的视频图像处理装置,包括:
27、采集模块,配置用于使用无人机云台相机的多个镜头实时采集多路第一yuv图像;
28、切换模块,配置用于建立客户端与所述云台相机的rtsp协议通信,获取客户端的指令;响应于获取到客户端发送的镜头切换指令,根据所述镜头切换指令获取对应的所述第一yuv图像,所述镜头切换指令包括镜头id;
29、处理模块,配置用于响应于获取到的所述第一yuv图像的原始分辨率与目标分辨率为不同比例,执行如下操作:
30、将所述第一yuv图像缩放至小于所述目标分辨率的预设分辨率,得到第二yuv图像,基于所述预设分辨率在物理内存中创建第一内存区域,使用ive操作将所述第二yuv图像搬运保存到所述第一内存区域;
31、基于所述目标分辨率在物理内存中创建第二内存区域,创建所述目标分辨率的空白yuv图像并保存到所述第二内存区域,使用ive操作将所述空白yuv图像的yuv值设置成黑色像素值,得到填充yuv图像;
32、使用ive操作将所述第二yuv图像搬运覆盖到所述填充yuv图像,得到第一目标yuv图像。
33、根据本申请的第三方面,提出了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述第一方面任一实施方式提供的无人机云台相机的视频图像处理方法。
34、本申请提出了一种无人机云台相机的视频图像处理方法、装置及存储介质,至少具有以下有益效果:
35、对于多个镜头采集的不同幅形比的第一yuv图像,先缩放成预设分辨率的第二yuv图像,然后通过基于硬件dma的ive操作,创建目标分辨率的黑色像素填充yuv图像,再将第二yuv图像搬运覆盖到填充yuv图像,得到最终的第一目标yuv图像,第一目标yuv图像自适应生成了黑边区域。本方案不需要计算第二yuv图像的显示位置,也不需要通过处理器进行大量的资源调度,即可自适应对第二yuv图像生成黑边区域,保持多个视频流在同一幅形比,并且ive操作使用硬件dma完成,整个搬运过程可以在1ms内完成,镜头出图具有低算力、本文档来自技高网...
【技术保护点】
1.一种无人机云台相机的视频图像处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述镜头切换指令还包括内存地址和第一编码信息,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,所述镜头切换指令还包括第二编码信息,所述方法还包括:
5.根据权利要求1所述的方法,其特征在于,所述将所述第一yuv图像缩放至小于所述目标分辨率的预设分辨率,包括:
6.根据权利要求4所述的方法,其特征在于,所述第一编码信息为H264编码格式,所述第二编码信息为H265编码格式。
7.根据权利要求1所述的方法,其特征在于,使用硬件DMA实现ive操作。
8.根据权利要求1所述的方法,其特征在于,所述多个镜头至少包括变焦镜头、定焦镜头和热成像镜头中的两种或两种以上的组合。
9.一种无人机云台相机的视频图像处理装置,其特征在于,包括:
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理
...【技术特征摘要】
1.一种无人机云台相机的视频图像处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述镜头切换指令还包括内存地址和第一编码信息,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,所述镜头切换指令还包括第二编码信息,所述方法还包括:
5.根据权利要求1所述的方法,其特征在于,所述将所述第一yuv图像缩放至小于所述目标分辨率的预设分辨率,包括:
6.根据权利要求4所述的方...
【专利技术属性】
技术研发人员:请求不公布姓名,请求不公布姓名,
申请(专利权)人:思翼科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。