基于视频通话场景的自适应视频编码方法及装置制造方法及图纸

技术编号:14806958 阅读:136 留言:0更新日期:2017-03-15 01:01
公开一种基于视频通话场景的自适应视频编码方法,包括:在建立视频通话时,检测当前网络环境下的初始网络带宽,并设置与检测到的网络带宽相匹配的初始编码分辨率和帧率进行视频编码;当检测到网络环境变化时,进一步检测变化后的网络环境下的更新后的网络带宽,根据更新后的网络带宽、更新前的网络带宽以及更新前正在编码的分辨率和帧率来确定更新后的编码分辨率与帧率,根据更新后的编码分辨率与帧率进行随后的视频编码;根据检测出的之前一段时间的视频的平均误差,来自适应的调节此时的编码分辨率与帧率。本发明专利技术的自适应视频编码方法,能够在不断变化的网络环境及视频画面内容情况下进行自适应视频编码,并实现较好的视频清晰度与流畅度。

【技术实现步骤摘要】

本专利技术涉及视频编码
,特别涉及一种基于视频通话场景的自适应视频编码方法及装置
技术介绍
随着终端等智能移动通讯设备的普及和无线通讯网络的升级,利用终端进行视频通话也成为了智能移动设备的较常见的应用。无线网络的信号和带宽是随着用户身处的环境的变化而不断变化的,同时用户自身运动状态的变化也会造成无线网络的信号和带宽的相应变化,例如,用户在进行行走时或者坐在颠簸的汽车里与较平静坐在座位上,智能移动设备的视频画面的变化情况也是不同的。帧率(FramesPerSecond)概念:一帧就是一副静止的画面,连续的帧就形成动画,如电视图象等。视频序列由连续的帧图像组成,帧率是指每秒中包含的图像帧数,也可以理解为图形处理器每秒钟进行刷新的次数,通常用fps表示。每一帧都是静止的图象,快速连续地显示帧便形成了运动的假象。帧率越高,每秒的帧图像数(fps)越多,可以得到更流畅、更逼真的动画,人眼感觉视频序列越流畅,视觉效果也越好。但是,帧率的提高会大大增加需要传输的视频数据量,从而提高对网络信道带宽的要求,同时也要求用户终端设备具有较强的处理能力和显示能力。码流(DataRate)概念:是指视频文件在单位时间内使用的数据流量,也叫码率,是他是视频编码中画面质量控制中最重要的部分。同样分辨率下,视频文件的码流越大,压缩比就越小,画面质量就越高。视频分辨率概念:是指视频成像产品所成图像的大小或尺寸,在成像的两组数字中,前者为图片长度,后者为图片的宽度,两者相乘得出的是图片的像素。最新的视频压缩编码标准是ISO/IEC的MPEG组织和ITU-T的VCEG组织共同开发的,比早期研发的MPEG和H.263标准编码性能更好,命名为AVC,也被称为ITU-TH.264建议和MPEG-4的第10部分的标准,通常简称H.264/AVC或H.264。H.264视频压缩编码标准的算法具有很高的编码效率,这是因为H.264标准包括如下技术特点:1、分层设计,视频编码层具有高效的视频内容表示功能,网络提取层将网络中所需要的数据进行打包和传送;2、高精度、多模式运动估计,支持1/4或1/8像素精度的运动矢量,多模式的灵活和细致的划分,大提高了运动估计的精确程度,多帧参考技术;3、帧内预测功能,在空间域进行预测编码算法,以便取得更有效的压缩;4、4×4块的整数变换,由于用二变换块的尺寸缩小,运动物体的划分更精确,这样不但变换计算量比较小,而且在运动物体边缘处的衔接误疾差也大为减小,为了提高码率控制的能力,量化步长的变化的幅度控制在125%左右,而不是以不变的增幅变化。为了强调彩色的逼真性,对色度系数采用了较小量化步长;5、统一的VLC,为快速再同步而经过优化的,可以有效防止误码。视频通话质量的高低取决于在这些网络环境及画面情况不断变化的情景下能否实现自适应地切换。目前,现有技术中的自适应切换方式通常仅单独依靠检测网络带宽的变化来改变相应编码的帧率而实现,而无法根据网络环境和、视频画面的变化情况以及移动状态下的抖动情况等多种因素来改变相应编码的分辨率及帧率。有鉴于此,针对现有技术中存在的不足,本领域亟需一种基于视频通话场景的自适应视频编码方法及装置,能够针对不断变化的网络环境和视频画面内容,进行自适应视频编码,从而实现较好的视频清晰度与流畅度。
技术实现思路
本专利技术要解决的技术问题是针对不断变化的网络环境和视频画面内容,需要进行自适应视频编码,以实现较好的视频清晰度与流畅度,提出一种基于视频通话场景的自适应视频编码方法及装置。为了解决上述技术问题,本专利技术公开了一种基于视频通话场景的自适应视频编码方法,包括:步骤101,在建立视频通话时,检测当前网络环境下的初始网络带宽,并设置与检测到的网络带宽相匹配的初始编码分辨率和帧率进行视频编码;步骤102,当检测到网络环境变化时,进一步检测变化后的网络环境下的更新后的网络带宽,根据更新后的网络带宽、更新前的网络带宽以及更新前正在编码的分辨率和帧率来确定更新后的编码分辨率与帧率,根据更新后的编码分辨率与帧率进行随后的视频编码;步骤103,根据检测出的之前一段时间的视频的平均误差,来自适应的调节此时的编码分辨率与帧率,其中:所述之前一段时间的视频的平均误差是根据在基于当前分辨率与帧率进行编码时,对应的网络带宽得到的一定时间间隔内的量化步长的均值;所述自适应的调节此时的编码分辨率与帧率是通过误差大于阈值则调降编码分辨率与帧率,误差小于阈值则调升编码率与帧率。优选地,一定时间间隔内一般为3-6秒。进一步地,所述步骤101包括:步骤201,根据移动设备的CPU能力CPU_capacity及所使用的编码器来设定视频通话编码的分类等级层次,其中:所述CPU_capacity包括主频及核数;步骤202,在启动视频通话时检测网络带宽与对端画面的宽高比,根据所获得的信息设置适应于编码器的初始编码分辨率与帧率,其中:所获得的信息包括网络带宽和CPU能力,并且所述CPU能力取各通讯端中能力最小者的值Vmin;步骤203,根据得到的推荐分辨率以及对端屏幕的宽高比,裁剪出和对端宽高比接近的分辨率进行编码。进一步地,所述步骤201包括:将运行苹果IOS操作系统的智能终端的CPU能力及所使用的经过优化的H.264编码器的分类层次按表一方式进行设置,将运行谷歌Android操作系统的智能终端的CPU能力按表一方式映射到对应型号的运行苹果IOS操作系统的智能终端的CPU能力,表一进一步地,所述步骤202包括:按表二方式设置网络带宽及智能终端的CPU能力与推荐分辨率与帧率之间的对应关系:表二进一步地,所述步骤203包括:设各项参数如表三所示:表三参数含义target_aspect对端画面的宽高比recomm_width推荐的分辨率中的宽recomm_height推荐的分辨率中的高new_width新的编码宽new_height新的编码高=表示等于的逻辑判断>表示大于的逻辑判断*表示乘积的数学运算确定宽高比的方法如下:如果,recomm_width>recomm_height*target_aspect则,new_width=recomm_height*target_aspectne本文档来自技高网
...

【技术保护点】
一种基于视频通话场景的自适应视频编码方法,其特征在于,包括:步骤101,在建立视频通话时,检测当前网络环境下的初始网络带宽,并设置与检测到的网络带宽相匹配的初始编码分辨率和帧率进行视频编码;步骤102,当检测到网络环境变化时,进一步检测变化后的网络环境下的更新后的网络带宽,根据更新后的网络带宽、更新前的网络带宽以及更新前正在编码的分辨率和帧率来确定更新后的编码分辨率与帧率,根据更新后的编码分辨率与帧率进行随后的视频编码;步骤103,根据检测出的之前一段时间的视频的平均误差,来自适应的调节此时的编码分辨率与帧率,其中:所述之前一段时间的视频的平均误差是根据在基于当前分辨率与帧率进行编码时,对应的网络带宽得到的一定时间间隔内的量化步长的均值;所述自适应的调节此时的编码分辨率与帧率是通过误差大于阈值则调降编码分辨率与帧率,误差小于阈值则调升编码率与帧率。

【技术特征摘要】
1.一种基于视频通话场景的自适应视频编码方法,其特征在于,包括:
步骤101,在建立视频通话时,检测当前网络环境下的初始网络带宽,并设置与
检测到的网络带宽相匹配的初始编码分辨率和帧率进行视频编码;
步骤102,当检测到网络环境变化时,进一步检测变化后的网络环境下的更新后
的网络带宽,根据更新后的网络带宽、更新前的网络带宽以及更新前正在编码的分辨
率和帧率来确定更新后的编码分辨率与帧率,根据更新后的编码分辨率与帧率进行随
后的视频编码;
步骤103,根据检测出的之前一段时间的视频的平均误差,来自适应的调节此时
的编码分辨率与帧率,其中:
所述之前一段时间的视频的平均误差是根据在基于当前分辨率与帧率进行编
码时,对应的网络带宽得到的一定时间间隔内的量化步长的均值;
所述自适应的调节此时的编码分辨率与帧率是通过误差大于阈值则调降编码
分辨率与帧率,误差小于阈值则调升编码率与帧率。
2.根据权利要求1所述的方法,其特征在于,所述步骤101进一步包括:
步骤201,根据移动设备的CPU能力及所使用的编码器来设定视频通话编码的分
类等级层次,其中:所述CPU能力包括主频及核数;
步骤202,在启动视频通话时检测网络带宽与对端画面的宽高比,根据所获得的
信息设置适应于编码器的初始编码分辨率与帧率,其中:所获得的信息包括网络带宽
和CPU能力,并且所述CPU能力取各通讯端中能力最小者的值Vmin;
步骤203,根据得到的推荐分辨率以及对端屏幕的宽高比,裁剪出和对端宽高比
接近的分辨率进行编码。
3.根据权利要求2所述的方法,其特征在于,所述步骤201进一步包括:
将运行苹果IOS操作系统的智能终端的CPU能力及所使用的经过优化的H.264
编码器的分类层次按表一方式进行设置,
将运行谷歌Android操作系统的智能终端的CPU能力按表一方式映射到对应型号

\t的运行苹果IOS操作系统的智能终端的CPU能力,
表一
4.根据权利要求3所述的方法,其特征在于,所述步骤202进一步包括:
按表二方式设置网络带宽及智能终端的CPU能力与推荐分辨率与帧率之间的对
应关系:
表二
5.根据权利要求3所述的方法,其特征在于,所述步骤203进一步包括:
设各项参数如表三所示:
表三
参数
含义
target_aspect
对端画面的宽高比
recomm_width
推荐的分辨率中的宽
recomm_height
推荐的分辨率中的高
new_width
新的编码宽
new_height
新的编码高

表示等于的逻辑判断
>
表示大于的逻辑判断
*
表示乘积的数学运算
确定宽高比的方法如下:
如果,recomm_width>recomm_height*target_aspect
则,new_width=recomm_height*target_aspect
new_height=recomm_height
否则,new_width=recomm_width
new_height=recomm_width/target_aspect
如果上述计算得到的宽高不是16的整数倍,则裁剪为16的倍数。
6.根据权利要求1所述的方法,其特征在于,所述步骤102进一步包括:
步骤204,当检测到网络带宽发生改变并超过阈值范围时,对编码的分辨率以及
相关的编码层级进行更新,以适应新的网络状况。
7.根据权利要求6所述的方法,其特征在于,所述步骤204进一步包括:
按表四对编码层级进行分类
表四
分辨率
帧率
层级
640x480
15
10
480x320
15
9
320x240
15
8
240x160
15
7
160x120
15
6
160x120
9
5
160x120
5
4
160x120
3
3
120x80
3
2
80x60
3
1
80x60
1
0
设各项参数如表五所示:
...

【专利技术属性】
技术研发人员:焦华龙朱华智邓志国王磊陈翔宇
申请(专利权)人:掌赢信息科技上海有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1