一种视频编码及网络传输方法和一种视频转发服务器技术

本发明专利技术公开一种视频编码及网络传输方法和一种视频转发服务器。所述视频编码及网络传输方法包括步骤：A、对每一帧图像进行编码；按预设的显示制式生成基准码流；将能流畅播放基准码流的最低带宽定义为基准带宽；B、判断实时带宽，如果实时带宽低于基准带宽，采用主动丢帧的方式从基准码流每秒显示的帧图像中抽离至少一帧的帧图像，生成对外传输的发送码流；如果在抽帧以后，实时带宽有增加，则采用主动加帧的方式从已抽离的帧数据中加入至少一帧的图像数据；如果实时带宽大于或等于基准带宽，对外传输基准码流。本发明专利技术每帧的画面品质并没有降低且能保障视频的流畅播放，因此能改善不同带宽情况下的视频质量；且不会增加额外的通信成本。

【技术实现步骤摘要】
一种视频编码及网络传输方法和一种视频转发服务器
本专利技术涉及多媒体信号处理领域，更具体的说，涉及一种视频编码及网络传输方法和一种视频转发服务器。
技术介绍
互联网视频传输系统需要考虑的主要问题是带宽使用问题，视频数据带宽占用大和网络带宽有限一直是限制互联网视频传输系统的关键瓶颈。互联网的服务质量（QoS：QualityofService）基本可以满足普通小数据业务处理，但是却无法有效保障视频大数据的端到端传输过程，对有一定实时性要求的视频传输来说，必须要解决互联网视频数据传输过程中IP网络的延时、抖动和丢包等问题。在互联网网络环境中，视频传输质量需要依赖的环境因素包括带宽、延时抖动、丢包。带宽指网络的两个节点之间数据流的平均速率，一般来说，带宽越高，就能允许更多的视频数据传输，从而会提供更好的视频效果。由于互联网同时承载多种服务，主要是数据业务，而视频业务相对而言属于大数据，明显在数据流量和实时性上与互联网当前业务有较大差别，导致视频业务在互联网上的带宽非常不平稳。延时指数据包在网络的两个节点之间传送的平均往返时间。互联网数据延时主要取决于由于网络的复杂性、网络流量的动态变化和网络路由的动态选择。网络延时随时都在不停的变化，这种变化称为抖动。网络延时和网络抖动越小，网络的质量就越好。互联网视频传输业务对实时性要求较高，对时延很敏感，如果时延过大或者抖动过大，视频接收端的视频体验就会大打折扣。丢包指在网络传输过程中丢失报文的百分比，实际IP网络环境中由于网络设备拥塞而导致报文丢失，当有网络丢包时，将会影响视频质量，比如：图像产生花屏或马赛克、声音出现断续等，严重时会导致视频中断。如果我们在发送端持续不断发送的视频数据在互联网上严重丢包，视频接收端是无法得到良好的视频体验的。为了解决上述问题，当前技术一般采用以下方式解决：视频带宽预留：采用预先预留的固定带宽来传输视频数据，比如使用VPN通道，或者其他广域虚拟专网。若预留带宽充裕，视频传输质量可以稳定和清晰。目前市场很多视频会议采用带宽预留模式，缺点是成本较高，部署不够灵活。相对而言互联网上做视频传输成本更低，更加灵活。超低码流传输：采用尽量小压缩视频的码流进行端到端传输。假设一个基准带宽，视频压缩尽量压缩到基准带宽的码流大小。检测基准带宽，保证压缩码流小于基准带宽，由于码流被压缩到基准带宽区域后，延时和丢包会减少，以此来满足视频QoS。缺点是码流只能适配最差网络带宽，视频质量整体不高，用户体验不好。
技术实现思路
本专利技术所要解决的技术问题是提供一种低成本、能改善不同带宽情况下视频质量的视频编码及网络传输方法和一种视频转发服务器。本专利技术的目的是通过以下技术方案来实现的：一种视频编码及网络传输方法，包括步骤：A、对每一帧图像进行编码；按预设的显示制式生成基准码流；将能流畅播放基准码流的最低带宽定义为基准带宽；B、判断实时带宽，如果实时带宽低于基准带宽，采用主动丢帧的方式从基准码流每秒显示的帧图像中抽离至少一帧的帧图像，生成对外传输的发送码流；如果实时带宽大于或等于基准带宽，对外传输基准码流。显示制式定义了每秒显示的帧数，如PLA制式定义每秒显示25帧；NTSC制式定义每秒显示30帧；进一步的，所述步骤B包括：将发送单帧需要的时间分成N个时间区段，针对每个时间区段，对应设置N种不同丢帧的场景，每个场景对应一种发送码流；如果实时带宽发送单帧需要的时间大于基准带宽发送单帧需要的时间，则根据实时带宽发送单帧所处的时间区段自动匹配对应的场景；反之，对外传输基准码流，所述N为整数且N≥2。由于现实中的网络经常处于波动状态，因此可以预先定义场景，每个场景对应一种发送码流，然后将不同的带宽区间跟场景一一对应，当实时带宽达到某一带宽区间后自动选择相应的场景。本技术方案在一定的带宽范围内保持发送码流不变，不需要频繁计算不同的带宽需要从基准码流中抽离多少帧图像，减轻了硬件的运算负担，有利于降低硬件成本，同时可以有更多的硬件资源来确保视频的实时传输，保障显示质量。进一步的，所述步骤B中包括：设定待发送队列存储帧数的第一阈值，如果待发送队列存储的帧数超过第一阈值，直接选用丢帧更多丢帧的场景，反之，维持当前场景。此为一种根据服务器发送端的实时宽带判断策略，对于像采用如TCP通信协议的网络，可以从服务器端的待发送队列读取存储的帧数，如果存储的帧数过多，服务器的发送端会自动将多余的帧清除，这样就会导致接收端的图像不完整；因此本技术方案可以有效避免发送端拥堵导致被动丢帧的情况，确保视频显示流畅。进一步的，所述步骤B中包括：设定待发送队列存储帧数的第二阈值；如果待发送队列里面的帧数始终小于或等于预设的第二阈值，或者待发送队列里面的帧数在预设的时间内先增加，后减小，最后待发送队列里面的帧数小于或等于第二阈值，采用单次累加的方式在发送码流中增加帧图像，加帧的序号顺序是当前场景下的更少丢帧的场景需要添加的帧图像；当发送码流每秒发送的帧数达到更少丢帧的场景时仍然满足上一步骤的条件，自动切换到丢帧更少的场景；反之，维持当前场景。实时带宽增加时，待发送队列存储的帧数会逐步减少，最终会小于或等于预设的第二阈值（一般为0或1），即便网络出现波动，等波动平缓以后仍然会小于或等于预设的第二阈值，此时可以采用单次累加的方式在发送码流中增加帧图像，加帧的序号顺序是当前场景下的更少丢帧的场景需要添加的帧图像，即每隔一定的时间在发送码流中增加一帧，然后再判断待发送队列存储的帧数，如果仍然满足上述条件，继续加帧直到不满足条件为止；此时如果发送码流每秒发送的帧数达到更少丢帧的场景，则自动切换到丢帧更少的场景；反之，维持当前场景。当带宽增加时，本技术方案通过单次累加的方式来探测出其实际带宽，然后匹配最佳的场景，最大限度的利用当前的带宽资源，在带宽增加时给客户提供更高品质的视频图像。进一步的，所述步骤B中包括：设定待发送队列存储帧数的第三阈值；第三阈值大于或等于所述第二阈值；采用单次累加的方式在发送码流中增加帧图像时，如果发送队列里面的帧数超过第三阈值，则采用逆向减帧的方式在发送码流中减少帧图像。本技术方案提供了一种单次累加探测带宽的回退机制，在保持当前场景的基础上单次累加探测带宽，随着发送码流中帧数的增加，服务器发送端待发送队列存储帧数也开始增加，当数量达到一定数值(第三阈值)时，为了避免发送队列存储的帧数过多导致被动丢帧的情况，采用逆向减帧逐步减少发送码流中的帧图像，等发送队列存储的帧数小于或等于预设的第二阈值时再通过单次累加探测带宽。因此，本方案可以在确保视频实时流畅传输的前提下探测出实际带宽，然后匹配出最佳的丢帧模式。进一步的，所述步骤B中包括：设定待发送队列存储帧数的第一阈值、第二阈值和第三阈值，所述第三阈值大于或等于第二阈值，小于第一阈值；如果待发送队列存储的帧数超过第一阈值，直接选用丢帧更多丢帧的场景，反之，维持当前场景；如果待发送队列里面的帧数始终小于或等于预设的第二阈值，或者待发送队列里面的帧数在预设的时间内先增加，后减小，最后待发送队列里面的帧数小于或等于第二阈值，采用单次累加的方式在发送码流中增加帧图像，加帧的序号顺序是当前场景下的更少丢帧的场景需要添加的帧图像；当发送码流每秒发送的帧数达到更少丢帧本文档来自技高网...

【技术保护点】
一种视频编码及网络传输方法，其特征在于，包括步骤：?A、对每一帧图像进行编码；按预设的显示制式生成基准码流；将能流畅播放基准码流的最低带宽定义为基准带宽；?B、判断实时带宽，如果实时带宽低于基准带宽，采用主动丢帧的方式从基准码流每秒显示的帧图像中抽离至少一帧的帧图像，生成对外传输的发送码流；如果实时带宽大于或等于基准带宽，对外传输基准码流。

【技术特征摘要】
1.一种视频编码及网络传输方法，其特征在于，包括步骤：A、对每一帧图像进行编码；按预设的显示制式生成基准码流；将能流畅播放基准码流的最低带宽定义为基准带宽；B、判断实时带宽，如果实时带宽低于基准带宽，采用主动丢帧的方式从基准码流每秒显示的帧图像中抽离至少一帧的帧图像，生成对外传输的发送码流；如果实时带宽大于或等于基准带宽，对外传输基准码流；所述步骤B包括：将发送单帧需要的时间分成N个时间区段，针对每个时间区段，对应设置N种不同丢帧的场景，每个场景对应一种发送码流；如果实时带宽发送单帧需要的时间大于基准带宽发送单帧需要的时间，则根据实时带宽发送单帧所处的时间区段自动匹配对应的场景；反之，对外传输基准码流，所述N为整数且N≥2。2.如权利要求1所述的视频编码及网络传输方法，其特征在于，所述步骤B中包括：设定待发送队列存储帧数的第一阈值，如果待发送队列存储的帧数超过第一阈值，直接选用丢帧更多丢帧的场景，反之，维持当前场景。3.如权利要求1所述的视频编码及网络传输方法，其特征在于，所述步骤B中包括：设定待发送队列存储帧数的第二阈值；如果待发送队列里面的帧数始终小于或等于预设的第二阈值，或者待发送队列里面的帧数在预设的时间内先增加，后减小，最后待发送队列里面的帧数小于或等于第二阈值，采用单次累加的方式在发送码流中增加帧图像，加帧的序号顺序是当前场景下的更少丢帧的场景需要添加的帧图像；当发送码流每秒发送的帧数达到更少丢帧的场景时仍然满足上一步骤的条件，自动切换到丢帧更少的场景；反之，维持当前场景。4.如权利要求3所述的视频编码及网络传输方法，其特征在于，所述步骤B中包括：设定待发送队列存储帧数的第三阈值；第三阈值大于或等于所述第二阈值；采用单次累加的方式在发送码流中增加帧图像时，如果发送队列里面的帧数超过第三阈值，则采用逆向减帧的方式在发送码流中减少帧图像。5.如权利要求1所述的视频编码及网络传输方法，其特征在于，所述步骤B中包括：设定待发送队列存储帧数的第一阈值、第二阈值和第三阈值，所述第三阈值大于或等于第二阈值，小于第一阈值；如果待发送队列存储的帧数超过第一阈值，直接选用丢帧更多丢帧的场景，反之，维持当前场景；如果待发送队列里面的帧数始终小于或等于预设的第二阈值，或者待发送队列里面的帧数在预设的时间内先增加，后减小，最后待发送队列里面的帧数小于或等于第二阈值，采用单次累加的方式在发送码流中增加帧图像，加帧的序号顺序是当前场景下的更少丢帧的场景需要添加的帧图像；当发送码流每秒发送的帧数达到更少丢帧的场景时仍然满足上一步骤的条件，自动切换到丢帧更少的场景；反之，维持当前场景；采用单次累加的方式在发送码流中增加帧图像时，如果发送队列里面的帧数超过第三阈值，则采用逆向减帧的方式在发送码流中减少帧图像。6.如权利要求1所述的视频编码及网络传输方法，其特征在于，所述步骤B中包括：服务器的发送端接收客户侧的接收端的反馈信息，如果反馈信息满足预设的触发条件，直接选用丢帧更多丢帧的场景，反之，维持当前场景。7.如权利要求6所述的视频编码及网络传输方法，其特征在于，所述反馈信息包括接收单帧数据的延时时间和丢包率，所述触发条件包括预设的第一时间值和第一丢包率；如果接收单帧数据的延时时间超过第一时间值或丢包率超过第一丢包率，直接选用丢帧更多丢帧的场景，反之，维持当前场景。8.如权利要求6所述的视频编码及网络传输方法，其特征在于，所述反馈信息包括接收单帧数据的延时时间和丢包率，所述触发条件还包括预设的第二时间值和第二丢包率；如果接收单帧数据的延时始终小于或等于预设的第二时间值，且丢包率小于或等于第二丢包率，或者接收单帧数据的延时在预设的时间段内先增加，后减小，最后接收单帧数据的延时小于或等于第二时间值，且丢包率小于或等于第二丢包率，采用单次累加的方式在发送码流中增加帧图像，加帧的序号顺序是当前场景下的更少丢帧的场景需要添加的帧图像；当发送码流每秒发送的帧数达到更少丢帧的场景时仍然满足上一步骤的条件，自动切换到丢帧更少的场景；反之，维持当前场景。9.如权利要求8所述的视频编码及网络传输方法，其特征在于，所述步骤B中包括：所述触发条件还包括预设的第三时间值和第三丢包率；第三时间值大于或等于所述第二时间值；第三丢包率大于或等于所述第二丢包率；采用单次累加的方式在发送码流中增加帧图像时，如果接...

【专利技术属性】
技术研发人员：史方，王为，
申请(专利权)人：同观科技深圳有限公司，
类型：发明
国别省市：