实时视频传输的带宽调整制造技术

本发明专利技术公开了一种为实时视频传输而调整带宽的方法。所述方法包括：由一个发送器，以系列数据包的形式传输所述视频位流的第一部分，所述第一部分用一个当前位率编码；由所述发送器，从所述接收器接收一条反向信道消息，所述反向信道消息包括由所述接收器在收到所述系列数据包后确定的接收端带宽参数；基于发送及接收所述系列数据包之间的一个发送端时标间隔，由所述发送器确定往返延迟数据；由所述发送器，用处理器调整所述当前位率，用于根据所述接收端带宽参数与所述往返延迟数据来编码所述视频位流；向所述接收器传输所述视频位流的第二部分，所述第二部分用所述经调整的当前位率编码。

Bandwidth adjustment of real-time video transmission

The present invention discloses a method for adjusting bandwidth for real-time video transmission. The method includes: from a transmitter to transmit data packets in the form of series of the video bit stream in the first part, the first part of a current bit rate encoding; from the transmitter, receiving a reverse channel message from the receiver, including the reverse channel message by the receiver upon receipt of the receiver bandwidth parameters determined after series of data packets; a sending end between the sending and receiving of the series of data packets based on time scale interval is determined by the transmitter round-trip delay data; by the transmitter, with the adjustment of the current processor bit rate according to the receiver bandwidth the parameters and the round-trip delay data encoding the video bit stream; to the second part of the receiver to transmit the video bit stream, the second part of the current adjustment of the encoding bit rate.

【技术实现步骤摘要】
实时视频传输的带宽调整相关申请的交叉引用本申请是美国专利申请《带反向信道消息管理的视频编码及解码》(申请号14/982698，2015年12月29日提交)的部分延续案申请(continuation-in-part)，而前述专利申请本身又是美国专利申请《带反向信道消息管理的视频处理的方法和系统》(申请号14/867143，2015年9月28日提交)的部分延续案申请。前述两份申请书的全部内容，特此通过引用并入本文。
本专利技术涉及视频编码及解码，更具体地，涉及在实时视频传输中使用反向信道消息进行初始带宽估计和带宽调整的视频编码和解码。
技术介绍
数字视频位流可被编码后有效地把视频压缩成数字位流，所述数字位流可存储于非瞬时数字媒介或通过有限带宽的通信信道进行流传输。然而，在视频位流的传输或存储过程中，可能会发生丢包或其他错误，从而导致所述位流解码的错误。可用的信道带宽不时改变的情况也属常见，导致实时视频传输的问题。
技术实现思路
有鉴于此，本专利技术公开了带反向信道消息管理的视频编码及解码的系统、方法和设备的各个方面。一方面，本专利技术公开了一种调整带宽的方法，用于向一个接收器传输一个视频位流，包括：由一个发送器，以系列数据包的形式传输所述视频位流的第一部分，所述第一部分用一个当前位率编码；由所述发送器，从所述接收器接收一条反向信道消息，所述反向信道消息包括由所述接收器在收到所述系列数据包后确定的接收端带宽参数；基于发送及接收所述系列数据包之间的一个发送端时标间隔，由所述发送器确定往返延迟数据；由所述发送器，用处理器调整所述当前位率，用于根据所述接收端带宽参数与所述往返延迟数据来编码所述视频位流；向所述接收器传输所述视频位流的第二部分，所述第二部分用所述经调整的当前位率编码。另一方面，本专利技术公开了一种调整带宽的方法，用于从一个发送器接收一个视频位流，包括：由一个接收器，接收所述视频位流的第一部分所关联的一个或多个数据包，而第一部分用一个当前位率编码并以系列数据包的形式传输；基于收到的所述一个或多个数据包，由所述接收器用处理器确定接收端带宽参数；从所述一个或多个数据包，解码所述视频位流的经编码的所述第一部分；在收到所述一个或多个数据包后，向所述发送器传输一条或多条反向信道消息，而每条都包括所述接收端带宽参数；从所述发送器接收所述视频位流的用经调整的当前位率编码的第二部分，所述经调整的当前位率的确定是基于所述接收端带宽参数与收到所述一条或多条反向信道消息后确定的发送端数据。本专利技术的上述及其他方面，将通过对以下实施例、所附权利要求书和附图的详细描述。附图说明本专利技术在结合附图阅读时，可以从以下的详细描述中得到最好的理解。需要强调的是，根据通常的做法，附图的各种特征不是按比例的。相反，为解释清楚，所述各种特征的尺寸被任意地放大或缩小。本专利技术的公开材料提到所附附图时，类似的参照数字在所有视图中指代类似的部分。在附图中：图1A是依本公开的一些实施例提供的一个视频编码及解码系统的示意图；图1B是可以依本公开的一些实施例使用的一个计算设备的示意图；图2是依本公开的一些实施例提供的一个视频位流的结构示意图；图3是依本公开的一些实施例提供的一个视频压缩系统的结构示意图；图4是依本公开的一些实施例提供的一个视频解压系统的结构示意图；图5A是依本公开的一些实施例提供的用于传输一个视频位流的初始带宽估计的示例性流程的流程图；图5B是依本公开的一些实施例提供的用于传输一个视频位流的初始带宽估计的另一示例性流程的流程图；图5C是依本公开的一些实施例提供的用于接收一个视频位流的初始带宽估计的示例性流程的流程图；图6A是依本公开的一些实施例提供的用于传输一个视频位流的调整带宽的示例性流程的流程图；图6B是依本公开的一些实施例提供的生成一个包括供发送器使用的接收器端参数的反向信道消息的示例性流程的流程图；图6C是依本公开的一些实施例提供的用于传输一个视频位流的调整带宽的示例性流程的流程图；图6D是依本公开的一些实施例提供的用于接收一个视频位流的调整带宽的示例性流程的流程图；图6E是依本公开的一些实施例提供的用于传输及接收一个视频位流的调整带宽的示例性流程的流程图；图7是依本公开的一些实施例提供的一个包括反向信道消息管理器的视频编码及解码系统的结构示意图；图8是依本公开的一些实施例提供的一个编码及解码基准帧选择的示意图；图9是依本公开的一些实施例提供的一个视频基准帧结构的示意图。具体实施方式数字视频可以被用于娱乐、视频会议、广告和通常的信息共享。用户对数字视频质量的期望会很高，因为用户希望在带宽有限的共享互联网传播的视频与在专用有线频道传播的视频具有同样高的空间和时间质量。例如，数字视频编码可以压缩数字视频的位流，以允许高质量的数字视频在具有有限带宽的网络进行传输。例如，数字视频质量可以定义为输出的解压及解码的数字视频在何种程度上与输入的数字视频匹配。视频编码和解码统合各种技术用以压缩和解压数字视频流，得以在有限带宽能力的网络中传输高质量的数字视频流。这些技术可以将数字视频流处理为一系列的数字数据块，并处理这些数据块以压缩用于传输或存储，并且在收到数据块后，解压缩所述数据块以重建原始数字视频流。这种压缩及解压序列可能是“有损”的；“有损”的意义是指所述解压的数字视频可能不完全匹配所述输入的数字视频。例如，这可以通过测量所述输入视频流的像素数据及对应的所述经编码、传输和解码的视频流的像素数据之区别来测定。一个数字视频流通过编码及解码所述数字视频流所引入的失真程度，可被认为是压缩程度的一个函数，从而所述解码视频的质量可被认为是所述传输带宽的一个函数。本专利技术公开的实施例，可以通过调整所发送的视频位流的位率(bitrate)以匹配其传输所经的网络或信道的能力，允许经压缩的视频位流在“嘈杂”或易发潜在错误的网络中传输。一些实施例可以在传输压缩数字视频位流之前测试网络，通过发送一个或多个数据包到解码器并分析返回的数据包，以确定所述数字视频的最佳压缩比。例如，一个数据包可以包括一条或多条消息。数据包也可以包括视频或音频数据，无论是否携带消息。一些实施例可以通过分析由所述解码器发送到所述编码器的包含有关网络的信息的数据包，周期性地重新测试网络。调节所述位率可以提高或降低相较于所述输入的数字视频流的所述解码视频位流的所述空间和时间质量，其中，较高的位率可以支持更高质量的数字视频。本专利技术公开的实施例还可以通过在压缩视频位流中添加前向纠错(ForwardErrorCorrection,FEC)数据包，以在嘈杂网络中传输所述压缩视频位流。FEC数据包对数字视频位流中的部分或全部信息，以包含在位流中的额外数据包的形式进行冗余编码。通过处理所述的额外数据包，解码器可检测数字视频流中丢失或损坏的信息，并可在某些情况下，用所述额外数据包中的所述冗余数据重建所述丢失或损坏的数据。根据如上所述的由所述编码器接收到的网络信息包，一些实施例可以调整与FEC有关的参数。动态调整所述FEC参数，可以在传输的数字视频数据和FEC数据之间分配可用的网络带宽，以允许在给定网络条件下每单位时间内传输最多有质量的图像。本专利技术公开的实施例可以改变编码器和FEC参数，以允许在数字视频位流传输所经的网络的给本文档来自技高网...

【技术保护点】
一种调整带宽的方法，用于向一个接收器传输一个视频位流，包括：由一个发送器，以系列数据包的形式传输所述视频位流的第一部分，所述第一部分用一个当前位率编码；由所述发送器，从所述接收器接收一条反向信道消息，所述反向信道消息包括由所述接收器在收到所述系列数据包后确定的接收端带宽参数；基于发送及接收所述系列数据包之间的一个发送端时标间隔，由所述发送器确定往返延迟数据；由所述发送器，用处理器调整所述当前位率，用于根据所述接收端带宽参数与所述往返延迟数据来编码所述视频位流；向所述接收器传输所述视频位流的第二部分，所述第二部分用所述经调整的当前位率编码。

【技术特征摘要】
2015.09.28 US 14/867,143;2016.05.16 US 15/155,9071.一种调整带宽的方法，用于向一个接收器传输一个视频位流，包括：由一个发送器，以系列数据包的形式传输所述视频位流的第一部分，所述第一部分用一个当前位率编码；由所述发送器，从所述接收器接收一条反向信道消息，所述反向信道消息包括由所述接收器在收到所述系列数据包后确定的接收端带宽参数；基于发送及接收所述系列数据包之间的一个发送端时标间隔，由所述发送器确定往返延迟数据；由所述发送器，用处理器调整所述当前位率，用于根据所述接收端带宽参数与所述往返延迟数据来编码所述视频位流；向所述接收器传输所述视频位流的第二部分，所述第二部分用所述经调整的当前位率编码。2.根据权利要求1所述的方法，其特征在于，所述接收端带宽参数包括累计时间差参数和带宽指标参数。3.根据权利要求1所述的方法，其特征在于，所述带宽指标参数指示以下之一：网络延迟增加的状态、正常传输的状态和网络延迟改善的状态。4.根据权利要求3所述的方法，其特征在于，所述接收器对所述带宽指标参数的确定，是基于一个最末到达数据包与一个最初到达数据包之间的时标差额以及一个由所述发送器设置的时间窗口，而所述最末到达数据包和所述最初到达数据包关联于所述系列数据包。5.根据权利要求4所述的方法，其特征在于，基于所述最末到达数据包与所述最初到达数据包之间的所述时标差额小于所述时间窗口的判断，所述带宽指标参数指示所述网络延迟改善的状态，所述状态表明突发数据包以快于实时的速度到达。6.根据权利要求2所述的方法，其特征在于，基于所述最末到达数据包与所述时间窗口内一个最初到达数据包之间的时标差额以及一个当前本地时间与所述接收器上的所述最初到达数据包之间的时标差额，所述接收器确定所述累计时间差参数。7.根据权利要求1所述的方法，其特征在于，所述往返延迟数据包括当前往返延迟、平均往返延迟和所述系列数据包的最小往返延迟。8.根据权利要求1所述的方法，其特征在于，所述系列数据包关联于一个应答会话。9.根据权利要求1所述的方法，其特征在于，所述收到的消息进一步包括良劣基准数据，所述基准数据指示所述视频位流的经编码的所述第一部分所解码的至少一个帧是否被正确地从一个良基准帧解码。10.根据权利要求9所述的方法，其特征在于，进一步包括：基于所述良劣基准数据，判断所述视频位流的经编码的所述第一部分是否包括至少一个良基准帧；基于所述视频位流的经编码的所述第一部分包括至少一个良基准帧的判断，用所述至少一个良基准帧和所述经调整的位率，编码所述视频位流的所述第二部分；基于所述视频位流的经编码的所述第一部分不包括良基准帧的判断，用所述经调整...

【专利技术属性】
技术研发人员：谷群山，
申请(专利权)人：苏州踪视通信息技术有限公司，
类型：发明
国别省市：江苏,32