多媒体视频通信方法及系统技术方案

本发明专利技术涉及通信领域，公开了一种多媒体视频通信方法及系统，提高了Ｈ．２６４视频网络传送质量的检测和报告机制的效果和效率。本发明专利技术中，接收端以带内方式反馈传送质量监测信息，避免了额外信道的使用。接收端仅在接收出错时反馈传送质量监测信息，减少了带宽的开销，提供了反馈的实时性。使用ＳＥＩ扩展消息以带内方式反馈传送质量监测信息，可以完全兼容现有的Ｈ．２６４协议。发送端计算视频数据的优先级指标，并根据信道劣化程度，在当前帧或下一帧中选择优先级指标最高的Ｎ个单位的视频数据经帧内编码后发送给接收端，用于接收端的错误消除。

【技术实现步骤摘要】
多媒体视频通信方法及系统技术领城本专利技术涉及通信领域，特别涉及多媒体视频通信技术。 背景技木国际电4言联盟-电4言冲示准部(International Telecommunication Union Telecommunication Standardization Sector,简称ITU-T)联合ISO/IEC MPEG 国际标准组织制定的H.264视频压缩编码标准，目前已经逐渐成为多媒体通 信中的主流标准。大量的采用H.264多媒体实时通信产品(如会议电视，可 视电话，3G移动通信终端)和网络流媒体产品先后问世。是否支持H.264 已经成为这个市场领域中决定产品竟争力的关键因素。回顾H.264的发展历 史，我们发现，随着第三代移动通信(The Third Generation,简称3G，，) 系统的出现和IP (Internet Protocol)网络的迅速发展，^L频通信正逐步成为 通信的主要业务之一。ITU-T继制定了 H.261、 H.263、 H.263+等视频压缩标 准后，于2003年正式发布了 H.264标准，它同时也是MPEG-4第10部分的 主要内容。制定H.264标准的目的在于更加有效地提高视频编码效率和它对 网络的适配性，因此可以预测，随着H.264的正式颁布和广泛使用，基于IP 网络和3G， B3G甚至4G无线网络的多媒体通信必然进入一个飞跃发展的新 阶段。H.264在IP网络上传送， 一般基于用户数据报协议(User Datagram Protocol,简称UDP，，)和其上层的实时传送协议(RealTime Transfer Protocol, 简称RTP),该标准是互耳关网工程任务组(Internet Engineering Task Force, 简称IETF)制定的。RTP协议应用非常广泛，IP网络上的实时应用(视 频，音频等多媒体实时通信)基本都采用RTP协议来传送。RTP在结构上对 于不同的媒体数据类型都能够适用，但是对于每种具体的更高层协议，比如H.261, H.263, MPEG-1/-2/-4, MP3等，IETF都会制定针对该协议的RTP 净荷(Payload)打包协议，详细规定RTP封装打包的方法，对于该具体协议是 经过优化的。对于H.264,也存在对应的IETF标准是RFC 3984:RTP Payload Format for H.264 Video (用于H.264视频的RTP净荷格式)。该标准目前是 H.264视频码流在IP网络上传送的主要标准，应用很广泛。在视频通信领域， 各主流厂商的产品都是基于RFC 3984的。H.264视频是未来多媒体通信的主要协议，未来的多媒体通信应用的网 络主要是以IP为代表的数据包交换网络和无线网络。这两大类网络都无法提 供很好的服务质量(Quality of Service,简称QoS)，因此视频在网络上 传送必然会受到各种传送错误而丢包的影响，从而使得通信质量降低。我们 知道， 一个最主要的问题是IP网络实现尽力(best effort)传送，并不 能保证传送视频信号的QoS。特别是对经过高效压缩编码的H.264码流，问 题更为突出。IP网络上的尽力传送不能保证实时视频通信的QoS，具体表现 在三个方面数据包丢失、时延和时延抖动。其中，数据包丟失对恢复视频 的质量影响最大，由于H.264压缩编码算法使用运动估值和运动补偿技术， 一旦有数据包丟失存在，不仅影响当前解码图像，而且会影响后续解码图像， 即误码扩散。误码扩散对恢复视频质量的影响非常大，只有结合编码端和解 码端联合抗误码，才能完全避免误码扩散。错误弹性(Error Resilience)是指传送机制具有预防错误发生或者在错 误发生后能够以一定能力纠正的能力(错误强度在一定范围内，可以完全纠 正；超过一定范围，只能部分纠正)。在未来的广泛的多媒体通信环境中， 一种视频传送机制是否具有错误弹性将是非常关键的。目前存在多种错误弹性机制，比如前向误码校正(Forward Error Correction,简称FEC，，),自动请求重发(Automatic Retransmission Request,简称ARQ ) , Error Concealment (错误掩盖)，信源信道联合编码(Joint Source-Channel Coding,简称JSCC),交织(Interleaving),消除误码 扩散等等。对于H.264视频在数据包网络上传送，FEC是一种很实用的技术， 效果很好。该方法主要采用多种纠错编码来对于要保护的数据进行编码，实 质是形成数据冗余，从而增加抗御错误的能力。当然，其它的错误弹性机制 也是有它们各自有点的。但是，不论采取哪种传送质量保护机制， 一个必须 解决的问题是了解网络的QoS情况，获得关于传送质量的报告信息，比如丟 包率，延时，抖动等数值。只有了解了网络传送质量情况，才能选择正确的 保护方法。在质量完全好或者仅仅受到轻微影响的时候，就不适宜采用保护 能力很强的方法，因为保护能力强的代价是开销大，降低效率多；只有当传 送质量受到比较严重影响的时候，才能够采用保护能力强的方法。H. 264标准的一个显著特点就是将系统分为两个独立的层即视频编码 层(VCL)和网络适配层(NAL)。前者的主要任务是进行高效的视频数据 编码压缩；后者则是根据网络特性对数据进行封装打包，实现视频QOS与网 络QOS的适配。实时传送控制协议(RealTime Transfer Control Protocol,简称RTCP) 是RTP协议的 一个配合协议，也由IETF制定。RTCP主要用于RTP协议的 控制和报告。报告的主要内容就是和QoS相关的信息。RTCP采取的报告方 法是周期性报告。即周期性向会话(Session可以理解成一个多方通信中的会 议)中的所有参与方传送控制数据包，和RTP数据包采用同样的分发机制。 底层协议必须提供数据和控制数据包的多路复用(例如使用单独的UDP端口 号等)。在RFC3550中，建议为RTCP而增加的会话带宽固定为5%。 RTCP 完成四项功能I、 基本功能-为实时多媒体数据传送质量提供反馈报告机制，这是 RTP作为传送层协议的有机组成部分。这种反馈功能通过RTCP来传递发送方报告(SR)和接收方才艮告(RR)来实现。2、 RTCP为每一个RTP源传送一个永久传送层标识，称为规范名 (CNAME)。同歩源(Synchronization Rsource,简称SSRC)标识在发现冲突或程序重启时可能发生改变，因此接收方需要通过CNAME来跟踪每 个参与方。3、 前两项功能需要所有的参与方都发送RTCP数据包，因此为了让 RTP能按比例地增加参与方的数目，必须控制RTCP数据包的速率。4、 第四项为可选功能 一一 传送尽可能少的控制信息。在通信领域中，信令(也可称为消息等)有两种传送方式，将信令与数 据在同一信道中传送称为带内方式，信令独立于数据传送信道之外传送称为 带外方式。RTCP使用了带外传送方式，RTCP相对于RTP是另外的信道，在H.323 等具体协议框架下实现时，需要开通额外的逻辑通道，从而消耗了额外的本文档来自技高网...

【技术保护点】
一种多媒体视频通信方法，其特征在于，包含以下步骤：接收端以带内方式向发送端反馈已收到的视频数据的传送质量监测信息；所述发送端根据带内反馈的所述传送质量监测信息调整需要向所述接收端发送的视频数据的压缩编码属性。

【技术特征摘要】
1.一种多媒体视频通信方法，其特征在于，包含以下步骤接收端以带内方式向发送端反馈已收到的视频数据的传送质量监测信息；所述发送端根据带内反馈的所述传送质量监测信息调整需要向所述接收端发送的视频数据的压缩编码属性。2. 根据权利要求1所述的多媒体视频通信方法，其特征在于，所述发 送端将所述传送质量监测信息承载在补充增强信息SEI扩展消息中，以带内 方式反馈给所述发送端。3. 根据权利要求2所述的多媒体视频通信方法，其特征在于，所述SEI 扩展消息承载的传送质量监测信息至少包含以下之一出错帧序号、出错宏块序号、实时传送协议RTP包丟失率、即时刷新 帧刷新标志。4. 根据权利要求3所述的多媒体视频通信方法，其特征在于，所述RTP 包丟失率通过以下步骤获得收到RTP包时，根据接收的结果向用于统计的队列中写入表示正确或 4普i吴的4示志；当所述队列满时，将该队列中表示错误的标志数目除以队列的长度得到 所述RTP包丢失率。5. 根据权利要求4所述的多媒体视频通信方法，其特征在于，所述用 于统计的队列的长度按照如下方式进行计算和设置队列的长度=统计周期x接收端的平均接收码率/每个RTP包的长度。6. 根据权利要求1至4中任一项所述的多媒体视频通信方法，其特征 在于，当所述接收端监测到收到的视频数据发生错误时，以带内方式向所述发送端反馈传送质量监测信息；所述发送端通过以下方式调整需要向所述接收端发送的视频数据的压 缩编码属性调整要向所述接收端发送的视频数据的压缩编码属性为具有错误消除 能力的压缩编码属性。7.根据权利要求6所迷的多媒体视频通信方法，其特征在于，所述接 收端发送给所述发送端的传送质量监测信息中包含用于定位传送出错的视 频数据的标识和指示信道劣化程度的信息；误消除的视频数据所述发送端根据信道劣化程度，在当前视频帧或者紧接着的下一个视频 帧中选择优先级指标最高的N个单位的视频数据进行帧内编码，将帧内编 码后的视频数据作为所述用来进行错误消除的视频数据发送给所述接收端。8. 根据权利要求7所述的多媒体视频通信方法，其特征在于，通过以 下方式根据信道劣化程度确定N的大小在先设定m个门限P ,到Pm， m+l个正整数Ni到Nm+!，其中m为正 整数，Pi<Pi+1， l《i《m-l;如果表示信道劣化程度的指标小于P ,，则N取值为N,如果表示信道劣化程度的指标大于等于|3;并小于(3i+1, l<i<m-l，则 N取值Ni+1;如杲表示信道劣化程度的指标大于等于em,则N取值Nm+,; 其中，表示信道劣化程度的指标值越大表示信道越差。9. 根据权利要求7所述的多媒体视频通信方法，其特征在于，所述信 道劣化^呈度以RTP包丢失率来指示；所述出错的视频数据的标识为视频帧序号和/或宏块序号； 所述单位为宏块。10. 根据权利要求9所述的多媒体视频通信方法，其特征在于，所述优 先级指标满足以下条件之一或其任意组合所述优先级指标是宏块的运动剧烈程度的递增函数；所述优先级指标是宏块对于后续视频帧中其它宏块的影响程度的递减函数；所述优先级指标是用于判决预测编码类型的代价函数值的递减函数；所述优先级指标是宏块在之前预定数目的各帧中被刷新成帧内编码方 式的次数的递减函数。11. 根据权利要求10所述的多媒体视频通信方法，其特征在于，所述 优先级指标是以下四个函数中的一个或者多个的加权线性组合，并且每个函 数对应的加权系数为非负数一个关于宏块的运动剧烈程度的递增函数；一个关于宏块对于后续视频帧中其它宏块的影响程度的递减函数；一个关于用于判决预测编码类型的代价函数值的递减函数；一个关于宏块在之前预定数目的各帧中被刷新成帧内编码方式的次数 的递减函数。12. 根据权利要求9所述的多媒体视频通信方法，其特征在于，如果所 述出错的视频数据是帧间预测编码帧，则所述发送端根据RTP包丢失率， 从出错位置开始，每次选取优先级指标最高的N个宏块经帧内编码后发送 给所述接收端。13. 根据权利要求9所述的多媒体视频通信方法，其特征在于，如果所 述出错的视频数据是帧内编码帧，且RTP包丢失率小于在先设置的第一门 限，则所述接收端立即暂停解码，通过所述SEI扩展消息请求所述发送端重 新发送即时刷新帧；所述发送端将视频帧进行及时刷新编码，然后把该即时刷新帧作为所述 用来进行错误消除的视频数据发送给所述接收端。14. 根据权利要求9所述的多媒体视频通信方法，其特征在于，如果所 述出错的视频数据是帧内编码帧，且RTP包丢失率大于在...

【专利技术属性】
技术研发人员：宋彬，李彦，秦浩，罗忠，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：94[中国|深圳]