本申请提供了音视频通话方法、装置及终端设备，适用于音视频通话技术领域，该方法应用于第一终端设备，方法包括：在与第二终端设备音视频通话的过程中，生成流媒体数据和信令，流媒体数据为音频流或视频流；将信令注入至流媒体数据中；将注入信令后的流媒体数据发送至第二终端设备，注入信令后的流媒体数据，用于第二终端设备提取和处理信令。本申请实施例通过复用媒体传输通道并在音视频流中注入信令，避免了信令传输滞后的情况，使得信令与音视频流可以同步传输，提高了信令的实时性。因此本申请实施例可以有效提升音视频通话的质量。申请实施例可以有效提升音视频通话的质量。申请实施例可以有效提升音视频通话的质量。
【技术实现步骤摘要】
音视频通话方法、装置及终端设备
[0001]本申请属于音视频通话
，尤其涉及音视频通话方法、装置及终端设备。
技术介绍
[0002]在音视频通话的过程中，一般都会涉及一些信令的传输。例如两个终端设备进行视频通话的场景中，视频通话一侧终端设备，可以向另一侧终端设备传输屏幕共享信令，以请求共享自身的屏幕内容。
[0003]现有的音视频通话方案中，采用双通道(媒体传输通道和信令通道)来传输音视频流和信令。其中，媒体传输通道主要用于传输音视频流，而信令通道主要用于传输信令。媒体传输通道和信令通道之间互不关联、互不影响且没有从属关系。
[0004]上述双通道的方案虽然可以实现对音视频通话过程中音视频流和信令的传输，但实际应用中信令传输的时延较为严重，从而导致音视频通话质量较差。
技术实现思路
[0005]有鉴于此，本申请实施例提供了音视频通话方法、装置及终端设备，可以解决现有技术中音视频通话质量较差的问题。
[0006]本申请实施例的第一方面提供了一种音视频通话方法，应用于第一终端设备，方法包括：
[0007]在与第二终端设备音视频通话的过程中，生成流媒体数据和信令，流媒体数据为音频流或视频流。
[0008]将信令注入至流媒体数据中。
[0009]将注入信令后的流媒体数据发送至第二终端设备，注入信令后的流媒体数据，用于第二终端设备提取和处理信令。
[0010]在本申请实施例中，摒弃了双通道传输的方案，采用单通道来传输音视频流和信令。当某一侧终端设备需要传输信令时，首先会将信令注入至音视频流之中，再将注入有信令的音视频流传输至对端设备。对端设备则在接收到音视频流时，可以先从中提取出信令，再处理提取出的信令和音视频流。相对双通道传输的方案而言，本申请实施例一方面可以摒弃原有信令通道，从而减少了对信令通道资源的占用。另一方面，通过复用媒体传输通道并在音视频流中注入信令，避免了信令传输滞后的情况，使得信令与音视频流可以同步传输，提高了信令的实时性。因此本申请实施例可以有效提升音视频通话的质量。
[0011]在第一方面的第一种可能的实现方式中，将信令注入至流媒体数据中，包括：
[0012]若流媒体数据为音频流，则将信令注入至音频流的语音帧之中。
[0013]若流媒体数据为视频流，则将信令注入至视频流的图像帧之中。
[0014]在本申请实施例中，针对流媒体数据是音频流和视频流的情况，分别设置了两种对应的信令注入方法。使得本申请实施例可以兼容于音频通话和视频通话场景需求。
[0015]在第一方面的第二种可能的实现方式中，流媒体数据为视频流，将信令注入至流
媒体数据中，包括：
[0016]对视频流进行编码，得到视频流中各帧图像的网络适配单元。
[0017]从得到的网络适配单元中选取出一个I帧图像的网络适配单元，并将该网络适配单元的网络适配单元头中的类型参数赋值为第一参数值，将信令写入至该网络适配单元的网络适配单元载荷中。
[0018]在本申请实施例中，第一终端设备采用H.264标准对视频流进行编码，通过将信令注入至I帧图像的网络适配单元(Network Abstract Layer Unit，NALU)之中，并将NALU头中的类型参数修改为预设的第一参数值。使得信令可以实现可靠的注入。同时使得第二终端设备可以根据NALU头中的类型参数值，准确定位出包含信令的NALU，并能准确提取出NALU中包含的信令，实现对信令的数据剥离。利用I帧的高稳定性和可靠性来传输信令，本申请实施例具有以下优点：
[0019]1、复用媒体传输通道传输信令，摒弃长连接的信令通道，因此可以减少对通道资源的占用。
[0020]2、减少信令通道的使用，可以降低终端设备对信令传输的功耗。
[0021]3、利用实际应用中I帧稳定可靠传输的特性，可以降低信令传输时，信令丢失的风险。从而提高对信令传输的稳定性和可靠性。
[0022]4、信令跟随I帧同步传输，使得信令可以与视频流同步传输，进而使得信令传输的实时性极高。
[0023]在第一方面的第二种可能实现方式的基础上，作为第一方面的第三种可能的实现方式，第一参数值为[13，31]中的任一整数。考虑到实际应用中，13至31均是NALU头中，类型参数nal_unit_type为使用的值。通过使用这些值作为第一参数值，可以实现对注入有信令的NALU的准确标记。使得第二终端设备可以在视频流中准确找出具有信令的I帧图像的NALU，并提取出其中的信令。保障了对信令注入和提取的有效性和可靠性。
[0024]在第一方面的第一种至第三种可能实现方式中任一种可能实现方式的基础上，作为第一方面的第四种可能的实现方式，在音视频通话的过程中，第一终端设备将自身的屏幕内容以视频流共享至第二终端设备。
[0025]相应的，生成信令的操作，包括：
[0026]响应于第一触发操作，生成第一触发操作关联的信令，信令中携带有用户提示信息，用户提示信息用于告知用户第二终端设备黑屏原因。
[0027]在本申请实施例中，第一终端设备通过将携带有用户提示信息的信令注入至由黑屏画面组成的视频流，并通过媒体传输通道将视频流发送至第二终端设备的方式，实现对信令的传输。第二终端设备在接收到视频流时先提取出信令，并解析出信令携带的用户提示信息。最后将视频流和用户提示信息均进行显示。从而使得第二终端设备用户可以在看到黑屏的同时，查看到用户提示信息，获知黑屏原因。相对于双通道传输方案而言，本申请实施例避免了信令传输滞后的情况，使得信令与视频流可以同步传输，提高了信令的实时性。因此本申请实施例不会出现第二终端设备黑屏了，用户却无法获知黑屏原因的情况，使得用户体验更佳。
[0028]在第一方面的第一种至第三种可能实现方式中任一种可能实现方式的基础上，作为第一方面的第五种可能的实现方式，流媒体数据为视频流，第一终端设备生成信令，包
括：
[0029]响应于第二触发操作，第一终端设备确定第二触发操作指向的视频特效类型，并生成携带有视频特效类型的信令，携带有视频特效类型的信令，用于第二终端设备根据视频特效类型对播放的视频流添加视频特效。
[0030]在本申请实施例中，第一终端设备通过将携带有视频特效类型的信令注入至视频流，并通过媒体传输通道将视频流发送至第二终端设备的方式，实现对信令的传输。第二终端设备在接收到视频流时先提取出信令，并解析出信令携带的视频特效类型。最后在播放视频流的同时，为视频流添加相应的视频特效。相对双通道传输方案而言，本申请实施例避免了信令传输滞后的情况，使得信令与视频流可以同步传输，提高了信令的实时性。即使面对视频特效这种实时性要求较高场景，本申请实施例也可以有效满足信令的实时性需求。
[0031]本申请实施例的第二方面提供了一种音视频通话系统，包括第一终端设备和第二终端设备。
[0032]第一终端设备在音视频通话过程中，生成流媒体数据和信令，流本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种音视频通话方法，其特征在于，应用于第一终端设备，所述方法包括：在与第二终端设备音视频通话的过程中，生成流媒体数据和信令，所述流媒体数据为音频流或视频流；将所述信令注入至所述流媒体数据中；将注入所述信令后的所述流媒体数据发送至所述第二终端设备，注入所述信令后的所述流媒体数据，用于所述第二终端设备提取和处理所述信令。2.根据权利要求1所述的音视频通话方法，其特征在于，所述将所述信令注入至所述流媒体数据中，包括：若所述流媒体数据为所述音频流，则将所述信令注入至所述音频流的语音帧之中；若所述流媒体数据为所述视频流，则将所述信令注入至所述视频流的图像帧之中。3.根据权利要求1所述的音视频通话方法，其特征在于，所述流媒体数据为视频流，所述将所述信令注入至所述流媒体数据中，包括：对所述视频流进行编码，得到所述视频流中各帧图像的网络适配单元；从得到的网络适配单元中选取出一个I帧图像的网络适配单元，并将该网络适配单元的网络适配单元头中的类型参数赋值为第一参数值，将所述信令写入至该网络适配单元的网络适配单元载荷中。4.根据权利要求3所述的音视频通话方法，其特征在于，第一参数值为[13，31]中的任一整数。5.根据权利要求1至3任意一项所述的音视频通话方法，其特征在于，在音视频通话的过程中，所述第一终端设备将自身的屏幕内容以视频流共享至所述第二终端设备；相应的，生成所述信令的操作，包括：响应于第一触发操作，生成所述第一触发操作关联的所述信令，所述信令中携带有用户提示信息，所述用户提示信息用于告知用户所述第二终端设备黑屏原因。6.一种音视频通话系统，其特征在于，包括第一终端设备和第二终端设备；所述第一终端设备在音视频通话过程中，生成流媒体数据和信令，所述流媒体数据为音频流或视频流；所述第一终端设备将所述信令注入至所述流媒体数据中；所述第一终端设备将注入所述信令后的所述流媒体数据发送至所述第二终端设备；所述第二终端设备在接收到注入所述信令后的所述流媒体数据后，从注入所述信令后的所述流媒体数据中提取出所述信令，并对所述信令进行处理。7.根据权利要求6所述的音视频通话系统，其特征在于，所述将所述信令注入至所述流媒体数据中，包括：若所述流媒体数据为所述音频流，则将所述信令注入至所述音频流的语音帧之中；若所述流媒体数据为所述视频流，则将所述信令注入至所述视频流的图像帧之中。8.根据权利要求6或7所述的音视频通话系统，其特征在于，所述流媒体数据为所述视频流，所述第一终端设备将所述信令注入至所述流媒体数据中，包括：所述第一终端设备对所述视频流进行编码，得到所述视频流中各帧图像的网络适配单元；所述第一终端设备从得到的网络适配单元中选取出一个I帧图像的网络适配单元，并
将该网络适配单元的网络适配单元头中的类型参数赋值为第一参数值，将所述信令写入至该网络适配单元的网络适配单元载荷中；相应的，所述第二终端设备从注入所述信令后的所述流媒体数据中提取出所述信令，包括：所述第二终端设备对...
【专利技术属性】
技术研发人员：鲍鑫东，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。