基于XMPP协议的即时通讯方法及系统技术方案

本发明专利技术涉及通讯技术领域，具体公开了基于XMPP协议的即时通讯系统，包括通过XMPP服务器建立连接并创建视频会议的若干客户端；XMPP服务器还用于将各客户端分别标记为发言客户端和倾听客户端；倾听客户端用于记录网络中断的持续时间；XMPP服务器还用于根据网络中断的持续时间，对中断时视频内容中声音信息进行识别，判断是否存在人声，如果不存在人声，XMPP服务器将网络恢复的时间点起，存储的发言客户端的视频内容发送至存在网络中断的倾听客户端；如果存在人声，XMPP服务器对网络中断出现的时间点起，存储的发言客户端的视频内容进行加速，并发送至存在网络中断的倾听客户端。采用本发明专利技术的技术方案能够在网络质量较差时完整接收视频会议信息。接收视频会议信息。接收视频会议信息。

【技术实现步骤摘要】
基于XMPP协议的即时通讯方法及系统


[0001]本专利技术涉及通讯
，特别涉及基于XMPP协议的即时通讯方法及系统。

技术介绍

[0002]XMPP(Extand Message And Presence Protocol)协议，中文全称为可扩展消息处理在线协议，是一种基于标准通用标记语言的子集XML的协议。XMPP协议是以一款开源通讯协议Jabber经过不断发展完善而来，其本身基于TCP协议进行通信。可以将XMPP协议看成一个XML应用，其定义了三个角色，服务器、客户端及网关，通过其任意两个角色可以实现两个或多个网络实体之间信息交流。服务器的主要责任是连接管理和消息路由，同时记录客户端信息。网关通过消息转发与路由功能把类似MSN、ICQ等不同通信系统连接起来实现互通。XMPP协议的优越性表现在其信息交流是准实时的，以及基于其的应用表现出高扩展性和良好的可维护性。
[0003]目前，主要是通过XMPP协议发送图片、文字和语音消息，还可以通过XMPP的扩展协议Jingle使得其支持视频通话和视频会议，达到覆盖整个即时通讯的使用场景。
[0004]但是在视频会议等场景中，由于各个客户端所处的网络环境不一样，通讯时的网络质量也不尽相同。网络质量较差的客户端容易出现网络中断等情况，会导致用户无法完整的获知会议中其他人的发言，影响用户体验。
[0005]为此，需要一种网络质量较差时也能完整接收视频会议信息的基于XMPP协议的即时通讯方法及系统。

技术实现思路

[0006]本专利技术提供了基于XMPP协议的即时通讯方法及系统，能够在网络质量较差时完整接收视频会议信息。
[0007]为了解决上述技术问题，本申请提供如下技术方案：
[0008]基于XMPP协议的即时通讯系统，包括通过XMPP服务器建立连接并创建视频会议的若干客户端；
[0009]XMPP服务器还用于根据各客户端发送的视频内容将各客户端进行区分，并分别标记为发言客户端和倾听客户端；
[0010]倾听客户端用于获取当前的网络质量信息，并基于网络质量信息判断是否出现网络中断，如果出现网络中断，记录网络中断的持续时间，并在网络恢复后将网络中断的持续时间发送至XMPP服务器；
[0011]XMPP服务器用于对发言客户端的视频内容进行实时存储，XMPP服务器还用于根据网络中断的持续时间，从发言客户端的视频内容中提取出中断时的视频内容，对中断时视频内容中声音信息进行识别，判断是否存在人声，如果不存在人声，XMPP服务器将网络恢复的时间点起，存储的发言客户端的视频内容发送至存在网络中断的倾听客户端；如果存在人声，XMPP服务器对网络中断出现的时间点起，存储的发言客户端的视频内容进行加速，并
发送至存在网络中断的倾听客户端。
[0012]基础方案原理及有益效果如下：
[0013]本方案中，在倾听客户端出现网络中断时，记录网络中断的持续时间，在网络恢复后将网络中断的持续时间发送至XMPP服务器；便于XMPP服务器获知倾听客户端的网络状况。XMPP服务器在中断时的视频内容不存在人声时，将网络恢复的时间点起，存储的发言客户端的视频内容发送至存在网络中断的倾听客户端；不存在人声时，中断时的视频内容不包含重要信息，直接省去，可以在不影响信息接收的同时，让出现网络中断的倾听客户端立即跟上会议的进度，保证视频会议的正常进行。
[0014]XMPP服务器在中断时的视频内容存在人声时，对网络中断出现的时间点起，存储的发言客户端的视频内容进行加速，并发送至存在网络中断的倾听客户端。可以使用户不遗漏网络中断时未接收到的信息，而且与现有技术相比，通过对视频内容进行加速，可以在不遗漏信息的同时，快速的追上会议的实时进度，避免存在较大的延迟。
[0015]综上，本方案能够在网络质量较差时保证用户完整接收视频会议信息。
[0016]进一步，所述加速时，XMPP服务器用于将网络中断出现的时间点起预设时间长度的发言客户端的视频内容标记为待处理视频，XMPP服务器从待处理视频中的声音信息中提取人声和环境声，基于人声判断语速是否低于第一阈值，基于环境声判断环境音量是否低于第二阈值，如果语速低于第一阈值且环境音量低于第二阈值，XMPP服务器用于对待处理视频进行整体加速；使加速后待处理视频减少的播放时间等于网络中断的持续时间。
[0017]与现有技术相比，本优选方案并不是直接对视频进行加速。将网络中断出现的时间点起预设时间长度的发言客户端的视频内容标记为待处理视频，可以保证有足够长度视频进行加速，降低用户对加速的感知，提高用户体验。例如加速后的视频时长为5秒，加速前视频的长度为20秒和加速前视频的长度为10秒，加速前视频的长度为20秒加速的比例更低，用户对加速的感知更弱，观看体验更好。
[0018]如果语速低于第一阈值且环境音量低于第二阈值，表明发言的用户语速较慢，而且环境较安静，此时对待处理视频进行整体加速，不会因为速度过快导致听不清或者语速太快跟不上的情况，用户体验好。
[0019]进一步，所述加速时，如果语速不低于第一阈值或环境音量不低于第二阈值，XMPP服务器还用于根据人声识别说话中的每一次停顿，并判断停顿的总时长是否大于网络中断的持续时间，如果大于网络中断的持续时间，XMPP服务器还用于按照预设的比例对每一次停顿进行加速，使加速后待处理视频减少的播放时间等于网络中断的持续时间。
[0020]当语速不低于第一阈值或环境音量不低于第二阈值时，表明发言的用户本身语速已经过快或者环境嘈杂，对待处理视频进行整体加速效果不好。本优选方案中，按照预设的比例对每一次停顿进行加速，与直接跳过停顿相比，可以保证视频上整体的连续性，避免造成顿卡的假象，而且，加速后还是有停顿的，也可以最大限度的便于理解语义，与现有的机器人式没有停顿、断句的播音相比，用户体验更好。
[0021]进一步，如果停顿的总时长小于网络中断的持续时间，XMPP服务器将待处理视频再增加预设时间长度，继续判断增加后的待处理视频中，停顿的总时长是否大于网络中断的持续时间，如果停顿的总时长小于网络中断的持续时间，继续将待处理视频增加预设时间长度，直到停顿的总时长大于网络中断的持续时间。
[0022]通过增加预设时间长度，能够保证按照预设的比例对每一次停顿进行加速后，达到待处理视频减少的播放时间等于网络中断的持续时间的效果。
[0023]进一步，所述XMPP服务器还存储有每一客户端对应的用户名称；XMPP服务器对中断时的视频内容中声音信息进行识别，判断存在人声后，还将人声转换为文本，基于文本判断是否存在发言人转换信息，如果存在发言人转换信息，从发言人转换信息中提取下一位发言人的名称，XMPP服务器还基于下一位发言人的名称和存储的客户端对应的用户名称，判断下一位发言人是否为存在网络中断的倾听客户端对应用户，如果不是，XMPP服务器对网络中断出现的时间点起，存储的发言客户端的视频内容进行加速，并发送至存在网络中断的倾听客户端。...

【技术保护点】

【技术特征摘要】
1.基于XMPP协议的即时通讯系统，包括通过XMPP服务器建立连接并创建视频会议的若干客户端；其特征在于，XMPP服务器还用于根据各客户端发送的视频内容将各客户端进行区分，并分别标记为发言客户端和倾听客户端；倾听客户端用于获取当前的网络质量信息，并基于网络质量信息判断是否出现网络中断，如果出现网络中断，记录网络中断的持续时间，并在网络恢复后将网络中断的持续时间发送至XMPP服务器；XMPP服务器用于对发言客户端的视频内容进行实时存储，XMPP服务器还用于根据网络中断的持续时间，从发言客户端的视频内容中提取出中断时的视频内容，对中断时视频内容中声音信息进行识别，判断是否存在人声，如果不存在人声，XMPP服务器将网络恢复的时间点起，存储的发言客户端的视频内容发送至存在网络中断的倾听客户端；如果存在人声，XMPP服务器对网络中断出现的时间点起，存储的发言客户端的视频内容进行加速，并发送至存在网络中断的倾听客户端。2.根据权利要求1所述的基于XMPP协议的即时通讯系统，其特征在于：所述加速时，XMPP服务器用于将网络中断出现的时间点起预设时间长度的发言客户端的视频内容标记为待处理视频，XMPP服务器从待处理视频中的声音信息中提取人声和环境声，基于人声判断语速是否低于第一阈值，基于环境声判断环境音量是否低于第二阈值，如果语速低于第一阈值且环境音量低于第二阈值，XMPP服务器用于对待处理视频进行整体加速；使加速后待处理视频减少的播放时间等于网络中断的持续时间。3.根据权利要求2所述的基于XMPP协议的即时通讯系统，其特征在于：所述加速时，如果语速不低于第一阈值或环境音量不低于第二阈值，XMPP服务器还用于根据人声识别说话中的每一次停顿，并判断停顿的总时长是否大于网络中断的持续时间，如果大于网络中断的持续时间，XMPP服务器还用于按照预设的比例对每一次停顿进行加速，使加速后待处理视频减少的播放时间等于网络中断的持续时间。4.根据权利要求3所述的基于XMPP协议的即时通讯系统，其特征在于：如果停顿的总时长小于网络中断的持续时间，XMPP服务器将待处理视频再增加预设时...

【专利技术属性】
技术研发人员：曹春林，
申请(专利权)人：重庆满集网络科技有限公司，
类型：发明
国别省市：