基于IP网的多媒体实时授课系统技术方案

本发明专利技术公开了一种基于ＩＰ网的多媒体实时授课系统，其由授课端、听课端、课堂服务中心以及多点控制单元（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ，ＭＣＵ）四个部分组成；它通过教学现场的多媒体录制和网络传输，实现教学现场的直播，并通过师生多媒体多模式交互、教师自然板书授课、教学内容检索、应用程序共享、课件同步浏览、电子白板、课件实时录制、课堂管理等功能，解决传统课堂教学在时间和空间上的制约问题，大大扩展了教学规模，实现名师授课及教育资源的共享。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】一、所属领域本专利技术属于计算机设计与应用
，涉及计算机软件、信息传递技术、多媒体技术以及网络教育/远程教育。特别涉及一种基于IP网的多媒体实时授课系统在上述专利1中，专利技术人提出了一套在分组交换网下开展多媒体视频会议的方法，该套方法主要有以下特点1)支持群组交互模式下多媒体数据的发送、接收；2)多媒体数据采用RTP(Real-time Transport Protocol)协议进行传输；3)采用RSVP(Resource reSer Vation Protocol)协议对交互过程中的视音频质量进行控制；4)数据传输支持单播(unicast)、组播(multicast)、广播(broadcast)三种模式；5)交互过程可以保存为本地媒体文件；6)采用目录管理机制对会议成员进行管理。7)采用软硬件相结合的实现策略。在专利2中，专利技术人提出了一套在视频会议系统中创建呼叫的过程，该过程主要描述了呼叫双方的认证、授权、能力协商，此外还定义了呼叫消息所携带数据的内容与格式。目前，视频会议系统一般都采用类似的呼叫机制。在专利3中，专利技术人提出了一套在分组交换网下开展多媒体视频会议的方法，并实现了该系统。此套方法与系统主要有以下特点1)支持多个分组间基于RTP协议的组播数据发送、接收；2)采用目录管理机制对会议成员进行管理；3)通过创建虚拟现实环境，实现分组间的用户相互感知，并能通过虚拟对象进行交互；4)采用目录管理机制对会议成员进行管理；5)交互过程可以保存为本地媒体文件；6)采用软硬件相结合的实现策略。根据上述查新，现有系统在通信方面存在以下四方面的问题1.不能支持组播数据的跨网段传输，网络带宽资源利用率较低，进而导致系统所能支持的端结点数目以及分布范围都存在很大局限性。2.大多数同步实时授课系统直接采用了视频会议系统中的多点群组交互机制，这种交互机制不适合于实时授课。采用这种交互机制，不仅增加了上层管理的复杂程度，同时也造成不必要的系统资源开销，特别是网络带宽资源的开销。3.缺乏自适应的QoS控制机制，主要表现在一、QoS控制机制无法适应网络状态的动态性。二、QoS控制机制对分布环境异构性的适应能力较差。4.缺乏课件自动生成机制，只能将教学现场保存为媒体文件，无法生成教案与教学现场同步的课件。2.组播数据跨网段传输机制研究目的解决媒体数据的跨网段(子网)高效传输问题，以及视频、音频融合问题。研究背景在交互式多媒体同步实时授课中，当结点数多于两个时，需要引入称为多点控制单元(Multipoint Control Unit，MCU)的实体(Entity)。它的功能主要包括两点①支持各结点的视频、音频数据的跨网段传输并进行有效控制；②对交互过程中的视频、音频数据进行融合处理。目前，MCU大多采用集中式，由专门的MCU硬件实现，成本高，扩展性差。本专利技术的解决策略在RealClass系统的设计中，本专利技术提出并实现了一种基于软件的分布式MCU机制，即在每个独立的网段，设置一个MCU，从而形成一个级联的树型MCU。采用单播和组播相结合的数据发送策略，即各MCU之间采用单播数据发送，各个网段内部采用组播数据发送，这样不仅可以大大节省网络带宽，而且还实现了组播数据的跨网段传输和视频、音频数据的融合，有效地提高了系统的可扩展性。3.视音频融合机制研究目的研究解决授课端和听课端视频、音频融合的问题，将两路或多路视频、音频数据合并成一路数据，使得融合后的视频具有“画中画”的效果，对于音频，则具有“混音”效果。问题背景在实时教学系统中，视频、音频融合是十分需要的。因为听课端需要感受到一个“真实”的教学环境，因此需要把授课端及正在和授课端进行交互的“焦点”听课端的视频、音频数据进行融合，这样不仅可以大大减少数据量和网络带宽的占用，而且还可以为异地听课端提供一个更加形象、逼真的教学视听环境。目前，有关视频、音频融合的基本原理大致雷同，本系统的特点是采用软件实现，支持两路或四路视频融合，和MCU有机集成，无需附加软硬件。4.动态自适应QoS控制机制研究目的在没有传输质量保障的IP网上，研究解决如何保障实时教学过程的多媒体数据传输质量的问题，即如何解决传输过程中延迟、抖动、丢包等问题。问题背景现有TCP/IP协议采用的是尽力而为(best-effort)的服务机制，该机制虽能较好地满足诸如WWW、Email、FTP等Internet的非实时应用，但它不适合于诸如网络实时教学等的实时多媒体应用。因此，要实现基于IP网的交互式同步实时授课，必须在现有TCP/IP传输机制的基础上增加服务质量(QoS，Quality of Service)控制机制。目前，国际上的一些标准化组织，如IETF等已提出了基于IP网实现QoS控制机制的相关协议和模型，如RTP/RTCP协议、IntServ/RSVP模型、DiffServ模型及MPLS模型等。这些协议和模型为QoS控制机制的深层研究提供了较好的基础，但在实际应用中都存在一定的局限性。主要表现为(1)无法适应网络状态的动态性，现有QoS控制机制无法根据可用带宽、丢包率等网络状态参数的动态变化而动态调整控制策略，即不具备自适应能力。(2)对分布环境异构性的适应能力较差。分布环境的异构性主要表现在分布的各个结点其软硬件体系结构和数据发送方式可能存在差异。前者表现为结点可能具有不同的接入速率、主机性能，甚至不同的操作系统；后者则表现为结点可能采用组播或单播发送方式。现有QoS控制机制基本上不具备适应上述分布异构环境，可扩展性较差。(3)目前QoS控制机制仅局限于从网络角度提出解决策略。这种单一策略的控制机制在网络负载较重时，提供的服务质量明显下降。本专利技术提出了一种基于分层结构的动态自适应QoS分布控制模型。其主要设计思想为一方面，借鉴DiffServ模型中基于端结点的分布控制思想，并在端结点引入动态自适应的流控机制，使得本模型不仅具有可扩展性，而且还能根据网络状态自动调整控制策略。另一方面，采用多角度解决策略，将与QoS控制相关的网络技术、视频编码技术以及FEC(ForwardError Correction)容错技术等进行有机集成，从而使得本模型在带宽受限的情况下也能为媒体流传输提供合适的服务质量。5.多媒体教学现场同步录制技术研究目的同步实时录制教学现场及教案内容，生成流媒体课件，供学生课后点播学习。问题背景能够在实时教学过程中，一边进行实时授课，一边自动进行同步课件录制与生成，是一件十分有意义的工作。不仅能够快速简捷地生成课件资源，减少课件制作的重复工作，而且为学生课后自主点播学习提供了机会。目前，这方面工作存在的问题是数据量太大，生成的课件无法进行后期修改和维护，模式单一。本专利技术的解决方法根据教学实际，本专利技术提出了两种解决思路一种是实时采集教案内容、教学现场的视频、音频数据，并压缩生成流媒体(如rm或MPEG-IV等格式)文件，供课后点播；二是将教学内容转换成超文本(HTML文档)，并和实时录制视频、音频同步集成，形成“HTML+流媒体”格式的课件。这两种解决方案各有特点，可以视实际情况选择使用，主要区别在于是否对授课端计算机屏幕上的教案部分实现流式视频编码。本专利技术通过教学现场的多媒体录制和网络传本文档来自技高网...

【技术保护点】
一种基于ＩＰ网的多媒体实时授课系统ＲｅａｌＣｌａｓｓ，其特征在于：它包括，授课端、听课端、课堂服务中心以及多点控制单元（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ，ＭＣＵ）四个部分组成；其中授课端是指教师通过网络为听课端提供授课现场 的实时视频、音频及电子教案，并通过电子白板、应用程序共享以及文本Ｃｈａｔ等工具与听课端进行交互，此外授课教师还可对整个教学过程进行控制的授课平台；授课端由一实现与课堂服务中心进行状态、控制信息的交互，并能根据交互结果对底层的视频、音频数 据采集、传输、发送、回放进行的事务管理模块，底层的视频、音频数据处理是由Ａｖｍｅｅｔｉｎｇ控件实现；Ａｖｍｅｅｔｉｎｇ控件从本地的媒体设备中读取视频、音频数据，并通过ＱｏＳ数据发送控件发送到本网段，即授课端网段的ＭＣＵ；同时调用ＱｏＳ数据接收模块从本网段ＭＣＵ读取焦点听课端的视频、音频数据，并将此数据与授课端的媒体数据在本地进行回放；听课端是指学生通过网络接收授课端的视频、音频及电子教案信息，当听课端获得交互权限后，还可与授课端进行视频、音频或其它方式的交互，听课端与听课 端之间在授课教师许可的情况下也可通过分组方式进行交互的听课平台；听课端由一实现与课堂服务中心进行状态、控制信息的交互，并能根据交互结果对底层的视频、音频数据采集、传输、发送、回放进行的事务管理模块，底层的视频、音频数据处理同样是由Ａｖｍ ｅｅｔｉｎｇ控件实现；Ａｖｍｅｅｔｉｎｇ控件从本地的媒体设备中读取视频、音频数据，并通过ＱｏＳ数据发送控件发送到授课端网段的ＭＣＵ；同时调用ＱｏＳ数据接收模块从本网段ＭＣＵ读取授课端的视频、音频数据，对于非焦点听课端，读取的是授课端和焦点听课端融合后的数据，并将此数据与本地的媒体数据在本地进行回放；课堂服务中心是指管理员用于对授课系统进行监控的控制台，并充当视频会议系统中的ＧａｔｅＫｅｅｐｅｒ；其通过与授课端、听课端、ＭＣＵ的状态和控制消息交互，实时获取ＲｅａｌＣｌａｓｓ 系统的状态，并对ＲｅａｌＣｌａｓｓ系统各个端结点的工作进行控制；多点控制单元（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ，ＭＣＵ）是完成系统中视频、音频数据的路由、转发以及处理，系统采用了分布式ＭＣＵ机制，即在系统所分布的每个网段中 都存在一个ＭＣＵ结点；多点控制单元（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ，ＭＣＵ）可分为多点控制器ＭＣ和多点处理器Ｍ...

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：郑庆华，刘均，李洋，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：87[中国|西安]