一种在线课堂的播放优化方法及系统技术方案

本发明专利技术属于电子教学技术领域，特别涉及一种在线课堂的播放优化方法，包括以下步骤：采集当前帧图像，并在当前帧图像中获取学生主体和教师主体视觉的焦点区域；根据焦点区域制定传输策略，对在线课堂所传输的信息流进行调整。在线课堂存在大量需要在老师端和学生端之间通过互联网传输的信息，本发明专利技术主要提出根据学生主体和教师主体的实时视线关注度，依据策略中心，计算出共同的和不同的信息进行传输，从而有效满足了学生主体个体之间的差异性，保证课堂体验和效果，本发明专利技术也同样可以附以学生主体和教师主体的操作状况、网络状况以及终端的软硬件状况，并适用于在线会议、主播直播等系统。同时，本发明专利技术中还请求保护一种在线课堂的播放优化系统。

An Optimized Playing Method and System for Online Classroom

The invention belongs to the field of electronic teaching technology, and particularly relates to an online classroom playing optimization method, which includes the following steps: collecting the current frame image, and acquiring the focus area of students'and teachers' vision in the current frame image; formulating transmission strategy according to the focus area, and adjusting the information flow transmitted in the online classroom. There are a lot of information that need to be transmitted through the Internet between the teacher and the student in the online classroom. The present invention mainly proposes to calculate common and different information for transmission according to the real-time attention of the student and the teacher, according to the strategy center, so as to effectively satisfy the difference between the student and the individual, and ensure the classroom experience and effect. It can also be attached to the operation status of students and teachers, the network status and the software and hardware status of terminals. It can also be applied to online conference, live broadcasting and other systems. At the same time, the invention also requests the protection of an online classroom playback optimization system.

【技术实现步骤摘要】
一种在线课堂的播放优化方法及系统
本专利技术属于电子教学
，特别涉及一种在线课堂的播放优化方法及系统。
技术介绍
在线课堂，又叫网络课堂，是基于互联网络的远程在线互动培训课堂，一般系统采用音视频传输以及数据协同等网络传输技术，模拟真实课堂环境，通过网络给学生提供有效地培训环境。目前在实际使用的过程中，针对在线课堂有大量需要在老师端和学生端之间通过互联网传输的信息，但是受限于当前的网络状况的不稳定，以及各终端不同的软硬件状况，提出了根据网络状况和接收端的软硬件状况，依据策略中心，计算出共同的和不同的信息进行传输的优化方案，如中国专利技术专利《一种在线课堂中的视频传输动态调整方法及系统》（申请号2015102933544）中提供了解决在线课堂中音视频互动的一对多场景中，当多个不同的接收端的接受能力无法预知时，并且不同接收端也不能将自身的情况反馈给发送端，发送端不能根据接收端的情况对传输进行实时调整，因而由于不同接收端的处理能力及网络状况的差异，致使不同接收端的接受效果差别较大的问题。但是通过上述方法优化完成的结果仅能解决个别接收端画面卡顿的问题，其针对的仅仅是网络状况和设备软硬件条件，而无法对每个接收端的学生情况进行针对性的在线课堂优化调整。鉴于上述问题，本专利技术人基于从事此类产品工程应用多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种在线课堂的播放优化方法及系统，使其更具有实用性。
技术实现思路
本专利技术要解决的问题是提供一种在线课堂的播放优化方法及系统，从而针对每个接收端的学生情况进行针对性的在线课堂优化调整。为了达到上述目的，本专利技术所采用的技术方案是：一种在线课堂的播放优化方法，包括以下步骤：采集当前帧图像，并在所述当前帧图像中获取学生主体和教师主体视觉的焦点区域；根据所述焦点区域制定传输策略，对在线课堂所传输的信息流进行调整。进一步地，所述焦点区域的获取方式包括：获取教师主体的音频信息，并检测出所述当前帧图像中的教师主体，判断所述音频信息中是否指定在所述当前帧图像中针对所述教师主体的关注位置，若指定所述关注位置，则该关注位置为所述焦点区域；判断所述教师主体的动作信息，将所述教师主体的运动部位做为所述焦点区域；检测出所述当前帧图像中的学生主体和教师主体，确定所述学生主体和教师主体的视线在所述当前帧图像中的视线坐标，所述视线坐标为所述焦点区域。进一步地，所述信息流的调整包括：当录制以及数字化编码时，优先所述焦点区域的清晰度和流畅度；当网络传输时，优先保证所述焦点区域的传输；当播放时，优先所述焦点区域的解码和播放，以及在所述当前帧图像中将所述焦点区域进行局部放大。进一步地，对所述学生主体和教师主体进行检测的过程包括以下步骤：获得所述当前帧图像中的对象相对于上一帧图像中的所述对象的位移，若所述位移大于预设值，则确定该对象为学生主体或教师主体。进一步地，还包括对所述学生主体和教师主体输入动作的采集，根据所述输入动作的采集结果，结合所述焦点区域，对在线课堂所传输的信息流进行调整。进一步地，还包括对各个学生端接入设备参数信息的采集，所述参数信息至少包括网络带宽值、丢包率和处理器工作频率值。进一步地，还包括将当前步骤信息流的调整，作为上一步的反馈，并根据反馈结果修正上一步的策略。一种在线课堂的播放优化系统，其特征在于，包括摄像单元、音频采集单元、分析单元、处理单元和发送单元；所述摄像单元用于采集当前帧图像，并检测出所述当前帧图像中的运动对象，并将采集信息传输至所述分析单元；所述音频采集单元用于对教师主体的音频信息进行采集，并将采集结果传输至所述分析单元；所述分析单元用于对所述摄像单元和所述音频采集单元的采集结果进行分析，所述分析包括所述音频采集单元所采集的音频信息中是否强调对所述教师主体的关注位置、所述摄像单元所采集的帧信息中是否存在所述教师主体的运动部位，以及所述帧信息中所述学生主体和教师主体的视线焦点位置；所述处理单元用于根据所述分析单元的分析结果调整对各个学生端所传输的信息流；所述发送单元用于向各个所述学生端发送对应接受的所述信息流。进一步地，还包括接收单元，所述接收单元用于获取各个所述学生端接入设备的参数信息，并将所述参数信息传输至所述分析单元，作为所述信息流调整的依据，其中，所述参数信息至少包括网络带宽值、丢包率和处理器工作频率值。进一步地，还包括动作采集单元，所述动作采集单元用于采集所述学生端和教师端的输入动作，所述输入动作至少包括鼠标点击和触屏操作。通过上述技术方案，本专利技术的有益效果是：在线课堂存在大量需要在老师端和学生端之间通过互联网传输的信息，本专利技术主要提出根据学生主体和教师主体的实时视线关注度，依据策略中心，计算出共同的和不同的信息进行传输，从而有效满足了学生主体个体之间的差异性，保证课堂体验和效果，本专利技术也同样可以附以学生主体和教师主体的操作状况、网络状况以及终端的软硬件状况，并适用于在线会议（录播/直播），主播直播等系统。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术中在线课堂的播放优化方法的流程图；图2为本专利技术中在线课堂的播放优化系统的框架图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。本专利技术的实施例采用递进的方式撰写。一种在线课堂的播放优化方法，如图1所示，包括以下步骤：步骤一；采集当前帧图像，其中，对于当前帧图像的采集为多路采集，包括摄像头、屏幕或远程屏幕等，采集后在当前帧图像中获取学生主体和教师主体视觉的焦点区域，具体的获取方式包括：方式一：获取教师主体的音频信息，并检测出当前帧图像中的教师主体，判断音频信息中是否指定在当前帧图像中针对教师主体的关注位置，若指定关注位置，则该关注位置为焦点区域，例如，教师在音频信息中强调“看我嘴型”，则在当前帧图像中指定关注位置为教师主体的嘴部位置；方式二：判断教师主体的动作信息，将教师主体的运动部位做为焦点区域。例如在教师板书的过程中，则书写的手部位置为焦点区域；在教师进行试验器材演示的过程中，则操作的手部位置为焦点区域；方式三：检测出当前帧图像中的学生主体和教师主体，确定学生主体和教师主体的视线在当前帧图像中的视线坐标，视线坐标为焦点区域；步骤二；根据确定的上述焦点区域制定传输策略，对在线课堂所传输的信息流进行调整，信息流的调整分别在录制、网络传输和播放时实时进行，其中，当录制以及数字化编码时，优先焦点区域的清晰度和流畅度；当网络传输时，优先保证焦点区域的传输；当播放时，优先焦点区域的解码和播放，以及在当前帧图像中将焦点区域进行局部放大。作为上述实施例的优选，对焦点区域局部放大的过程中，可单独针对一个学生端或教师端的视频窗口进行局部放大，也可对多个学生端和教师端的视频窗口进行同时的放大，其中，上述同时性针对视线坐标近似的学生主体和教师主体。作为上述实施例的优选，学生主本文档来自技高网...

【技术保护点】
1.一种在线课堂的播放优化方法，其特征在于，包括以下步骤：采集当前帧图像，并在所述当前帧图像中获取学生主体和教师主体视觉的焦点区域；根据所述焦点区域制定传输策略，对在线课堂所传输的信息流进行调整。

【技术特征摘要】
1.一种在线课堂的播放优化方法，其特征在于，包括以下步骤：采集当前帧图像，并在所述当前帧图像中获取学生主体和教师主体视觉的焦点区域；根据所述焦点区域制定传输策略，对在线课堂所传输的信息流进行调整。2.根据权利要求1所述的在线课堂的播放优化方法，其特征在于，所述焦点区域的获取方式包括：获取教师主体的音频信息，并检测出所述当前帧图像中的教师主体，判断所述音频信息中是否指定在所述当前帧图像中针对所述教师主体的关注位置，若指定所述关注位置，则该关注位置为所述焦点区域；判断所述教师主体的动作信息，将所述教师主体的运动部位做为所述焦点区域；检测出所述当前帧图像中的学生主体和教师主体，确定所述学生主体和教师主体的视线在所述当前帧图像中的视线坐标，所述视线坐标为所述焦点区域。3.根据权利要求1所述的在线课堂的播放优化方法，其特征在于，所述信息流的调整包括：当录制以及数字化编码时，优先所述焦点区域的清晰度和流畅度；当网络传输时，优先保证所述焦点区域的传输；当播放时，优先所述焦点区域的解码和播放，以及在所述当前帧图像中将所述焦点区域进行局部放大。4.根据权利要求2所述的在线课堂的播放优化方法，其特征在于，对所述学生主体和教师主体进行检测的过程包括以下步骤：获得所述当前帧图像中的对象相对于上一帧图像中的所述对象的位移，若所述位移大于预设值，则确定该对象为学生主体或教师主体。5.根据权利要求1所述的在线课堂的播放优化方法，其特征在于，还包括对所述学生主体和教师主体输入动作的采集，根据所述输入动作的采集结果，结合所述焦点区域，对在线课堂所传输的信息流进行调整。6.根据权利要求1或5所述的在线课...

【专利技术属性】
技术研发人员：陈志飞，陈军，万建明，王伟，刘亮，
申请(专利权)人：南京伯索网络科技有限公司，
类型：发明
国别省市：江苏,32