【技术实现步骤摘要】
本专利技术属于教学评估系统领域，尤其涉及一种基于音视频分析的教师课件依赖性评估方法。
技术介绍
1、教师的角色至关重要，他们不仅仅是教育的实施者，更是教育质量和效果的关键因素。教师的情绪状态、备课的认真程度以及课堂上是否直接照读ppt等因素，都会影响教学效果。ppt的使用在教学过程中至关重要，ppt的合理使用能够丰富教学内容，使教师讲述的课程清晰生动、易于理解，而对于ppt过于依赖又会使课程呆板，无法调动学生的学习积极性。特别地，如果教师过度依赖并照读ppt,无法根据教学实际情况调整具体讲解内容，不仅教学基本功得不到培养与提升，还会降低学生学习效果，最终影响课堂教学质量。在教育过程中，教学评估，尤其是教师课件依赖性的评估，对提升课堂质量具有重要意义。然而，目前对于教师对课件的依赖性分析仍是依赖于传统人工，不仅耗费大量时间和成本、无法量化、难以精准捕捉教师对课件的依赖程度，并且效率低下，无法给予授课教师精准量化的反馈。因此，将人工智能算法充分应用于课件依赖性的评估中，显得尤为必要。
技术实现思路
1、本专利技术旨在解决当前课堂质量评估在教师课件依赖性分析方面的局限性，尤其是在高效和量化方面的不足。
2、为实现上述目的，本专利技术提供了一种基于音视频分析的教师课件依赖性评估方法，包括：
3、录制教师授课过程中的授课音视频，获得教师授课内容和课件内容；
4、通过detr目标检测与canny边缘检测算法定位教室中的投影屏幕位置，并提取投影屏幕画面，获得仅
5、通过光学字符识别算法对所述课件视频的ppt关键帧进行文本识别，提取课件文本；利用语音识别技术对教师授课内容进行识别，获得授课文本；
6、将所述课件文本与所述授课文本进行比对和匹配，获得教师在授课过程中对课件依赖程度的结果。
7、优选地，通过detr目标检测与canny边缘检测算法定位教室中的投影屏幕位置，并提取投影屏幕画面的过程包括：
8、利用canny边缘检测算法对录制的视频图像进行边缘检测，利用边缘形成封闭区域且该封闭区域面积大、亮度大的特点，定位获得视频图像中的投影屏幕位置；
9、将录制的视频图像输入到detr模型中对视频图像进行分析，输出投影屏幕对应的矩形边界框；
10、根据投影屏幕的位置信息对视频图像进行裁剪，获得仅包含ppt投影屏幕的课件视频。
11、优选地，利用canny边缘检测算法对录制的视频图像进行边缘检测，定位获得视频图像中的投影屏幕位置的过程包括：
12、使用5秒间隔对视频帧进行采样，对于每一帧图像，使用canny边缘检测算法检测图像边缘，获得潜在的轮廓；
13、使用sobel算子计算图像的梯度幅值和方向，并进行非极大值抑制，保留梯度幅值局部最大的点，抑制其他非边缘点，细化边缘；同时使用双阈值处理检测并连接边缘，获得视频帧中的全部边缘；
14、删除未形成封闭区域的边缘，然后利用封闭区域大且明亮的特点筛选投影屏幕区域，将数值最大的封闭区域作为视频帧的投影屏幕区域；
15、通过计算所有检测到的轮廓中边界框的交并比筛选获得最终投影屏幕轮廓，根据所述最终投影屏幕轮廓裁剪原视频图像，获得仅包含ppt投影屏幕的课件视频。
16、优选地，使用sobel算子计算图像的梯度幅值和方向，并非极大值抑制，保留梯度幅值局部最大的点，抑制其他非边缘点，细化边缘的过程包括：
17、结合图像每一个像素的横向及纵向梯度近似值，计算获得梯度大小；沿梯度方向检查邻域内的像素，若当前像素的梯度幅值不是最大，则将其置为0；
18、梯度幅值的公式表达式为：
19、
20、梯度方向的公式表达式为：
21、
22、其中：
23、
24、
25、式中，a表示原始图像，gx和gy分别代表经横向及纵向边缘检测的图像。
26、优选地，使用双阈值处理检测并连接边缘，获得视频帧中的全部边缘的过程包括：
27、对每个像素值进行双阈值检测，通过设置一个高阈值和一个低阈值，梯度幅值大于高阈值的像素被认为是强边缘，介于高阈值和低阈值之间的像素被认为是弱边缘，低于低阈值的像素被抑制；
28、通过边缘连接将弱边缘连接到强边缘，形成连续的边缘，如果弱边缘像素连接到强边缘像素，则认为弱边缘像素也是边缘，否则进行抑制。
29、优选地，将录制的视频图像输入到detr模型中对视频图像进行分析，输出投影屏幕对应的矩形边界框的过程包括：
30、从输入的视频图像中随机采样若干帧，对每个采样视频帧使用detr模型进行目标检测，获得对应的边界框；
31、对不同采样视频帧所检测到的边界框进行两两比较，计算不同边界框的交并比，将重叠度大于预设阈值的边界框归为一类，获得分类集合；
32、选择包含边界框最多且边界框数量大于n的集合，返回边界框的平均值作为最终检测结果，根据边界框裁剪原视频图像，获得仅包含ppt投影屏幕的课件视频；
33、若所述边界框数量小于n，则重试整个过程，直到达到预设的最大重试次数，输出投影屏幕对应的矩形边界框；其中，n为根据需求自定义的正整数，输出格式为矩形边界框四个顶点的坐标。
34、优选地，通过光学字符识别算法对所述课件视频的ppt关键帧进行文本识别，提取课件文本的过程包括：
35、利用ocr技术识别每页ppt关键帧上的文本内容，提取课件文本；
36、利用ocr技术识别每页ppt关键帧上的文本内容，提取课件文本的过程包括：
37、将ppt的关键帧图像h＝{h0,h1,…,hi}输入paddle ocr模型中，首先经过文本检测模块，经过缩放和归一化处理之后，通过卷积神经网络resnet对输入信息进行特征提取，通过卷积层预测文本区域，并进行后处理非极大值抑制定位文本框；之后经过文本识别模块，使用crnn架构，结合ctc进行解码，得到最终的字符序列；最后识别结果通过后处理模块，将所述识别结果进行进一步优化和格式化，结合语言模型对识别结果进行校正，最终将识别得到的ppt文本内容记为其中，代表第i页ppt关键帧图像上的文本内容；
38、利用语音识别技术对教师授课内容进行识别，获得授课文本的过程包括：
39、将授课音频的音频信号转换为wav格式，并进行归一化处理，然后对所述音频信号进行傅里叶变换，获得频谱图；识别所述频谱图中的噪音成分，通过高频滤波器去除噪音频段；
40、利用whisper对预处理后的音频数据进行语音识别，将输入的音频数据转换为对应的文本序列，获得课堂授课文本序列同时记录每句话出现的时间戳；其中，授课文本句表示第j句话对应的文本内容，起止时间分别为和
41、优选地，将所述课件文本与所述授课文本进行比对和匹配，获得教师在本文档来自技高网...
【技术保护点】
1.一种基于音视频分析的教师课件依赖性评估方法，其特征在于，包括：
2.根据权利要求1所述的基于音视频分析的教师课件依赖性评估方法，其特征在于，通过DETR目标检测与Canny边缘检测算法定位教室中的投影屏幕位置，并提取投影屏幕画面的过程包括：
3.根据权利要求2所述的基于音视频分析的教师课件依赖性评估方法，其特征在于，利用Canny边缘检测算法对录制的视频图像进行边缘检测，定位获得视频图像中的投影屏幕位置的过程包括：
4.根据权利要求3所述的基于音视频分析的教师课件依赖性评估方法，其特征在于，使用Sobel算子计算图像的梯度幅值和方向，并非极大值抑制，保留梯度幅值局部最大的点，抑制其他非边缘点，细化边缘的过程包括：
5.根据权利要求3所述的基于音视频分析的教师课件依赖性评估方法，其特征在于，使用双阈值处理检测并连接边缘，获得视频帧中的全部边缘的过程包括：
6.根据权利要求2所述的基于音视频分析的教师课件依赖性评估方法，其特征在于，将录制的视频图像输入到DETR模型中对视频图像进行分析，输出投影屏幕对应的矩形边界框的过程
7.根据权利要求1所述的基于音视频分析的教师课件依赖性评估方法，其特征在于，通过光学字符识别算法对所述课件视频的PPT关键帧进行文本识别，提取课件文本的过程包括：
8.根据权利要求1所述的基于音视频分析的教师课件依赖性评估方法，其特征在于，将所述课件文本与所述授课文本进行比对和匹配，获得教师在授课过程中对PPT依赖程度的结果的过程包括：
9.根据权利要求8所述的基于音视频分析的教师课件依赖性评估方法，其特征在于，对所述课件视频进行PPT翻页检测的过程包括：
10.根据权利要求9所述的基于音视频分析的教师课件依赖性评估方法，其特征在于，计算前后两帧关键帧图像中像素点的绝对差值，并将所述绝对差值与动态相似度阈值进行比较的过程包括：
...【技术特征摘要】
1.一种基于音视频分析的教师课件依赖性评估方法，其特征在于，包括：
2.根据权利要求1所述的基于音视频分析的教师课件依赖性评估方法，其特征在于，通过detr目标检测与canny边缘检测算法定位教室中的投影屏幕位置，并提取投影屏幕画面的过程包括：
3.根据权利要求2所述的基于音视频分析的教师课件依赖性评估方法，其特征在于，利用canny边缘检测算法对录制的视频图像进行边缘检测，定位获得视频图像中的投影屏幕位置的过程包括：
4.根据权利要求3所述的基于音视频分析的教师课件依赖性评估方法，其特征在于，使用sobel算子计算图像的梯度幅值和方向，并非极大值抑制，保留梯度幅值局部最大的点，抑制其他非边缘点，细化边缘的过程包括：
5.根据权利要求3所述的基于音视频分析的教师课件依赖性评估方法，其特征在于，使用双阈值处理检测并连接边缘，获得视频帧中的全部边缘的过程包括：
6.根据权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。