视频处理方法及装置、训练方法和存储介质制造方法及图纸

一种适于计算机执行的视频处理方法、目标检测模型的训练方法、视频处理装置和存储介质。该视频处理方法包括：获取课程教学视频，课程教学视频包括课程展示视频图像部分和课程教学音频部分；根据课程展示视频图像部分和课程教学音频部分确定视频切分模型；根据视频切分模型确定视频切分节点，以基于视频切分节点将课程教学视频划分为多个知识点视频片段。该视频处理方法可以提升课程清晰度，提高课程回放的观看效果和效率。放的观看效果和效率。放的观看效果和效率。

【技术实现步骤摘要】
视频处理方法及装置、训练方法和存储介质


[0001]本公开的实施例涉及一种适于计算机执行的视频处理方法、目标检测模型的训练方法、视频处理装置和存储介质。

技术介绍

[0002]近年来，由于传统教学模式已逐渐不能满足学生对于多媒体信息化便于回放、随时回顾等教学方式的需求，伴随互联网特别是移动互联网的发展和普及，网络教学技术也得到了快速发展。

技术实现思路

[0003]本公开至少一实施例提供一种适于计算机执行的视频处理方法，包括：获取课程教学视频，所述课程教学视频包括课程展示视频图像部分和课程教学音频部分；根据所述课程展示视频图像部分和所述课程教学音频部分确定视频切分模型；根据所述视频切分模型确定视频切分节点，以基于所述视频切分节点将所述课程教学视频划分为多个知识点视频片段。
[0004]例如，在本公开至少一实施例提供的视频处理方法中，所述课程展示视频图像部分包括课件部分和板书部分中的至少一个，根据所述课程展示视频图像部分和所述课程教学音频部分确定所述视频切分模型，包括：对所述课件部分进行翻页检测，以确定所述课程教学视频的第一视频切分子节点；在所述板书部分，根据所述板书的更新操作和所述板书的信息熵确定所述课程教学视频的第二视频切分子节点；对所述课程教学音频部分进行语音分析，并结合课程知识图谱确定所述课程教学视频的第三视频切分子节点；基于所述第一视频切分子节点、所述第二视频切分子节点和所述第三视频切分子节点确定所述视频切分模型。
[0005]例如，在本公开至少一实施例提供的视频处理方法中，基于所述第一视频切分子节点、所述第二视频切分子节点和所述第三视频切分子节点确定所述视频切分模型，包括：分别选取所述第一视频切分子节点、所述第二视频切分子节点和所述第三视频切分子节点各自的权重，基于所述权重确定所述视频切分模型。
[0006]例如，在本公开至少一实施例提供的视频处理方法中，对所述课件部分进行翻页检测，以确定所述课程教学视频的所述第一视频切分子节点，包括：获取帧差图二值化阈值和翻页阈值；获取所述视频中相邻帧的帧差图，并将所述帧差图进行二值化处理以得到二值化帧差图；判断所述二值化帧差图中非零像素的数量是否大于所述帧差图二值化阈值；如果是，则检测所述帧差图中是否有授课人；如果是，则在所述帧差图中扣除所述授课人所在区域，并判断扣除所述授课人所在区域后的帧差图中的非零像素的数量是否大于翻页阈值；如果是，则将所述相邻帧中当前帧判定为翻页节点，并将所述翻页节点作为所述第一视频切分节点；如果否，则判断所述相邻帧中下一帧是否为所述视频的最后一帧；如果否，则将所述下一帧作为当前帧继续进行上述操作。
[0007]例如，在本公开至少一实施例提供的视频处理方法中，获取所述帧差图二值化阈值，包括：基于第一加权均值和第二加权均值确定所述帧差图二值化阈值；所述第一加权均值表示在未翻页情况下帧差图的帧差像素灰度值和对应像素数量的加权均值；所述第二加权均值表示在翻页情况下帧差图的帧差像素灰度值和对应像素数量的加权均值。
[0008]例如，在本公开至少一实施例提供的视频处理方法中，获取所述翻页阈值，包括：利用目标检测技术确定所述课程教学视频中各帧均包括的标识的所在区域并进行扣除以获得无标识的各帧图像；对所述课程教学视频中所述无标识的各帧图像进行缩放处理以统一所述无标识的各帧图像的尺寸；基于第一均值和第二均值确定所述翻页阈值；所述第一均值表示在未翻页情况下，所述缩放后的无标识的各帧图像各自单页帧差图中像素变化数量的均值；所述第二均值表示在翻页情况下，所述缩放后的无标识的各帧图像各自单页帧差图中像素变化数量的均值。
[0009]例如，在本公开至少一实施例提供的视频处理方法中，对所述课件部分进行翻页检测，以确定所述课程教学视频的所述第一视频切分子节点，还包括：通过检测光强度结合明暗对比，判断所述课程展示视频图像部分是所述课件部分还是所述板书部分；如果所述课程展示视频图像部分是课件部分，检测所述授课人是否位于所述课件部分；如果是，识别所述授课人所在区域并从所述课件部分中扣除。
[0010]例如，在本公开至少一实施例提供的视频处理方法中，识别所述授课人所在区域，包括：通过语义分割技术确定所述授课人所在第一子区域；通过提取所述视频中相邻帧的帧差图的连续最大区域确定所述授课人所在第二子区域；将所述第一子区域和所述第二子区域进行加权融合，以确定所述授课人所在区域。
[0011]例如，在本公开至少一实施例提供的视频处理方法中，在所述板书部分，根据所述板书的更新操作和所述板书的信息熵确定所述课程教学视频的所述第二视频切分子节点，包括：当检测到授课人擦板书的动作以及所述板书信息熵减少时，将当前时间点确定所述课程教学视频的所述第二视频切分节点。
[0012]例如，本公开至少一实施例提供的视频处理方法还包括：识别所述多个知识点视频片段中分别包括的知识点，以基于所述知识点为所述多个知识点视频片段分别添加标题。
[0013]例如，在本公开至少一实施例提供的视频处理方法中，识别所述多个知识点视频片段中分别包括的知识点，以基于所述知识点为所述多个知识点视频片段分别添加标题，包括：识别所述多个知识点视频片段中的文字；将识别的所述文字与知识图谱中的知识点进行匹配以确定各个知识点视频片段中分别包括的知识点，并将所述确定的知识点添加为对应知识点视频片段的标题。
[0014]例如，在本公开至少一实施例提供的视频处理方法中，对于所述板书部分，识别所述多个知识点视频片段中的文字，包括：提取授课人的特征点；检测所述授课人是否开始板书；如果是，则检测所述授课人的手部运动轨迹，以基于所述手部运动轨迹识别第一板书内容；基于图像识别技术识别所述板书部分的第二板书内容；基于自动语音识别技术识别所述授课人讲述的在所述板书部分的第三板书内容；根据所述第一板书内容、所述第二板书内容和所述第三板书内容通过加权方法获得所述多个知识点视频片段中的板书部分的文字。
[0015]例如，在本公开至少一实施例提供的视频处理方法中，在识别所述多个知识点视频片段中的文字之前，识别所述多个知识点视频片段中分别包括的知识点，以基于所述知识点为所述多个知识点视频片段分别添加标题，还包括：对所述课件部分和所述板书部分进行图像增强操作。
[0016]例如，在本公开至少一实施例提供的视频处理方法中，在根据所述课程展示视频图像部分和所述课程教学音频部分确定视频切分模型之前，所述方法还包括：对所述课程教学视频中的各帧图像进行透视变换处理，以将所述各帧图像矫正为正视图。
[0017]例如，在本公开至少一实施例提供的视频处理方法中，对所述课程教学视频中的各帧图像进行透视变换处理，包括：获取所述课程教学视频中的各帧图像中的一帧图像；基于所述一帧图像和所述一帧图像对应的正视图的映射关系确定透视变换参数；基于所述透视变换参数将所述课程教学视频中的各帧图像矫正为正视图。
[0018]例如，本公开至少一实施例提供的视频处理方法还包括：获取所述课程的原版课件，并基于所述原版本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适于计算机执行的视频处理方法，包括：获取课程教学视频，其中，所述课程教学视频包括课程展示视频图像部分和课程教学音频部分；根据所述课程展示视频图像部分和所述课程教学音频部分确定视频切分模型；根据所述视频切分模型确定视频切分节点，以基于所述视频切分节点将所述课程教学视频划分为多个知识点视频片段。2.根据权利要求1所述的视频处理方法，其中，所述课程展示视频图像部分包括课件部分和板书部分中的至少一个，根据所述课程展示视频图像部分和所述课程教学音频部分确定所述视频切分模型，包括：对所述课件部分进行翻页检测，以确定所述课程教学视频的第一视频切分子节点；在所述板书部分，根据所述板书的更新操作和所述板书的信息熵确定所述课程教学视频的第二视频切分子节点；对所述课程教学音频部分进行语音分析，并结合课程知识图谱确定所述课程教学视频的第三视频切分子节点；基于所述第一视频切分子节点、所述第二视频切分子节点和所述第三视频切分子节点确定所述视频切分模型。3.根据权利要求2所述的视频处理方法，其中，基于所述第一视频切分子节点、所述第二视频切分子节点和所述第三视频切分子节点确定所述视频切分模型，包括：分别选取所述第一视频切分子节点、所述第二视频切分子节点和所述第三视频切分子节点各自的权重，基于所述权重确定所述视频切分模型。4.根据权利要求2所述的视频处理方法，其中，对所述课件部分进行翻页检测，以确定所述课程教学视频的所述第一视频切分子节点，包括：获取帧差图二值化阈值和翻页阈值；获取所述视频中相邻帧的帧差图，并将所述帧差图进行二值化处理以得到二值化帧差图；判断所述二值化帧差图中非零像素的数量是否大于所述帧差图二值化阈值；如果是，则检测所述帧差图中是否有授课人；如果是，则在所述帧差图中扣除所述授课人所在区域，并判断扣除所述授课人所在区域后的帧差图中的非零像素的数量是否大于翻页阈值；如果是，则将所述相邻帧中当前帧判定为翻页节点，并将所述翻页节点作为所述第一视频切分节点；如果否，则判断所述相邻帧中下一帧是否为所述视频的最后一帧；如果否，则将所述下一帧作为当前帧继续进行上述操作。5.根据权利要求4所述的视频处理方法，其中，获取所述帧差图二值化阈值，包括：基于第一加权均值和第二加权均值确定所述帧差图二值化阈值；其中，所述第一加权均值表示在未翻页情况下帧差图的帧差像素灰度值和对应像素数量的加权均值；所述第二加权均值表示在翻页情况下帧差图的帧差像素灰度值和对应像素数量的加权均值。
6.根据权利要求4所述的视频处理方法，其中，获取所述翻页阈值，包括：利用目标检测技术确定所述课程教学视频中各帧均包括的标识的所在区域并进行扣除以获得无标识的各帧图像；对所述课程教学视频中所述无标识的各帧图像进行缩放处理以统一所述无标识的各帧图像的尺寸；基于第一均值和第二均值确定所述翻页阈值；其中，所述第一均值表示在未翻页情况下，所述缩放后的无标识的各帧图像各自单页帧差图中像素变化数量的均值；所述第二均值表示在翻页情况下，所述缩放后的无标识的各帧图像各自单页帧差图中像素变化数量的均值。7.根据权利要求2所述的视频处理方法，其中，对所述课件部分进行翻页检测，以确定所述课程教学视频的所述第一视频切分子节点，还包括：通过检测光强度结合明暗对比，判断所述课程展示视频图像部分是所述课件部分还是所述板书部分；如果所述课程展示视频图像部分是课件部分，检测所述授课人是否位于所述课件部分；如果是，识别所述授课人所在区域并从所述课件部分中扣除。8.根据权利要求7所述的视频处理方法，其中，识别所述授课人所在区域，包括：通过语义分割技术确定所述授课人所在第一子区域；通过提取所述视频中相邻帧的帧差图的连续最大区域确定所述授课人所在第二子区域；将所述第一子区域和所述第二子区域进行加权融合，以确定所述授课人所在区域。9.根据权利要求2所述的视频处理方法，其中，在所述板书部分，根据所述板书的更新操作和所述板书的信息熵确定所述课程教学视频的所述第二视频切分子节点，包括：当检测到授课人擦板书的动作以及所述板书信息熵减少时，将当前时间点确定所述课程教学视频的所述第二视频切分节点。10.根据权利要求1-9任一所述的视频处理方法，还包括：识别所述多个知识点视频片段中分别包括的知识点，以基于所述知识点为所述多个知识点视频片段分别添加标题。11.根据权利要求10所述的视频处...

【专利技术属性】
技术研发人员：赵飞，张俊，仲亮亮，
申请(专利权)人：新东方教育科技集团有限公司，
类型：发明
国别省市：