一种视频审核的方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种视频审核的方法、装置、设备和存储介质。其中，该方法包括：提取待审核视频中的不同类型内容信息；根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量；根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重；根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别。本发明专利技术实施例提供的技术方案，实现了多类型融合下的视频审核，解决了现有技术中对于视频审核存在局限性的问题，提高了视频审核的全面性和准确性。

A Method, Device, Equipment and Storage Media for Video Auditing

The invention discloses a method, device, device and storage medium for video auditing. Among them, the method includes: extracting different types of content information in the video to be audited; fusing the feature vectors of different types of content information according to the correlation between different types of content information to get the feature vectors of the video to be audited; according to the feature vectors of the video to be audited, getting the proportion of the video to be audited under different preset auditing categories; and according to the different types of auditing. The proportion under the auditing category is preset to determine the auditing category of the video to be audited. The technical scheme provided by the embodiment of the present invention realizes video auditing under multi-type fusion, solves the limitation of video auditing in the prior art, and improves the comprehensiveness and accuracy of video auditing.

【技术实现步骤摘要】
一种视频审核的方法、装置、设备和存储介质
本专利技术实施例涉及互联网
，尤其涉及一种视频审核的方法、装置、设备和存储介质。
技术介绍
随着互联网技术的飞速发展，互联网视频流量在近几年大量增加，短视频、直播等各种新型的用户原创内容促使互联网传播的视频越来越丰富。与此同时，大量涉及恐怖、暴力、色情或政治敏感等话题的违规视频，也会被不法用户上传至互联网上而快速传播出来。此时，如何高效且低成本地将这些违规视频进行过滤是短视频、直播等互联网视频应用产品中所面临的共同难题。由于互联网中传播的视频资源量越来越大，依靠人工对上传至互联网的视频资源是否包含违规内容进行审核，必然需要消耗大量人力成本，并且效率较低；目前通常利用机器学习对视频内容进行自动审核，通过单一分析视频内容中不同模态下的画面、文字或声音等信息，判断当前视频是否存在违规内容，从而对互联网视频进行相应审核。而现有技术中大都仅分析视频中的画面、文字或声音等单一类型下的信息，来确定视频中的内容是否违规，对于互联网视频的审核存在一定的局限性，降低了视频审核的准确性。
技术实现思路
本专利技术实施例提供了一种视频审核的方法、装置、设备和存储介质，以解决现有技术中对于视频审核存在局限性的问题，实现多类型融合下的视频审核，提高视频审核的全面性和准确性。第一方面，本专利技术实施例提供了一种视频审核的方法，该方法包括：提取待审核视频中的不同类型内容信息；根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量；根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重；根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别。进一步的，根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量，包括：向预先构建的融合学习模型中输入各所述不同类型内容信息，通过所述融合学习模型中不同类型下的学习子模型分别提取所述不同类型内容信息的特征向量；根据不同类型内容信息之间的相关性，通过所述融合学习模型中的融合子模型对不同类型内容信息的特征向量进行融合，得到待审核视频的特征向量。进一步的，根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重，包括：根据所述待审核视频的特征向量，通过所述融合子模型中的预设回归函数分别得到待审核视频在不同预设审核类别下的比重。进一步的，所述融合学习模型通过执行下述操作构建：提取训练样本中不同类型的样本内容信息，所述训练样本为目标审核类别下的历史视频；通过不同类型下的学习子模型分别提取所述样本内容信息的特征向量，并根据各所述样本内容信息之间的相关性，通过融合子模型对各所述样本内容信息的特征向量进行融合，得到训练样本的特征向量；根据所述训练样本的特征向量，通过所述融合子模型中的预设回归函数分别得到训练样本在不同预设审核类别下的比重；根据训练样本的目标审核类别和在不同预设审核类别下的比重，确定对应的分类损失，并将所述分类损失进行反向传播，对各学习子模型和融合子模型进行修正，并继续获取所述目标审核类别下新的训练样本，直至所述目标审核类别下的分类损失低于预设损失阈值；重新获取其他审核类别下的训练样本再次进行训练，直至预设的全部审核类别下的分类损失均低于对应的预设损失阈值，则将得到的各学习子模型和融合子模型构建为融合学习模型。进一步的，所述不同类型内容信息包括待审核视频中的图片序列、音频序列和文字序列。进一步的，提取待审核视频中的不同类型内容信息，包括：对所述待审核视频分段后，在分段的待审核视频中抽取视频帧；组合抽取的视频帧，得到对应的图片序列。进一步的，提取待审核视频中的不同类型内容信息，包括：对所述待审核视频分段后，在分段的待审核视频中重采样音频信息；通过梅尔倒频谱MFC算法提取重采样的音频信息中的频谱特征；组合提取的频谱特征，得到对应的音频序列。进一步的，提取待审核视频中的不同类型内容信息，包括：通过光学字符识别OCR算法获取所述待审核视频中的文字信息，得到对应的文字序列。进一步的，根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别，包括：所述待审核视频在违规类别下的比重超出预设的违规阈值，则向人工审核平台发送所述待审核视频；根据所述人工审核平台的反馈信息确定所述待审核视频的审核类别。第二方面，本专利技术实施例提供了一种视频审核的装置，该装置包括：信息提取模块，用于提取待审核视频中的不同类型内容信息；特征融合模块，用于根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量；比重确定模块，用于根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重；审核类别确定模块，用于根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别。进一步的，所述特征融合模块，具体用于：向预先构建的融合学习模型中输入各所述不同类型内容信息，通过所述融合学习模型中不同类型下的学习子模型分别提取所述不同类型内容信息的特征向量；根据不同类型内容信息之间的相关性，通过所述融合学习模型中的融合子模型对不同类型内容信息的特征向量进行融合，得到待审核视频的特征向量。进一步的，所述比重确定模块，具体用于：根据所述待审核视频的特征向量，通过所述融合子模型中的预设回归函数分别得到待审核视频在不同预设审核类别下的比重。进一步的，所述融合学习模型通过执行下述操作构建：提取训练样本中不同类型的样本内容信息，所述训练样本为目标审核类别下的历史视频；通过不同类型下的学习子模型分别提取所述样本内容信息的特征向量，并根据各所述样本内容信息之间的相关性，通过融合子模型对各所述样本内容信息的特征向量进行融合，得到训练样本的特征向量；根据所述训练样本的特征向量，通过所述融合子模型中的预设回归函数分别得到训练样本在不同预设审核类别下的比重；根据训练样本的目标审核类别和在不同预设审核类别下的比重，确定对应的分类损失，并将所述分类损失进行反向传播，对各学习子模型和融合子模型进行修正，并继续获取所述目标审核类别下新的训练样本，直至所述目标审核类别下的分类损失低于预设损失阈值；重新获取其他审核类别下的训练样本再次进行训练，直至预设的全部审核类别下的分类损失均低于对应的预设损失阈值，则将得到的各学习子模型和融合子模型构建为融合学习模型。进一步的，所述不同类型内容信息包括待审核视频中的图片序列、音频序列和文字序列。进一步的，所述信息提取模块，具体用于：对所述待审核视频分段后，在分段的待审核视频中抽取视频帧；组合抽取的视频帧，得到对应的图片序列。进一步的，所述信息提取模块，还具体用于：对所述待审核视频分段后，在分段的待审核视频中重采样音频信息；通过梅尔倒频谱MFC算法提取重采样的音频信息中的频谱特征；组合提取的频谱特征，得到对应的音频序列。进一步的，所述信息提取模块，还具体用于：通过光学字符识别OCR算法获取所述待审核视频中的文字信息，得到对应的文字序列。进一步的，所述审核类别确定模块，具体用于：所述待审核视频在违规类别下的比重超出预设的违规阈值，则向人工审核平台发送所述待审核视频；根据所述人工审核平台的反馈信息确定所述待审核视频的审核类别。第三方面，本专利技术实施例提本文档来自技高网...

【技术保护点】
1.一种视频审核的方法，其特征在于，包括：提取待审核视频中的不同类型内容信息；根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量；根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重；根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别。

【技术特征摘要】
1.一种视频审核的方法，其特征在于，包括：提取待审核视频中的不同类型内容信息；根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量；根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重；根据在不同预设审核类别下的比重，确定所述待审核视频的审核类别。2.根据权利要求1所述的方法，其特征在于，根据不同类型内容信息之间的相关性，融合不同类型内容信息的特征向量，得到待审核视频的特征向量，包括：向预先构建的融合学习模型中输入各所述不同类型内容信息，通过所述融合学习模型中不同类型下的学习子模型分别提取所述不同类型内容信息的特征向量；根据不同类型内容信息之间的相关性，通过所述融合学习模型中的融合子模型对不同类型内容信息的特征向量进行融合，得到待审核视频的特征向量。3.根据权利要求2所述的方法，其特征在于，根据所述待审核视频的特征向量，分别得到待审核视频在不同预设审核类别下的比重，包括：根据所述待审核视频的特征向量，通过所述融合子模型中的预设回归函数分别得到待审核视频在不同预设审核类别下的比重。4.根据权利要求2所述的方法，其特征在于，所述融合学习模型通过执行下述操作构建：提取训练样本中不同类型的样本内容信息，所述训练样本为目标审核类别下的历史视频；通过不同类型下的学习子模型分别提取所述样本内容信息的特征向量,并根据各所述样本内容信息之间的相关性，通过融合子模型对各所述样本内容信息的特征向量进行融合，得到训练样本的特征向量；根据所述训练样本的特征向量，通过所述融合子模型中的预设回归函数分别得到训练样本在不同预设审核类别下的比重；根据训练样本的目标审核类别和在不同预设审核类别下的比重，确定对应的分类损失，并将所述分类损失进行反向传播，对各学习子模型和融合子模型进行修正，并继续获取所述目标审核类别下新的训练样本，直至所述目标审核类别下的分类损失低于预设损失阈值；重新获取其他审核类别下的训练样本再次进行训练，直至预设的全部审核类别下的分类损失均低于对应的预设损失阈值，...

【专利技术属性】
技术研发人员：石峰，刘振强，梁柱锦，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东,44