本发明专利技术实施例提出一种内容风控方法、装置、电子设备及计算机可读存储介质，属于信息安全领域，方法包括：基于检测内容的内容类型和预设模型，对检测内容进行违规检测，得到检测结果，当检测内容的违规置信度超过设定阈值时，为检测内容配置对应的建议标签，将检测内容、建议标签及检测结果打包发送至审核端，并接收审核端返回的判定结果，若判定结果表征确认违规，则将检测内容的发布建议配置为违规拦截，实现对机器审核结果为疑似违规的检测内容快速进行人工复检，能够极大地提高内容审核的准确度。准确度。准确度。
【技术实现步骤摘要】
内容风控方法、装置、电子设备及计算机可读存储介质
[0001]本专利技术涉及信息安全领域，具体而言，涉及一种内容风控方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]随着互联网技术和计算机技术的发展，社交平台、知识付费平台和信息平台等互联网平台受到人们的欢迎，成为人们学习、社交和娱乐的重要网络工具。同时，互联网平台上的图片、文字、语音、视频和文件等信息的合规和健康越发受到重视。
[0003]内容审核是保证互联网平台的信息合规和健康的重要手段，内容审核的方法包括人工审核和机器审核，人工审核的方式时效性差，而机器审核的方式存在审核准确度差的问题。
技术实现思路
[0004]有鉴于此，本专利技术的目的在于提供一种内容风控方法、装置、电子设备及计算机可读存储介质，其能够改善目前的机器审核的方式的审核准确度差的问题。
[0005]为了实现上述目的，本专利技术实施例采用的技术方案如下：
[0006]第一方面，本专利技术实施例提供一种内容风控方法，所述方法包括：
[0007]获取检测内容以及所述检测内容的内容类型；
[0008]按照所述内容类型和预设模型，对所述检测内容进行违规检测，得到检测结果，所述检测结果包括违规标签，每个违规标签所对应的违规坐标点，以及违规置信度；
[0009]当所述违规置信度超过设定阈值时，为所述检测内容配置对应的建议标签，并将所述检测内容、所述建议标签及所述检测结果打包发送至审核端；
[0010]接收所述审核端返回的判定结果，若所述判定结果表征确认违规，则将所述检测内容的发布建议配置为违规拦截。
[0011]进一步地，所述按照所述内容类型和预设模型，对所述检测内容进行违规检测，得到检测结果的步骤，包括：
[0012]按照所述内容类型所对应的检测机制，从预设模型中调取预处理模型及目标检测模型；
[0013]利用所述预处理模型对所述检测内容进行处理，得到预处理数据；
[0014]利用目标检测模型，对所述预处理数据和/或所述检测内容进行违规检测，得到检测结果。
[0015]进一步地，当所述内容类型为图片时，所述预处理模型包括OCR检测模型，所述目标检测模型包括图片检测模型和文字检测模型；
[0016]所述利用所述预处理模型对所述检测内容进行处理，得到预处理数据的步骤，包括：
[0017]利用所述OCR检测模型对所述检测内容进行识别，得到目标文本；
[0018]所述利用目标检测模型，对所述预处理数据和/或所述检测内容进行违规检测，得到检测结果的步骤，包括：
[0019]利用所述图片检测模型对所述检测内容进行违规检测，得到图片检测结果；
[0020]利用所述文字检测模型对所述目标文本进行违规检测，得到文字检测结果。
[0021]进一步地，当所述内容类型为音频时，所述预处理模型包括语言识别模型，所述目标检测模型包括文字检测模型；
[0022]所述利用所述预处理模型对所述检测内容进行处理，得到预处理数据的步骤，包括：
[0023]利用所述语言识别模型对所述检测内容进行识别，得到目标文本；
[0024]所述利用目标检测模型，对所述预处理数据和/或所述检测内容进行违规检测，得到检测结果的步骤，包括：
[0025]利用所述文字检测模型对所述目标文本进行违规检测，得到文字检测结果。
[0026]进一步地，当所述内容类型为视频时，所述预处理模型包括OCR检测模型和语言识别模型，所述目标检测模型包括图片检测模型和文字检测模型；
[0027]所述利用所述预处理模型对所述检测内容进行处理，得到预处理数据的步骤，包括：
[0028]对所述检测内容进行语音提取，得到语音文件，对所述检测内容进行关键帧抽取，得到图片文件；
[0029]利用所述语言识别模型对所述语音文件进行识别，得到第一目标文本；
[0030]利用所述OCR检测模型对所述图片文件进行识别，得到第二目标文本；
[0031]所述利用目标检测模型，对所述预处理数据和/或所述检测内容进行违规检测，得到检测结果的步骤，包括：
[0032]利用所述图片检测模型对所述图片文件进行违规检测，得到图片检测结果；
[0033]利用所述文字检测模型分别对所述第一目标文本和所述第二目标文本进行违规检测，得到文字检测结果。
[0034]进一步地，所述方法还包括：
[0035]每完成一个检测内容的检测时，根据所述判定结果更新每个所述预设模型的准确率；
[0036]当任一所述预设模型的准确率低于预设准确率时，利用预设的样本集以及所述预设模型检测过的检测内容，对所述预设模型进行训练，得到成熟的预设模型。
[0037]进一步地，所述文字检测模型和所述图片检测模型均包括多个检测模型组，每个所述检测模型组对应一个违规类型；
[0038]每个所述检测模型组，用于检测所述检测内容或所述预处理数据是否存在所对应的违规类型的违规信息。
[0039]第二方面，本专利技术实施例提供一种内容风控装置，所述内容风控装置包括获取模块、违规检测模块和结果判定模块；
[0040]所述获取模块，用于获取检测内容以及所述检测内容的内容类型；
[0041]所述违规检测模块，用于按照所述内容类型和预设模型，对所述检测内容进行违规检测，得到检测结果，所述检测结果包括违规标签，每个违规标签所对应的违规坐标点，
以及违规置信度；
[0042]所述结果判定模块，用于当所述违规置信度超过设定阈值时，为所述检测内容配置对应的建议标签，并将所述检测内容、所述建议标签及所述检测结果打包发送至审核端；
[0043]所述结果判定模块，还用于接收所述审核端返回的判定结果，若所述判定结果表征确认违规，则将所述检测内容的发布建议配置为违规拦截。
[0044]第三方面，本专利技术实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现如第一方面所述的内容风控方法。
[0045]第四方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机程序被处理器执行时实现如第一方面所述的内容风控方法。
[0046]本专利技术实施例提供的内容风控方法、装置、电子设备及计算机可读存储介质，获取到检测内容后，基于检测内容的内容类型和预设模型，对检测内容进行违规检测得到检测结果，并在检测结果中的违规置信度设定阈值时，为检测内容配置建议标签，并将检测内容、建议标签及检测结果打包发送至审核端，进行人工审核，在审核端返回的判定结果表征确认违规时，将检测内容的发布建议配置为违规拦截，实现审核端根据检测结果快速对疑似违规的检测内容进行人工复检，极大地提高内容审核的准确度。
[0047]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明...
【技术保护点】
【技术特征摘要】
1.一种内容风控方法，其特征在于，所述方法包括：获取检测内容以及所述检测内容的内容类型；基于所述内容类型和预设模型，对所述检测内容进行违规检测，得到检测结果，所述检测结果包括违规标签，每个违规标签所对应的违规坐标点，以及违规置信度；当所述违规置信度超过设定阈值时，为所述检测内容配置对应的建议标签，并将所述检测内容、所述建议标签及所述检测结果打包发送至审核端；接收所述审核端返回的判定结果，若所述判定结果表征确认违规，则将所述检测内容的发布建议配置为违规拦截。2.根据权利要求1所述的内容风控方法，其特征在于，所述基于所述内容类型和预设模型，对所述检测内容进行违规检测，得到检测结果的步骤，包括：按照所述内容类型所对应的检测机制，从预设模型中调取预处理模型及目标检测模型；利用所述预处理模型对所述检测内容进行处理，得到预处理数据；利用目标检测模型，对所述预处理数据和/或所述检测内容进行违规检测，得到检测结果。3.根据权利要求2所述的内容风控方法，其特征在于，当所述内容类型为图片时，所述预处理模型包括OCR检测模型，所述目标检测模型包括图片检测模型和文字检测模型；所述利用所述预处理模型对所述检测内容进行处理，得到预处理数据的步骤，包括：利用所述OCR检测模型对所述检测内容进行识别，得到目标文本；所述利用目标检测模型，对所述预处理数据和/或所述检测内容进行违规检测，得到检测结果的步骤，包括：利用所述图片检测模型对所述检测内容进行违规检测，得到图片检测结果；利用所述文字检测模型对所述目标文本进行违规检测，得到文字检测结果。4.根据权利要求2所述的内容风控方法，其特征在于，当所述内容类型为音频时，所述预处理模型包括语言识别模型，所述目标检测模型包括文字检测模型；所述利用所述预处理模型对所述检测内容进行处理，得到预处理数据的步骤，包括：利用所述语言识别模型对所述检测内容进行识别，得到目标文本；所述利用目标检测模型，对所述预处理数据和/或所述检测内容进行违规检测，得到检测结果的步骤，包括：利用所述文字检测模型对所述目标文本进行违规检测，得到文字检测结果。5.根据权利要求2所述的内容风控方法，其特征在于，当所述内容类型为视频时，所述预处理模型包括OCR检测模型和语言识别模型，所述目标检测模型包括图片检测模型和文字检测模型；所述利用所述预处理模型对所述检测内...
【专利技术属性】
技术研发人员：王冉明，
申请(专利权)人：成都知道创宇信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。