【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、攻击者有时混淆发行物内的恶意内容，使得主机在发布发行物时不知不觉地发布恶意内容。虽然过滤器可以用于拒绝恶意的内容，但是混淆的内容可以绕过过滤器，使得恶意内容不被检测到，并且因此可以由主机不知不觉地发布。人工审阅在检测混淆的内容方面可能更有效，但是需要手动审阅内容以确定混淆的内容是否适合于发布是繁琐、昂贵且耗时的。
技术实现思路
1、本公开总体上涉及训练和执行机器学习模型以识别已经被混淆的策略违反的内容。可以使用混淆的训练图像来训练模型。训练图像可以包括恶意内容或违反主机的一个或多个策略的任何其他内容。在训练模型之前，混淆的训练图像可以与一个或多个标签相关联。这样的标签的示例可以包括指示策略批准或策略违反的策略标签、指示应用于训练图像的混淆类型的混淆标签等。混淆的训练图像和相关联的标签可以用于训练模型。在训练期间，模型的输出可以是关于混淆的输入图像是违反主机的内容策略还是被批准用于发布的内容的策略预测。一旦模型已经被训练，就可以在检测策略违反的内容中实施该模型。例如，在实施期间，模型可以接收内容作为输入并且提供针对内容的策略预测作为输出。主机可以使用由模型提供的策略预测来确定是否发布内容。
2、本技术的一个方面涉及一种方法，包括：由一个或多个处理器接收训练图像作为到机器学习模型的输入，其中训练图像中的至少一个是混淆的训练图像，由一个或多个处理器将第一标签集合中的至少一个标签与相应的训练图像相关联，其中第一标签集合包括与用于批准内容以供发布的策略相关的策略标
3、该方法还可以包括由一个或多个处理器将第二标签集合中的至少一个标签与相应的训练图像相关联，其中第二标签集合包括混淆标签。混淆标签可以识别多个混淆类型中的混淆类型。
4、该方法还可以包括执行机器学习模型以识别违反内容。执行可以包括接收一个或多个图像作为进入到机器学习模型的输入，以及使用机器学习模型确定一个或多个图像中的每一个的策略预测。针对一个或多个图像中的每个图像的策略预测可以包括违反或批准的指示。当策略预测包括违反指示时，该方法还可以包括由一个或多个处理器拒绝相应图像，使得不提供相应图像用于输出。当策略预测包括批准指示时，该方法还可以包括由一个或多个处理器提供相应图像用于输出。
5、该方法还可以包括执行机器学习模型以识别违反的内容，该执行包括检测一个或多个图像是一个或多个混淆的图像。该方法还可以包括检测一个或多个混淆的图像的目标概念。该方法还可以包括将检测到的目标概念与主机的目标概念进行比较。
6、本技术的另一方面涉及一种系统，包括一个或多个处理器。一个或多个处理器可以被配置为接收训练图像作为到机器学习模型的输入，其中训练图像中的至少一个是混淆的训练图像，将第一标签集合中的至少一个标签与相应的训练图像相关联，其中第一标签集合包括与用于批准内容以供发布的策略相关的策略标签，以及基于训练图像和第一标签集合中的相关联的至少一个标签来训练机器学习模型。机器学习模型可以输出策略预测，并且策略预测可以包括基于相应策略标签的违反或批准的指示。
7、本技术的又一方面涉及一种存储指令的计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器接收训练图像作为到机器学习模型的输入，其中训练图像中的至少一个训练图像是混淆的训练图像，将第一标签集合中的至少一个标签与相应的训练图像相关联，其中第一标签集合包括与用于批准内容以供发布的策略相关的策略标签，以及基于训练图像和第一标签集合中的相关联的至少一个标签来训练机器学习模型。机器学习模型可以输出策略预测，并且策略预测可以包括基于相应策略标签的违反或批准的指示。
本文档来自技高网...【技术保护点】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中，所述策略标签指示策略违反或策略批准。
3.根据权利要求1所述的方法，还包括：由所述一个或多个处理器将第二标签集合中的至少一个标签与相应的训练图像相关联，其中，所述第二标签集合包括混淆标签。
4.根据权利要求3所述的方法，其中，所述混淆标签识别多个混淆类型中的混淆类型。
5.根据权利要求1所述的方法，还包括执行所述机器学习模型以识别违规内容，所述执行包括：
6.根据权利要求5所述的方法，其中，针对所述一个或多个图像中的每个图像的策略预测包括违反或批准的指示。
7.根据权利要求6所述的方法，其中，当所述策略预测包括所述违反指示时，所述方法还包括：由所述一个或多个处理器拒绝所述相应图像，使得不提供所述相应图像用于输出。
8.根据权利要求6所述的方法，其中，当所述策略预测包括所述批准指示时，所述方法还包括由所述一个或多个处理器提供所述相应图像用于输出。
9.根据权利要求1所述的方法，还执行所述机器学习模型以识别违规内容，所述执行包括检测
10.根据权利要求9所述的方法，还包括检测所述一个或多个混淆的图像的目标概念。
11.根据权利要求10所述的方法，还包括将检测到的目标概念与主机的目标概念进行比较。
12.一种系统，包括：
13.根据权利要求12所述的系统，其中，所述策略标签指示策略违反或策略批准。
14.根据权利要求12所述的系统，其中，所述一个或多个处理器还被配置为将第二标签集合中的至少一个标签与相应的训练图像相关联，其中，所述第二标签集合包括混淆标签。
15.根据权利要求14所述的系统，其中，所述混淆标签识别多个混淆类型中的混淆类型。
16.根据权利要求15所述的系统，其中，所述一个或多个处理器还被配置为执行所述机器学习模型以识别违规内容，所述执行包括：
17.根据权利要求16所述的系统，其中，针对所述一个或多个图像中的每个图像的策略预测包括违反或批准的指示。
18.根据权利要求17所述的系统，其中，当所述策略预测包括所述违反指示时，所述一个或多个处理器还被配置为拒绝所述相应图像，使得不提供所述相应图像用于输出。
19.根据权利要求17所述的系统，其中，当所述策略预测包括所述批准指示时，所述一个或多个处理器还被配置为提供所述相应图像用于输出。
20.一种存储指令的计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器：
...【技术特征摘要】
【国外来华专利技术】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中，所述策略标签指示策略违反或策略批准。
3.根据权利要求1所述的方法，还包括：由所述一个或多个处理器将第二标签集合中的至少一个标签与相应的训练图像相关联，其中，所述第二标签集合包括混淆标签。
4.根据权利要求3所述的方法，其中，所述混淆标签识别多个混淆类型中的混淆类型。
5.根据权利要求1所述的方法，还包括执行所述机器学习模型以识别违规内容，所述执行包括：
6.根据权利要求5所述的方法，其中，针对所述一个或多个图像中的每个图像的策略预测包括违反或批准的指示。
7.根据权利要求6所述的方法，其中，当所述策略预测包括所述违反指示时，所述方法还包括：由所述一个或多个处理器拒绝所述相应图像，使得不提供所述相应图像用于输出。
8.根据权利要求6所述的方法，其中，当所述策略预测包括所述批准指示时，所述方法还包括由所述一个或多个处理器提供所述相应图像用于输出。
9.根据权利要求1所述的方法，还执行所述机器学习模型以识别违规内容，所述执行包括检测所述一个或多个图像是一个或多个混淆的图像。
10.根据权利要求9所述的方法，还包括检测所述一个或多个混淆的图像的目标概念。
11....
【专利技术属性】
技术研发人员：乔伟，CT·鲁，刘银涛，A·福克斯曼，M·N·泰克，D·权，F·N·斯蒂姆伯格，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。