【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种基于图文预训练模型的零样本异常检测方法、装置。
技术介绍
1、样本异常检测是在数据分析过程中非常重要的一步，可以帮助识别出数据集中的异常值，从而确保后续分析的准确性和可靠性。零样本异常检测指的是在不事先访问待检测样本类别中的任何已知样本的前提下，直接对该类物品进行检测。
2、传统的样本异常检测方法通常需要访问若干待检测物品类别中的正常或异常样本以进行模型训练，学习该类物品的正常模式，从而基于模型检测出异常样本，但是这种方法在需要保护数据隐私的场景和新生产线冷启动时却难以奏效。
技术实现思路
1、本专利技术提供一种基于图文预训练模型的零样本异常检测方法，用以解决现有技术中在需要保护数据隐私的场景和新生产线冷启动时现有的样本检测方法难以适用的缺陷，实现了即使在上述场景中也能够精确地匹配到不同样本中的具体异常内容的效果。
2、本专利技术提供一种基于图文预训练模型的零样本异常检测方法，包括如下步骤。
3、获取待检测样本图像，并对所述待检测样本图像进行图像特征提取处理，得到所述待检测样本图像的局部特征和全局特征；
4、调用大语言模型生成针对所述待检测样本图像的正常描述文本和异常描述文本；
5、将所述正常描述文本、所述异常描述文本分别与手工编写的文本模板、自适应学习的文本模板结合，得到结合后的文本，并对结合后的文本进行文本特征提取处理，得到正常文本特征和异常文本特征；
6、基于所述局部
7、基于所述异常分数的最大值、所述全局特征、所述正常文本特征和所述异常文本特征判断所述待检测样本图像中是否存在异常。
8、根据本专利技术提供的一种基于图文预训练模型的零样本异常检测方法，所述将所述正常描述文本、所述异常描述文本分别与手工编写的文本模板、自适应学习的文本模板结合，得到结合后的文本，包括：
9、将所述正常描述文本、所述异常描述文本分别与手工编写的文本模板结合，得到手工编写的正常文本和手工编写的异常文本；
10、将所述正常描述文本、所述异常描述文本分别与自适应学习的文本模板结合，得到自适应学习的正常文本和自适应学习的异常文本；
11、将所述手工编写的正常文本、所述手工编写的异常文本、所述自适应学习的正常文本和所述自适应学习的异常文本组合为所述结合后的文本。
12、根据本专利技术提供的一种基于图文预训练模型的零样本异常检测方法，所述对结合后的文本进行文本特征提取处理，得到正常文本特征和异常文本特征，包括：
13、调用文本编码器对所述结合后的文本进行特征编码处理，得到手工编写的正常文本特征、手工编写的异常文本特征、自适应学习的正常文本特征和所述自适应学习的异常文本特征；
14、对所述手工编写的正常文本特征和所述自适应学习的正常文本特征进行交叉融合处理，得到融合后的正常文本特征；
15、对所述手工编写的异常文本特征和所述自适应学习的异常文本特征进行交叉融合处理，得到融合后的异常文本特征；
16、分别对所述融合后的正常文本特征和所述融合后的异常文本特征进行平均值池化处理，得到所述正常文本特征和所述异常文本特征。
17、根据本专利技术提供的一种基于图文预训练模型的零样本异常检测方法，所述基于所述局部特征、所述正常文本特征和所述异常文本特征进行特征交互处理，得到异常分数图，包括：
18、将所述局部特征输入多尺度可变形卷积层进行特征聚合处理，得到聚合后的局部特征；
19、将所述聚合后的局部特征、所述正常文本特征和所述异常文本特征分别投影至注意力机制的q、k、v空间中，并对q、k、v进行注意力计算处理，得到图文交叉注意力结果；
20、对所述图文交叉注意力结果进行归一化处理，得到归一化后的图文交叉注意力结果；
21、对归一化后的图文交叉注意力结果进行线性分割处理，得到所述异常分数图。
22、根据本专利技术提供的一种基于图文预训练模型的零样本异常检测方法，所述基于所述异常分数的最大值、所述全局特征、所述正常文本特征和所述异常文本特征判断所述待检测样本图像中是否存在异常，包括：
23、将所述正常文本特征和所述异常文本特征进行特征拼接处理，得到拼接特征；
24、计算所述拼接特征和所述全局特征的余弦相似度，得到相似度计算结果；
25、将所述相似度计算结果与常数项的乘积，与所述异常分数的最大值进行求和处理，得到全局异常分数；
26、基于所述全局异常分数判断所述待检测样本图像中是否存在异常。
27、根据本专利技术提供的一种基于图文预训练模型的零样本异常检测方法，所述基于所述全局异常分数判断所述待检测样本图像中是否存在异常，包括：
28、当所述全局异常分数大于或等于分数阈值时，确定所述待检测样本图像中存在异常；
29、所述方法还包括：
30、将所述待检测样本图像中的每个区域分别与所述异常描述文本进行二分匹配处理，得到所述每个区域对应的异常描述文本。
31、根据本专利技术提供的一种基于图文预训练模型的零样本异常检测方法，所述基于所述全局异常分数判断所述待检测样本图像中是否存在异常，包括：
32、当所述全局异常分数小于分数阈值时，确定所述待检测样本图像中不存在异常。
33、本专利技术还提供一种基于图文预训练模型的零样本异常检测装置，包括如下模块：特征提取模块，用于获取待检测样本图像，并对所述待检测样本图像进行图像特征提取处理，得到所述待检测样本图像的局部特征和全局特征；
34、文本生成模块，用于调用大语言模型生成针对所述待检测样本图像的正常描述文本和异常描述文本；
35、文本结合模块，用于将所述正常描述文本、所述异常描述文本分别与手工编写的文本模板、自适应学习的文本模板结合，得到结合后的文本，并对结合后的文本进行文本特征提取处理，得到正常文本特征和异常文本特征；
36、特征交互模块，用于基于所述局部特征、所述正常文本特征和所述异常文本特征进行特征交互处理，得到异常分数图，其中，所述异常分数图用于表征所述待检测样本图像各个局部位置的异常分数；
37、判断模块，用于基于所述异常分数的最大值、所述全局特征、所述正常文本特征和所述异常文本特征判断所述待检测样本图像中是否存在异常。
38、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于图文预训练模型的零样本异常检测方法。
39、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所本文档来自技高网...
【技术保护点】
1.一种基于图文预训练模型的零样本异常检测方法，其特征在于，包括：
2.根据权利要求1所述的基于图文预训练模型的零样本异常检测方法，其特征在于，所述将所述正常描述文本、所述异常描述文本分别与手工编写的文本模板、自适应学习的文本模板结合，得到结合后的文本，包括：
3.根据权利要求2所述的基于图文预训练模型的零样本异常检测方法，其特征在于，所述对结合后的文本进行文本特征提取处理，得到正常文本特征和异常文本特征，包括：
4.根据权利要求1所述的基于图文预训练模型的零样本异常检测方法，其特征在于，所述基于所述局部特征、所述正常文本特征和所述异常文本特征进行特征交互处理，得到异常分数图，包括：
5.根据权利要求1所述的基于图文预训练模型的零样本异常检测方法，其特征在于，所述基于所述异常分数的最大值、所述全局特征、所述正常文本特征和所述异常文本特征判断所述待检测样本图像中是否存在异常，包括：
6.根据权利要求5所述的基于图文预训练模型的零样本异常检测方法，其特征在于，所述基于所述全局异常分数判断所述待检测样本图像中是否存在异常，包括
7.根据权利要求5所述的基于图文预训练模型的零样本异常检测方法，其特征在于，所述基于所述全局异常分数判断所述待检测样本图像中是否存在异常，包括：
8.一种基于图文预训练模型的零样本异常检测装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于图文预训练模型的零样本异常检测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于图文预训练模型的零样本异常检测方法。
...【技术特征摘要】
1.一种基于图文预训练模型的零样本异常检测方法，其特征在于，包括：
2.根据权利要求1所述的基于图文预训练模型的零样本异常检测方法，其特征在于，所述将所述正常描述文本、所述异常描述文本分别与手工编写的文本模板、自适应学习的文本模板结合，得到结合后的文本，包括：
3.根据权利要求2所述的基于图文预训练模型的零样本异常检测方法，其特征在于，所述对结合后的文本进行文本特征提取处理，得到正常文本特征和异常文本特征，包括：
4.根据权利要求1所述的基于图文预训练模型的零样本异常检测方法，其特征在于，所述基于所述局部特征、所述正常文本特征和所述异常文本特征进行特征交互处理，得到异常分数图，包括：
5.根据权利要求1所述的基于图文预训练模型的零样本异常检测方法，其特征在于，所述基于所述异常分数的最大值、所述全局特征、所述正常文本特征和所述异常文本特征判断所述待检测样本图...
【专利技术属性】
技术研发人员：朱贵波，朱炳科，古兆鹏，王金桥，陈盈盈，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。