【技术实现步骤摘要】
本专利技术属于图像处理、模式识别，特别涉及一种用于施工现场非法人员检测的方法。
技术介绍
1、一种用于施工单位非法人员检测的方法旨在检测施工现场的涉密区域、危险区域等是否有非法人员出现。施工单位非法人员检测是一项重要的任务，通过有效的非法人员检测方法，可以降低不合格工人进入工地从而减少事故风险，确保工人的健康和安全，以确保建筑工地的安全和合法性。现有的人员检测技术主要为传统的身份验证方法，包括查看身份证件、检查工作签证等；生物识别技术如指纹识别、虹膜扫描和访客登记系统等，这些方法大多数为主动上报式，容易伪造和欺诈且可能涉及隐私问题。
2、近年来，基于可见光图像的分类算法得到了广泛研究，并取得了较高的分类性能。因此本专利技术提出了通过施工现场的人物图像进行非法人员检测，然而，可见光图像存在一定的局限性，其在光照环境差的情况下难以有效地捕获场景信息，使得基于可见光图像的非法人员检测别算法无法准确运行，继而无法满足施工单位非法人员检测的实际需求。相比于可见光图像，红外图像在光照环境差的情况下依然能够较好地捕获场景的相关信息，能够弥补可见光图像的缺点。因此本专利技术提出了一种双模态即可见光-红外跨模态非法人员检测技术，可用于全天候的非法人员检测，弥补了夜晚可见光照片不清晰的缺点。
3、可见光-红外非法人员检测需要解决由输入图像成像原理不同导致的模态差异问题。目前主流的用于解决模态差异的方法主要是通过提取图像中人员的模态共有特征来解决该问题。然而，跨模态变化不仅导致可见光特征和红外特征之间具有不同的特征分布，还会干
技术实现思路
1、为了克服上述现有技术的缺点，本专利技术的目的在于提供一种用于施工现场非法人员检测的方法，以构建模型的知识与经验，模仿人类视觉系统的匹配过程从模型的知识与经验出推理出一些人员相关的特征，从而增强人员特征的辨别力，进一步提高非法人员检测的精度。
2、为了实现上述目的，本专利技术采用的技术方案是：
3、一种用于施工现场非法人员检测的方法，首先，利用基于renset50的子网络从输入图像中提取人员的模态共有特征。其次，利用基于知识与经验的transformer中的知识模块对从训练集中提取的人员模态共有特征进行存储获取模型的记忆特征，并利用堆叠的transformer编码层挖掘记忆特征之间的关联，以构建模型的知识与经验。然后，基于知识与经验的transformer中的推理模块利用非法人员识别子网络提取的模态共有特征和知识模块构建的模型知识与经验推理出一些人员相关的特征。最后，融合非法人员识别子网络提取的模态共有特征和推理出的人员特征，以获得更具辨别力的人员特征，提高跨模态人员识别算法的性能。
4、在一个实施例中，所述非法人员识别子网络实现，包括：两个结构一致且参数不共享的单模态特征提取网络和一个模态共享的模态共有特征提取网络。所述基于知识与经验的transformer包含基于transformer的知识模块和基于cross-transformer的推理模块。
5、本专利技术一种用于施工现场非法人员检测的方法，包括：
6、(1)收集可见光人员图像作为可见光模态训练图像，收集红外人员图像作为红外模态训练图像；
7、(2)构建跨模态人员非法检测子网络模型，该模型从输入的可见光和红外图像中提取人员的模态共有特征用于人员非法检测；
8、(3)构建基于知识与经验的transformer，模仿人类的视觉机制，得到关于该人员的模态共有特征，从而提高跨模态人员非法检测的性能；
9、(4)验证所提方法的有效性。
10、对可见光和红外图片做相同的预处理操作：将输入图像每边添加宽度为l，值为0的像素点，并使用随机裁剪的方式得到相同的图片尺寸，之后随机水平翻转图片。
11、所述预处理操作还包括：随机擦除处理和对可见光图像做灰度化处理。
12、所述跨模态人员非法检测子网络是一种双流网络，采用resnet50结构搭建，该网络能够分别从可见光图像和红外图像中提取人员的模态共有特征。
13、所述的跨模态人员非法检测子网络在分类损失和度量损失的约束下进行学习，所述的分类损失指的是多分类交叉熵损失函数，所述的度量损失是指基于中心的三元组损失函数；
14、分类损失函数表示为：
15、
16、其中，y表示标签，p表示预测值，n表示样本总数，c表示数据集中人员身份的总数，也就是分类的类别数；
17、度量损失表示为：
18、
19、其中，m1和m2表示可见光模态和红外模态，表示可见光模态的特征向量，表示红外模态的特征向量，l表示一批图像中训练集人员身份数，j表示每个人员的可见光图像数量和红外图像数量，分别表示身份为l的人员特征的可见光类中心和红外类中心，ρ为阈值。
20、所述基于知识与经验的transformer，该网络首先使用知识模块将训练集的人员特征转化成模型的知识与经验，然后，根据跨模态人员非法检测子网络提取的人员特征和模型的知识与经验，使用推理模块进一步推理出更多人员相关的模态共有特征，所述知识模块首先存储训练集中的人员特征作为记忆特征，然后通过挖掘人员特征之间的关联性获取模型的知识与经验。
21、所述记忆特征存储了训练集中每个人员的特征中心，该存储过程是一种通过损失函数约束的学习过程，所用损失函数包括特征聚合损失函数和特征中心聚合损失函数，特征聚合损失函数旨在缩减记忆特征与从每张训练集图像中提取的人员特征之间的距离；特征中心聚合损失函数旨在缩减可见光模态下和红外模态下某个人员的模态共有特征中心与记忆特征之间距离；
22、特征聚合损失函数表示为：
23、
24、其中，fs,r,k,n和fs,i,k,n分别表示跨模态人员非法检测子网络提取的第n个人员的第k张可见光图像模态共有特征和红外图像模态共有特征，mn表示第n个人员的记忆特征；
25、特征中心聚合损失函数表示为：
26、
27、其中，和分别表示第n个人员的可见光图像的模态共有特征中心和红外图像的模态共有特征中心。
28、所述知识模块使用了堆叠的transformer编码层以挖掘记忆特征之间的联系，构建模型的知识与经验。
29、所述推理模块基于cross-transformer，计算跨模态人员非法检测子网络提取的模态共有特征和知识模块构建的模型知识与经验之间的相关矩阵，从模型的知识与经验中推理出更多人员相关的特征，所述基于知识与经验的transformer同样在分类损失和度量损失的约束下进行学习。
30、采用公开的数据集对训练好的跨模态人员非法检测网络进行测试并得到相应结果。
31、与现有技术相比，本专利技术的有益效果是：
32、本专利技术提出了一种用于施本文档来自技高网...
【技术保护点】
1.一种用于施工现场非法人员检测的方法，其特征在于，包括：
2.根据权利要求1所述一种用于施工现场非法人员检测的方法，其特征在于，对可见光和红外图片做相同的预处理操作：将输入图像每边添加宽度为l，值为0的像素点，并使用随机裁剪的方式得到相同的图片尺寸，之后随机水平翻转图片。
3.根据权利要求2所述一种用于施工现场非法人员检测的方法，其特征在于，所述预处理操作还包括：随机擦除处理和对可见光图像做灰度化处理。
4.根据权利要求1所述一种用于施工现场非法人员检测的方法，其特征在于，所述跨模态人员非法检测子网络是一种双流网络，采用ResNet50结构搭建，该网络能够分别从可见光图像和红外图像中提取人员的模态共有特征。
5.根据权利要求4所述一种用于施工现场非法人员检测的方法，其特征在于，所述的跨模态人员非法检测子网络在分类损失和度量损失的约束下进行学习，所述的分类损失指的是多分类交叉熵损失函数，所述的度量损失是指基于中心的三元组损失函数；
6.根据权利要求1所述一种用于施工现场非法人员检测的方法，其特征在于，所述基于知识与经验的
7.根据权利要求6所述一种用于施工现场非法人员检测的方法，其特征在于，所述记忆特征存储了训练集中每个人员的特征中心，该存储过程是一种通过损失函数约束的学习过程，所用损失函数包括特征聚合损失函数和特征中心聚合损失函数，特征聚合损失函数旨在缩减记忆特征与从每张训练集图像中提取的人员特征之间的距离；特征中心聚合损失函数旨在缩减可见光模态下和红外模态下某个人员的模态共有特征中心与记忆特征之间距离；
8.根据权利要求6所述一种用于施工现场非法人员检测的方法，其特征在于，所述知识模块使用了堆叠的Transformer编码层以挖掘记忆特征之间的联系，构建模型的知识与经验。
9.根据权利要求6所述一种用于施工现场非法人员检测的方法，其特征在于，所述推理模块基于Cross-Transformer，计算跨模态人员非法检测子网络提取的模态共有特征和知识模块构建的模型知识与经验之间的相关矩阵，从模型的知识与经验中推理出更多人员相关的特征，所述基于知识与经验的Transformer同样在分类损失和度量损失的约束下进行学习。
10.根据权利要求1所述一种用于施工现场非法人员检测的方法，其特征在于，采用公开的数据集对训练好的跨模态人员非法检测网络进行测试并得到相应结果。
...【技术特征摘要】
1.一种用于施工现场非法人员检测的方法，其特征在于，包括：
2.根据权利要求1所述一种用于施工现场非法人员检测的方法，其特征在于，对可见光和红外图片做相同的预处理操作：将输入图像每边添加宽度为l，值为0的像素点，并使用随机裁剪的方式得到相同的图片尺寸，之后随机水平翻转图片。
3.根据权利要求2所述一种用于施工现场非法人员检测的方法，其特征在于，所述预处理操作还包括：随机擦除处理和对可见光图像做灰度化处理。
4.根据权利要求1所述一种用于施工现场非法人员检测的方法，其特征在于，所述跨模态人员非法检测子网络是一种双流网络，采用resnet50结构搭建，该网络能够分别从可见光图像和红外图像中提取人员的模态共有特征。
5.根据权利要求4所述一种用于施工现场非法人员检测的方法，其特征在于，所述的跨模态人员非法检测子网络在分类损失和度量损失的约束下进行学习，所述的分类损失指的是多分类交叉熵损失函数，所述的度量损失是指基于中心的三元组损失函数；
6.根据权利要求1所述一种用于施工现场非法人员检测的方法，其特征在于，所述基于知识与经验的transformer，该网络首先使用知识模块将训练集的人员特征转化成模型的知识与经验，然后，根据跨模态人员非法检测子网络提取的人员特征和模型的知识与经验，使用推理模块进一步推理出更多人员相关的模态共有特征，所述知...
【专利技术属性】
技术研发人员：邢百超，晋子牛，张强，张振伟，金国强，
申请(专利权)人：西安西热控制技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。