【技术实现步骤摘要】
本专利技术属于计算机视觉领域，具体涉及一种基于对比学习的无监督目标关键点检测方法。
技术介绍
1、目标关键点检测是计算机视觉中的一项基础任务，广泛应用于动作识别、三维重建、面部识别等多种场景。传统关键点检测方法多依赖于大量的人工标注数据进行监督学习。然而，这类方法存在数据获取成本高、标注质量不一等问题。因此，探索一种高效的无监督关键点检测方法对于降低成本、提高系统的可扩展性和适用性具有重要意义。
2、目前无监督关键点检测方法存在一些局限。首先，这种方法在训练过程中只利用一次重建损失，导致模型随着优化过程过度专注于图像重建而非关键点检测。这会使图像编码器主要关注重建的整体特征，忽略了关键点的具体特征，从而缺乏关键点之间的语义联系。此外，虽然大多数现有方法采用卷积神经网络来预测基于图像姿态的关键点，但这些方法通常无法有效建立关键点之间长距离的联系，这对于准确预测关键点的相对位置非常关键。
技术实现思路
1、本专利技术提出了一种基于对比学习的无监督目标关键点检测方法，该方法利用深度学习中的自注意力机制和对比学习策略，有效地解决了传统无监督关键点检测中的难题，即在完全无需人工标注的情况下，自动地从图像中识别并优化目标关键点的检测；并且建立关键点之间长距离的联系以及关注关键点之间的语义一致性。这不仅降低了对标注数据的依赖，还提高了关键点检测的准确性以及模型对新场景的适应性和鲁棒性，为关键点检测技术的发展开辟了新的可能性。
2、一种基于对比学习的无监督目标关键点检测方法
3、s1. 获取样本数据集，其中包括待检测的图像以及全部或者少量标注文件，标注文件中是各图像中目标的关键点位置信息；
4、s2. 对数据集中的所有图像进行数据增强，得到包含增强图像的图像对，图像对中的两张图像具有相同的外观和不同的姿态；
5、s3. 构建基于对比学习关键点检测模型，该模型由基于图像重建的关键点预测模块和基于对比孪生网络的关键点语义约束模块构成；
6、s4. 将准备好的包含待检测目标的图像对作为模型输入，输入图像对包含了原图像和增强图像，利用构建好的模型对输入图像进行目标关键点检测；
7、s5. 利用基于图像重建的关键点预测模块进行目标关键点的初步预测，
8、s6. 利用基于对比孪生网络的关键点语义约束模块对初步预测的关键点进行语义约束；
9、s7. 利用构建完成的训练样本数据集按照上述步骤训练对比学习关键点检测模型，在训练过程中，当模型优化次数达到预设的预测值时，停止训练，并保存训练好的权重；随后，将训练好的权重加载到模型中，以便获取最终检测的目标关键点位置。
10、本专利技术的优点和积极效果：
11、（1）本专利技术能够在无需大量人工标注的数据支持下，准确地识别并定位目标的关键点。这种方法通过对图像特征的深层次分析和语义约束的强化，显著提高了关键点检测的精度和可靠性。本专利技术采用无监督学习方法，减少了对标注数据的依赖，使得模型更具普适性和应用的灵活性。
12、（2）增强模型的泛化能力：通过对比学习和自注意力机制的结合使用，本专利技术的方法能够有效处理图像的姿态变化和外观变异，从而增强了模型在不同环境和不同目标上的泛化能力。这使得模型能够适应更广泛的应用场景，如动态视频监控、多样化人脸识别等。
13、（3）本专利技术的模型结构优化了计算流程，特别是在使用全局自注意力机制transformer和对比孪生网络进行特征提取和语义约束的过程中，有效地减少了不必要的计算开销。这种设计使得模型即便在计算资源受限的设备上也能高效运行。
本文档来自技高网...【技术保护点】
1.一种基于对比学习的无监督目标关键点检测方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的基于对比学习的无监督目标关键点检测方法，其特征在于，
3.如权利要求2所述的基于对比学习的无监督目标关键点检测方法，其特征在于，S6具体为：
4.如权利要求3所述的基于对比学习的无监督目标关键点检测方法，其特征在于，步骤52和步骤61中的几何特征编码器结构由卷积上下采样叠加Transformer组成，另外采用对特征图进行行列方向的池化减少模型计算量。
5.如权利要求1所述的基于对比学习的无监督目标关键点检测方法，其特征在于，步骤S1中所述的目标对象是人脸、人体、猫头、飞机各任意目标；训练数据集采用公开数据集作为训练集和测试集，包括CelebA、Cat Heads和BBCpose。
6.如权利要求1所述的基于对比学习的无监督目标关键点检测方法，其特征在于，步骤S2中的图像增强方法为TPS变换或者仿射变换。
7.如权利要求2所述的基于对比学习的无监督目标关键点检测方法，其特征在于，步骤S51中选用Unet作为图
8.如权利要求2所述的基于对比学习的无监督目标关键点检测方法，其特征在于，步骤S52中选用Unet卷积神经网络结合Transformer作为图像的几何特征编码器，Unet卷积神经网络用于提取图像的局部特征，而全局自注意力机制用于提取图像的整体特征。
9.如权利要求2所述的基于对比学习的无监督目标关键点检测方法，其特征在于，步骤S53中选用SPADE网络作为图像解码器，或者选用其他深度神经网络作为图像解码器。
10.如权利要求2所述的基于对比学习的无监督目标关键点检测方法，其特征在于，步骤S54所述的均方误差是计算原图像和目标图像之间逐像素值之间的差异。
11.如权利要求3所述的基于对比学习的无监督目标关键点检测方法，其特征在于，步骤S61中的多层感知机由全连接层、批归一化层和非线性映射层组成。
12.如权利要求3所述的基于对比学习的无监督目标关键点检测方法，其特征在于，对步骤S61中第二个分支进行停止梯度反传操作，防止模型崩溃。
13.如权利要求3所述的基于对比学习的无监督目标关键点检测方法，其特征在于，步骤S63中通过最小化两类语义特征向量的余弦相似度，给初步检测的关键点增加语义约束。
14.如权利要求3所述的基于对比学习的无监督目标关键点检测方法，其特征在于，在步骤S7中，对模型迭代优化150次。
...【技术特征摘要】
1.一种基于对比学习的无监督目标关键点检测方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的基于对比学习的无监督目标关键点检测方法，其特征在于，
3.如权利要求2所述的基于对比学习的无监督目标关键点检测方法，其特征在于，s6具体为：
4.如权利要求3所述的基于对比学习的无监督目标关键点检测方法，其特征在于，步骤52和步骤61中的几何特征编码器结构由卷积上下采样叠加transformer组成，另外采用对特征图进行行列方向的池化减少模型计算量。
5.如权利要求1所述的基于对比学习的无监督目标关键点检测方法，其特征在于，步骤s1中所述的目标对象是人脸、人体、猫头、飞机各任意目标；训练数据集采用公开数据集作为训练集和测试集，包括celeba、cat heads和bbcpose。
6.如权利要求1所述的基于对比学习的无监督目标关键点检测方法，其特征在于，步骤s2中的图像增强方法为tps变换或者仿射变换。
7.如权利要求2所述的基于对比学习的无监督目标关键点检测方法，其特征在于，步骤s51中选用unet作为图像的外观特征编码器或者其他深度神经网络作为外观特征编码器。
8.如权利要求2所述的基于对比学习的无监督目标关键点检测方法，...
【专利技术属性】
技术研发人员：赵灿，吴涛，徐智勇，张建林，李美慧，刘东旭，魏宇星，
申请(专利权)人：中国科学院光电技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。