【技术实现步骤摘要】
本专利技术属于计算机视觉，涉及一种半监督深度学习的人体活动识别方法及系统。
技术介绍
1、近年来，智能设备和物联网(iot)设备的使用增加了人体活动识别(humanactivity recognition)在各种场景中的重要性，例如智能家居系统、医疗保健和健康监测。har用于根据传感器信号确定用户的活动。har可分为两类：基于可穿戴传感器的方法和环境传感方法。基于可穿戴传感器的har方法因其广泛的信息量、无缝的设备集成和更强的隐私保护而得到广泛应用，并在日常活动监测中占据主导地位。然而，从活动信号中提取丰富的语义表征仍然是一个关键挑战。
2、目前的har方法主要分为两类：基于特征工程的方法和基于深度学习的方法。基于特征工程的方法一般使用传统的机器学习方法来识别不同的活动。这些方法涉及从传感器信号中定义和提取各种特征，例如统计特征或频率特性。这些提取的特征通常需要经过精心挑选，以便使传统的机器学习方法达到相对较高的准确度。然而，这些方法在特征提取和选择过程中需要专家知识和人工干预，可能仍然无法达到最佳性能。
3、为了克服传统手工特征方法的局限性，人们提出了一些基于深度学习的方法。har常用的深度学习模型有循环神经网络(rnn)和卷积神经网络(cnn)。rnn擅长分析时间序列数据，捕捉广泛的时间依赖性。另一方面，cnn擅长从信号中提取特征，对空间或局部变化表现出高度的不变性，不受时空背景的影响。将cnn与rnn相结合，通过结合来自传感器的空间和时间信息，提高了模型的准确性，从而产生了更稳健的特征表征。此外，还
4、为了降低收集标注数据的成本，一些研究人员转而采用半监督学习方法来加强模型训练。半监督学习是一种将大量未标记数据与少量标记数据相结合的机器学习范式。典型的半监督学习算法主要分为基于伪标签的方法和一致性正则化方法。基于伪标签的方法首先使用有标签的数据训练弱分类器，然后对无标签的数据进行预测，生成伪标签。这类方法需要设定一个置信度标准，选择置信度高的未标记样本来不断扩大训练集。
5、相比之下，一致性正则化方法鼓励模型在不同的数据增强条件下对相同的输入产生一致的预测，从而学习数据的内在不变性，提高模型对输入变化的鲁棒性。然而，这些方法通常需要设置较高的置信度标准来过滤未标记的样本，以提高模型性能。但在训练的早期阶段，过高的置信度标准可能会导致数据利用率低下，限制模型的学习效率。同时，过高的置信度标准还可能导致伪标签的类不平衡，造成模型的认知偏差，最终影响模型的整体性能。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种半监督深度学习的人体活动识别方法及系统，旨在解决现有人体活动识别模型需要大量标注数据来训练模型，收集海量的标注活动数据通常需要大量人力，甚至成本高昂的问题。本专利技术提出的兼具高精度和鲁棒性的半监督学习方法acs-har采用了半监督学习框架，并利用未标记样本增强了训练过程。具体来说，对同一未标记样本施加不同程度的扰动，促使模型在这些扰动下产生一致的预测结果，从而提高模型的泛化能力；同时，根据模型的学习状态自适应地调整置信度标准，有效地选择高置信度的未标记样本进行训练；为了避免伪标签带来的类不平衡问题，引入了焦点损失(focal loss)；最后，结合部分卷积(partial convolution)和双向gru来捕捉样本的空间和时间依赖性，从而降低模型的计算成本和内存访问频率。在四个主流har数据集上的实验结果证实，本专利技术的方法优于现有的半监督har方法，尤其是在准确性和泛化能力方面。
2、本专利技术具体技术方案如下：
3、一种半监督深度学习的人体活动识别方法，该方法包括以下步骤：s1、对智能设备中小型标签传感器信号进行监督训练；s2、利用训练有素的模型为无标签数据生成伪标签；s3、迭代选择高置信度的伪标签样本，纳入训练集，直到使用完所有高质量样本；s4、利用训练完成的模型对人体活动进行识别。
4、进一步，在步骤s1中，在进行小型标签传感器信号的监督训练阶段，处理的数据集来自智能设备内置的惯性传感器，包括加速计、陀螺仪和磁力计；在监督训练的过程中，传感器信号被输入到监督分支进行特征编码；该监督分支由空间特征编码器、时间特征编码器以及一个分类器构成，这种结构使得模型能够在空间和时间维度上深入学习传感器数据的关键特征；随后，这些学到的特征通过顶部的分类器映射到具体的行为类别，其中，和分别表示标签样本集和未标记样本集，表示传感器信号，表示相关的活动类别。
5、进一步，在步骤s2中，利用经过训练的模型为无标签数据生成伪标签，包括对未标记的样本实施两种不同的增强策略：弱增强(如随机缩放)和强增强(结合时间变化和随机缩放)，这些经过增强的未标记样本随后被输入到训练完成的监督分支中，用以生成伪标签。
6、进一步，在步骤s3中，所述迭代选择高置信度的伪标签样本，纳入训练集，直到使用完所有高质量样本包括：采用自适应置信度调整机制在学习过程中根据模型的学习状态动态调整阈值，从而提高模型利用未标记样本的利用率；在动态置信度阈值的基础上，迭代选择高置信度的未标注样本进入标注数据集，直到未标记样本集为空。
7、进一步，步骤s1中，具体包括：假设一个传感器数据集它由一个标记集和一个无标签集合组成，t是传感器序列的长度，c表示通道的数量，k是活动类别的数量，nl表示已标记数据的数量，nu表示未标记数据的数量；一般来说，nl＞＞nu意味着未标注样本的数量往往大大多于标注样本的数量。
8、监督分支从标注数据集中学习特征，由于缺乏数据多样性而导致过拟合。为了增加数据的多样性和数量，采用随机缩放的方法来增加有限的标注数据，提高模型的性能；监督分支的深度模型包括空间特征编码组件、时间特征编码组件和顶部的分类器；
9、为了从传感器数据中学习空间特征，通常会使用cnn。虽然cnn学习到的特征图通常包含冗余信息，但它们通常会导致参数数量和计算复杂度的增加。为了解决这个问题，本专利技术采用部分卷积pconv取代dwconv，以降低dwconv对内存带宽的高要求；假设输入和输出通道相等，pconv只对输入通道中的r应用传统卷积进行特征提取，其余1-r通道保持不变；因此，pconv的flops为h*w*k2*(rc)2，其内存带宽计算为
10、h*w*2(rc)+k2*(rc)2≈h*w*2(rc),
11、其中，r为局部划分比率，h*w*2(rc)表示i/o操作的内存访问量；因此，pconv的计算成本仅为传统卷积的r2，同时还将内存带宽降至传统卷积的r倍。将pconv与pwconv结合使用，可有效利用通道间相关性，在输入特征图中呈现出t型感受野。这种组合充分利用了滤波器冗余，从而节省了计算量。对于连续存储或以本文档来自技高网...
【技术保护点】
1.一种半监督深度学习的人体活动识别方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的一种半监督深度学习的人体活动识别方法，其特征在于：在步骤S1中，在进行小型标签传感器信号的监督训练阶段，处理的数据集来自智能设备内置的惯性传感器，包括加速计、陀螺仪和磁力计；在监督训练的过程中，传感器信号被输入到监督分支进行特征编码；该监督分支由空间特征编码器、时间特征编码器以及一个分类器构成；随后，这些学到的特征通过顶部的分类器映射到具体的行为类别，其中，和分别表示标签样本集和未标记样本集，表示传感器信号，表示相关的活动类别。
3.根据权利要求2所述的一种半监督深度学习的人体活动识别方法，其特征在于：在步骤S2中，利用经过训练的模型为无标签数据生成伪标签，包括对未标记的样本实施两种不同的增强策略：弱增强和强增强，这些经过增强的未标记样本随后被输入到训练完成的监督分支中，用以生成伪标签。
4.根据权利要求3所述的一种半监督深度学习的人体活动识别方法，其特征在于：在步骤S3中，所述迭代选择高置信度的伪标签样本，纳入训练集，直到使用完所有高质量样本包
5.根据权利要求2所述的一种半监督深度学习的人体活动识别方法，其特征在于：步骤S1中，具体包括：假设一个传感器数据集它由一个标记集和一个无标签集合组成，T是传感器序列的长度，C表示通道的数量，K是活动类别的数量，NL表示已标记数据的数量，NU表示未标记数据的数量；
6.根据权利要求5所述的一种半监督深度学习的人体活动识别方法，其特征在于：在步骤S1中，为了从传感器数据中学习时间特征，采用双向GRU作为空间特征编码组件之后的关键组件；Bi-GRU基于两个关键门控机制：更新门和重置门；更新门与输入xt结合，决定了过去隐藏状态信息的保留程度；前向更新门和后向更新门的描述如下：
7.根据权利要求6所述的一种半监督深度学习的人体活动识别方法，其特征在于：在步骤S3中，为了识别高置信度样本并将其整合到训练数据集中，采用一种动态置信度调整机制，根据动态置信度阈值，迭代选择高置信度的未标注样本进入标注数据集；动态置信度旨在通过协调全局置信度和局部置信度来完善伪标签生成过程；全局阈值有两个作用：一是根据模型对无标签数据的置信度来反映模型的综合学习状态；二是确保全局置信度稳步提升，不受异常伪标签造成的失真影响；为此，将全局阈值设置为所有未标记数据的平均置信度，随后使用指数移动平均对其进行更新，这个过程描述为：
8.根据权利要求7所述的一种半监督深度学习的人体活动识别方法，其特征在于：本方法的损失函数包含三个不同的部分：监督损失Ls、半监督分支的一致性正则化损失Lu和类不平衡损失Li；模型的总损失函数写成
9.一种半监督深度学习的人体活动识别系统，其特征在于：该系统采用如权利要求1至8中任一项所述方法。
...【技术特征摘要】
1.一种半监督深度学习的人体活动识别方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的一种半监督深度学习的人体活动识别方法，其特征在于：在步骤s1中，在进行小型标签传感器信号的监督训练阶段，处理的数据集来自智能设备内置的惯性传感器，包括加速计、陀螺仪和磁力计；在监督训练的过程中，传感器信号被输入到监督分支进行特征编码；该监督分支由空间特征编码器、时间特征编码器以及一个分类器构成；随后，这些学到的特征通过顶部的分类器映射到具体的行为类别，其中，和分别表示标签样本集和未标记样本集，表示传感器信号，表示相关的活动类别。
3.根据权利要求2所述的一种半监督深度学习的人体活动识别方法，其特征在于：在步骤s2中，利用经过训练的模型为无标签数据生成伪标签，包括对未标记的样本实施两种不同的增强策略：弱增强和强增强，这些经过增强的未标记样本随后被输入到训练完成的监督分支中，用以生成伪标签。
4.根据权利要求3所述的一种半监督深度学习的人体活动识别方法，其特征在于：在步骤s3中，所述迭代选择高置信度的伪标签样本，纳入训练集，直到使用完所有高质量样本包括：采用自适应置信度调整机制在学习过程中根据模型的学习状态动态调整阈值，从而提高模型利用未标记样本的利用率；在动态置信度阈值的基础上，迭代选择高置信度的未标注样本进入标注数据集，直到未标记样本集为空。
5.根据权利要求2所述的一种半监督深度学习的人体活动识别方法，其特征在于：步骤s1中，具体包括：假设一个传感器数据集它由一...
【专利技术属性】
技术研发人员：古富强，王萍，龙宪磊，郭方明，陈超，郭松涛，
申请(专利权)人：重庆大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。