基于深度学习的婴儿行为特征分类方法和系统技术方案

本发明专利技术提供了一种基于深度学习的婴儿行为特征分类方法和系统，包括：步骤1：制作婴儿视频数据集，并对数据集中的视频进行分类和时间片段标注；步骤2：制作婴儿关键点数据集；步骤3：对婴儿视频数据集的人体关键点进行预处理；步骤4：使用深度学习模型搭建婴儿行为分类模型，将婴儿视频数据集的人体关键点特征送入到婴儿行为分类模型，计算模型输出分类概率、输出时间片段与标签间的总损失，使用总损失进行反向传播来更新模型参数，待模型参数收敛后完成训练；步骤5：根据分类分支的分类概率判断该视频是否存在不安运动，得到视频存在不安运动的时间片段。本发明专利技术可检测婴儿是否缺乏不安运动，减轻医生需要长时间观看婴儿运动视频的负担。负担。负担。

【技术实现步骤摘要】
基于深度学习的婴儿行为特征分类方法和系统


[0001]本专利技术涉及特征分类计数领域，具体地，涉及一种基于深度学习的婴儿行为特征分类方法和系统。

技术介绍

[0002]婴儿全身运动行为评估，能用于新生儿和小婴儿的神经系统功能评估，对于婴儿脑瘫的检测具有较高的灵敏度和特异度，检测无创，操作简单，临床应用广泛。对脑瘫高危儿进行早期筛查、诊断、干预，是保证患儿潜在能力最大程度发挥的唯一途径。
[0003]但婴儿全身运动行为评估需要专门培训的医务人员，医务人员要在大量读片中反复训练和积累经验。每份视频需要医务人员长时间读片，而长时间的读片给医务人员带来视觉疲劳，也影响医务人员诊断的准确度。
[0004]如今，深度学习技术广泛应用于计算机视觉领域。可利用深度学习技术在有标记的视频数据上训练模型，从而能自动分析婴儿视频，减轻医务人员长时间观看视频的负担。
[0005]专利文献CN113642525A(申请号：CN202111027601.8)公开了一种基于骨骼点的婴儿神经发育评估方法和系统。S1：拍摄和采集婴儿的运动视频，结合全身运动评估方法对视频进行标注；S2：完成数据采集后，基于姿态估计的方法提取骨骼点的信息，并且对数据进行清洗、分割等过程；S3：基于骨骼点的动作识别模型，结合迁移学习领域中少样本学习训练方式，完成模型的训练和测试。S4：根据模型的预测结果，判断是否需要进一步地诊断和治疗。

技术实现思路

[0006]针对现有技术中的缺陷，本专利技术的目的是提供一种基于深度学习的婴儿行为特征分类方法和系统。
[0007]根据本专利技术提供的基于深度学习的婴儿行为特征分类方法，包括：
[0008]步骤1：使用RGB摄像机拍摄婴儿的运动视频，制作婴儿视频数据集，并对数据集中的视频进行分类和时间片段标注；
[0009]步骤2：制作婴儿关键点数据集，在婴儿数据上微调婴儿关键点检测模型，并用该模型对婴儿视频数据集的每帧图像预测人体关键点；
[0010]步骤3：对婴儿视频数据集的人体关键点进行预处理，计算人体关键点的特征，然后对标注的时间片段进行归一化处理；
[0011]步骤4：使用深度学习模型搭建婴儿行为分类模型，将婴儿视频数据集的人体关键点特征送入到婴儿行为分类模型，计算模型输出分类概率、输出时间片段与标签间的总损失，其中总损失包括分类损失和定位损失，使用总损失进行反向传播来更新模型参数，待模型参数收敛后完成训练；
[0012]步骤5：将待预测的婴儿视频经过婴儿关键点检测模型，最后由婴儿行为分类模型输出分类概率和时间片段，根据分类分支的分类概率判断该视频是否存在不安运动，对于
被模型判断为存在不安运动的视频，根据定位分支的输出，得到视频存在不安运动的时间片段。
[0013]优选的，所述步骤1包括：
[0014]步骤1.1：拍摄婴儿的面部和运动的四肢，每个婴儿的拍摄时间为3到5分钟，拍摄期间保证婴儿处于清醒、不哭闹状态，拍摄多个婴儿的运动视频构成婴儿视频数据集；
[0015]步骤1.2：对于数据集中的每个视频标注是否存在不安运动，对于存在不安运动的视频，还需要标注出视频中发生不安运动的开始时间和结束时间；
[0016]所述步骤2包括：
[0017]步骤2.1：收集婴儿图像，包括从互联网收集公开的婴儿视频和图像，以及用摄像机采集婴儿视频，从视频中随机抽样出图像帧；
[0018]步骤2.2：对婴儿图像标注人体关键点坐标，将所有婴儿图像及其关键点的标注信息构成婴儿关键点数据集；
[0019]步骤2.3：使用Lightweight OpenPose人体关键点检测模型，把在成人数据上预训练的模型在婴儿关键点数据集上微调，得到婴儿关键点检测模型；
[0020]步骤2.4：使用婴儿关键点检测模型对婴儿视频数据集的每帧图像的人体关键点进行预测。
[0021]优选的，所述步骤3包括：
[0022]步骤3.1：人体关键点在视频中每一帧的坐标形成人体关键点序列，对人体关键点进行预处理，包括通过关键点序列插值得到缺失关键点的坐标，对关键点序列进行滤波减少关键点坐标的抖动，根据视频的分辨率对关键点坐标归一化处理；
[0023]步骤3.2：计算人体关键点的特征，根据视频每秒的帧数获取两帧图像的时间差，将两帧图像间人体关键点的移动路程除以时间差形成关键点的速度；
[0024]步骤3.3：对每个视频获取视频总时长，用标注的时间片段的开始时间和结束数据分别除以视频总时长，从而得到归一化的标注时间片段。
[0025]优选的，所述步骤4包括：
[0026]步骤4.1：搭建婴儿行为分类模型，模型骨干网络使用MS
‑
G3D，后接两个全连接层分支，一个全连接分支输出分类的概率，另一个分支输出20个值，分别为10个时间片段的开始和结束的时间；
[0027]步骤4.2：将人体关键点特征输入到婴儿行为分类模型；
[0028]步骤4.3：计算模型的分类损失，根据分类概率判断输入样本的分类类别，若分类概率大于等于设定阈值，则该输入样本被模型判断为缺乏不安运动，而预测概率小于设定阈值，则该输入样本被模型被判断为存在不安运动；
[0029]步骤4.4：计算模型的定位损失，对于被判断为存在不安运动的视频，计算模型输出的10个时间片段和归一化标注时间片段的重叠度IOU，定位损失为1
‑
IOU，对于被判断为缺乏不安运动的视频，定位损失为0。
[0030]优选的，所述步骤5包括：
[0031]步骤5.1：对待预测的婴儿视频进行预测，按照训练过程的数据处理方式，通过婴儿关键点检测模型从婴儿视频数据中提取人体关键点，在人体关键点经过预处理和特征计算后，输入到婴儿行为分类模型，最终输出分类概率和10个时间片段；
[0032]步骤5.2：对输出时间片段进行合并，首先合并有时间重叠的片段，然后将时间差小于阈值的片段合并为一个片段，归一化的时间片段乘以视频总时长，把归一化的时间片段恢复到视频原始的时间尺度上，最终输出经过处理的时间片段。
[0033]根据本专利技术提供的基于深度学习的婴儿行为特征分类系统，包括：
[0034]模块M1：使用RGB摄像机拍摄婴儿的运动视频，制作婴儿视频数据集，并对数据集中的视频进行分类和时间片段标注；
[0035]模块M2：制作婴儿关键点数据集，在婴儿数据上微调婴儿关键点检测模型，并用该模型对婴儿视频数据集的每帧图像预测人体关键点；
[0036]模块M3：对婴儿视频数据集的人体关键点进行预处理，计算人体关键点的特征，然后对标注的时间片段进行归一化处理；
[0037]模块M4：使用深度学习模型搭建婴儿行为分类模型，将婴儿视频数据集的人体关键点特征送入到婴儿行为分类模型，计算模型输出分类概率、输出时间片段与标签间的总损失，其中总损失包括分类损失和定位损失，使用总损失进行反向传播来更新模型参数，待模型参数收敛后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的婴儿行为特征分类方法，其特征在于，包括：步骤1：使用RGB摄像机拍摄婴儿的运动视频，制作婴儿视频数据集，并对数据集中的视频进行分类和时间片段标注；步骤2：制作婴儿关键点数据集，在婴儿数据上微调婴儿关键点检测模型，并用该模型对婴儿视频数据集的每帧图像预测人体关键点；步骤3：对婴儿视频数据集的人体关键点进行预处理，计算人体关键点的特征，然后对标注的时间片段进行归一化处理；步骤4：使用深度学习模型搭建婴儿行为分类模型，将婴儿视频数据集的人体关键点特征送入到婴儿行为分类模型，计算模型输出分类概率、输出时间片段与标签间的总损失，其中总损失包括分类损失和定位损失，使用总损失进行反向传播来更新模型参数，待模型参数收敛后完成训练；步骤5：将待预测的婴儿视频经过婴儿关键点检测模型，最后由婴儿行为分类模型输出分类概率和时间片段，根据分类分支的分类概率判断该视频是否存在不安运动，对于被模型判断为存在不安运动的视频，根据定位分支的输出，得到视频存在不安运动的时间片段。2.根据权利要求1所述的基于深度学习的婴儿行为特征分类方法，其特征在于，所述步骤1包括：步骤1.1：拍摄婴儿的面部和运动的四肢，每个婴儿的拍摄时间为3到5分钟，拍摄期间保证婴儿处于清醒、不哭闹状态，拍摄多个婴儿的运动视频构成婴儿视频数据集；步骤1.2：对于数据集中的每个视频标注是否存在不安运动，对于存在不安运动的视频，还需要标注出视频中发生不安运动的开始时间和结束时间；所述步骤2包括：步骤2.1：收集婴儿图像，包括从互联网收集公开的婴儿视频和图像，以及用摄像机采集婴儿视频，从视频中随机抽样出图像帧；步骤2.2：对婴儿图像标注人体关键点坐标，将所有婴儿图像及其关键点的标注信息构成婴儿关键点数据集；步骤2.3：使用Lightweight OpenPose人体关键点检测模型，把在成人数据上预训练的模型在婴儿关键点数据集上微调，得到婴儿关键点检测模型；步骤2.4：使用婴儿关键点检测模型对婴儿视频数据集的每帧图像的人体关键点进行预测。3.根据权利要求1所述的基于深度学习的婴儿行为特征分类方法，其特征在于，所述步骤3包括：步骤3.1：人体关键点在视频中每一帧的坐标形成人体关键点序列，对人体关键点进行预处理，包括通过关键点序列插值得到缺失关键点的坐标，对关键点序列进行滤波减少关键点坐标的抖动，根据视频的分辨率对关键点坐标归一化处理；步骤3.2：计算人体关键点的特征，根据视频每秒的帧数获取两帧图像的时间差，将两帧图像间人体关键点的移动路程除以时间差形成关键点的速度；步骤3.3：对每个视频获取视频总时长，用标注的时间片段的开始时间和结束数据分别除以视频总时长，从而得到归一化的标注时间片段。4.根据权利要求1所述的基于深度学习的婴儿行为特征分类方法，其特征在于，所述步
骤4包括：步骤4.1：搭建婴儿行为分类模型，模型骨干网络使用MS
‑
G3D，后接两个全连接层分支，一个全连接分支输出分类的概率，另一个分支输出20个值，分别为10个时间片段的开始和结束的时间；步骤4.2：将人体关键点特征输入到婴儿行为分类模型；步骤4.3：计算模型的分类损失，根据分类概率判断输入样本的分类类别，若分类概率大于等于设定阈值，则该输入样本被模型判断为缺乏不安运动，而预测概率小于设定阈值，则该输入样本被模型被判断为存在不安运动；步骤4.4：计算模型的定位损失，对于被判断为存在不安运动的视频，计算模型输出的10个时间片段和归一化标注时间片段的重叠度IOU，定位损失为1
‑
IOU，对于被判断为缺乏不安运动的视频，定位损失为0。5.根据权利要求1所述的基于深度学习的婴儿行为特征分类方法，其特征在于，所述步骤5包括：步骤5.1：对待预测的婴儿视频进行预测，按照训练过程的数据处理方式，通过婴儿关键点检测模型从婴儿视频数据中提取人体关键点，在人体关键点经过预处理和特征计算后，输入到婴儿行为分类模型，最终输出分类概率和10个时间片段；步骤5.2：对输出时间片段进行合并，首先合并有时间重叠的片段，然后将时间差小于阈值的片段合并为一个片段，归一化的时间片段乘以视频总时长，把归一化的时间片段恢复到视频原始的时间尺度上，最终输出经过处理的时间片段。6.一种基于深度学习的婴儿行为特...

【专利技术属性】
技术研发人员：陈勇维，王子龙，丁晓伟，张政，
申请(专利权)人：苏州体素信息科技有限公司，
类型：发明
国别省市：