新生儿运动发育评估系统、方法、装置及存储介质制造方法及图纸

本发明专利技术是关于一种新生儿运动发育评估系统、方法、装置及存储介质，系统包括：视频获取模块，远程获取新生儿的全身运动视频；视频处理模块，提取新生儿的全身运动视频中身体各部位关键点的空间坐标位置数据；数据分析模块，根据空间坐标位置数据，得到空间坐标、预设关节夹角随时间变化的曲线，根据曲线提取对应的时域特征和频域特征，根据时域特征、频域特征和预先训练的新生儿全身运动质量评估模型对新生儿的全身运动进行评估，得到全身运动质量评估结果；结果存储输出模块，将全身运动视频、时域特征、频域特征和全身运动质量评估结果进行存储并输出。通过该技术方案，对新生儿GMs进行自动分类，提高新生儿异常行为检测的准确率。率。率。

【技术实现步骤摘要】
新生儿运动发育评估系统、方法、装置及存储介质


[0001]本专利技术涉及医疗信息
，尤其涉及一种新生儿运动发育评估系统、方法、装置及存储介质。

技术介绍

[0002]新生儿如果在胎儿期、分娩期和新生儿期受到早产(一般指胎龄在37足周以前出生)、低体重(大部分在2500g以下)、窒息、缺氧缺血性脑病、颅内出血等高危因素危害，就可能导致神经发育异常或障碍。随着医疗水平的提高，高危新生儿存活率不断提高，如何降低高危新生儿神经发育障碍的发病率及减轻残障程度，越来越受到家长和儿科临床医生的重视。目前，国内儿科临床医生一般是根据颅脑超声、MRI、CT等影像学、脑干听觉诱发电位(BAEP)、生化指标等检查评估新生儿脑损伤及临床康复疗效。临床上脑瘫、精神发育迟滞等疾病的诊断通常在孩子一岁甚至两岁后才能确诊。而由出生前、出生期间或出生后不久发生的脑损伤引起的神经系统疾病是一种主要影响运动、姿势和协调性的疾病。全身运动(general movements,GMs)是从胎儿早期到足月后大约20周存在的自发运动，它们会持续几秒钟到几分钟，分为至少两种正常运动和五种异常运动。GMs让整个身体参与到不同范围的手臂、腿部、颈部和躯干运动中，这些运动的强度会随着时间的推移而变化。早期神经系统发展领域专家Prechtl指出，GMs可以由嵌入从脑干到脊髓的中央模式发生器产生，这些运动的特征可能会随着大脑皮层的发育而改变。通过观察GMs来评估神经元发育的方法在预后预测方面与神经学测试具有相同或更好的功效，因此它有利于未来疾病的诊断。提供可靠的早期诊断的方法，在婴儿发育的特定时间窗口(通常为产后0至20周)评估婴儿GMs的质量、复杂性和自发性，可识别有神经运动疾病风险的婴儿，早期发现预后不良的患儿，并尽早给予康复干预，改善其预后，扭转不良神经发育结局，具有重要的临床和社会意义。
[0003]Prechtl的“早产儿、足月儿和年幼婴儿全身运动的定性评估方法”是GMs的基础，在一个典型发育的婴儿中，GMs表现出复杂性、可变性，对于神经系统受损的婴儿，GMs会失去其复杂多变的特征，变得不那么流畅。这些异常GMs模式是婴儿预后发展为脑瘫、精神发育迟滞等的有力预测因素。目前GMs只能由拥有评估许可证的训练有素的临床医生进行视觉评估。这些临床医生需要大量培训，以及多年的实际评估经验才能达到合适的准确度。由于这种方法需要临床医生长时间观察GMs，很容易受到观察者疲劳的影响，难以进行客观和定量的评估。目前GMs评估的手动、耗时性以及评估员的稀缺性，使得目前GMs测试通常仅用于存在医疗问题的情况，例如早产、中风、缺氧或先天性心脏病等，不被用作普通婴儿的体检筛查工具，而大量筛查可确定更多的高危婴儿。要进行大量婴儿体检筛查，就需要对GMs自动化定量评估。GMs自动化定量评估进行早期诊断系统的开发有助于减少与当前手动诊断实践相关的时间和成本，有可能帮助医疗保健专业人员更可靠地将信息传递给患者家属。此外，适当可靠的自动化工具的开发意味着可以对所有婴儿进行分析，帮助医疗保健专业人员确定任何额外的护理要求。
[0004]为了能够客观地评估和测量婴儿运动，有研究使用位置传感器和加速度传感器附
着在肢体上来评估在GMs期间肢体的自发运动，分析自发运动中速度和加速度的周期性，用提取到的特征诊断运动障碍。然而，上述研究将传感器或标记连接到婴儿身上，这会干扰运动的自发出现。作为替代方案，有研究开发了用于婴儿运动的无标记测量方法
‑‑
视频分析方法。这些方法通常使用基于视频的光流方法、频率分析和背景减法。然而，这些方法中的每一种在处理不必要的信息、光照变化、身体部位尺寸和外部影响方面都缺乏鲁棒性。由于这种传统基于光流方法等固有的局限，有研究人员最近开始验证基于姿势评估的有效性。人类姿势自动识别一直是近些年来一个活跃的研究领域。准确追踪动作行为发生期间身体各部位的运动是运动科学的一项重要内容。随着计算机软硬件技术的飞速发展，当相机以足够高的速率连续拍摄时，从图像序列中就可以得到身体各部位关键点的运动轨迹。从RGB视频/图像自动估计人体姿势最广为人知的方法之一是OpenPose，该框架产生一个输出，该输出基于一组预先确定的关键点提供人体四肢的关节位置和方向。而2020年Google的人工智能工作管线框架MediaPipe提供了用于边缘设备上运行的单人人体姿态估计算法BlazePose，该算法相较于OpenPose不仅是多预测了16个人体关键点，它在中端手机CPU上的性能比20核桌面CPU上的OpenPose还要快25
‑
75倍，是一种用于高保真身体姿势跟踪的机器学习(ML)解决方案。但是现有人体姿势估计框架几乎完全是使用成人图像进行训练和测试的，因此它们的应用无法直接推广到不同形状和身体成分的人类，例如婴儿，尤其是新生儿。目前为止，尚未见将成人姿势估计算法迁移到婴儿搭建的成熟姿势估计模型，所以直接利用成人姿势估计模型提取的运动关键点位置信息不够精准，应用到实际的婴儿GMs自动评估中很难取得理想的预测效果。另外，由于GMs评估所需视频数据的敏感性，试图使GMs评估自动化的研究人员面临的一个重大挑战是可公开访问的数据集的可用性。因此，基于现代深度学习技术实现GMs自动评估受限于对注释良好的大型婴儿数据集的需求，难以获得包含用于特定研究目的的婴儿图像/视频的数据集，尤其是新生儿数据集。
[0005]由于新生儿各器官发展不完善，抵抗力低下，医院感染率较高。因此，新生儿病房有严格的消毒隔离制度，严格限制人员出入。过多人员滞留于病房，给病区环境、工作秩序等都会带来影响。另外，早产儿一般放在单独的育婴室内或专用的保育箱内，以便使婴儿处于温度、湿度、氧浓度等都控制在适宜范围的环境。所以，有必要开展新生儿数据收集新模式。

技术实现思路

[0006]为克服相关技术中存在的问题，本专利技术提供一种新生儿运动发育评估系统、方法、装置及存储介质，使用优化的机器学习分类算法，对新生儿GMs进行自动分类，提高新生儿异常行为检测的准确率。
[0007]根据本专利技术实施例的第一方面，提供一种新生儿运动发育评估系统，用于新生儿脑发育状态评估、早产儿脑神经发育障碍预测和早期干预康复治疗依据等，所述系统包括：
[0008]视频获取模块，用于远程获取新生儿的全身运动视频；
[0009]视频处理模块，用于提取所述新生儿的全身运动视频中身体各部位关键点的空间坐标位置数据；
[0010]数据分析模块，用于根据所述全身运动视频中身体各部位关键点的空间坐标位置数据，得到空间坐标、预设关节夹角随时间变化的曲线，并根据所述曲线提取对应的时域特
征和频域特征，根据所述时域特征、频域特征和预先训练的新生儿全身运动质量评估模型对所述新生儿的全身运动进行评估，得到全身运动质量评估结果；
[0011]结果存储输出模块，用于将所述全身运动视频、所述时域特征、所述频域特征和所述全身运动质量评估结果进行存储，并构建新生儿全身运动评估数据库进行输出。
[0012]在一个实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种新生儿运动发育评估系统，其特征在于，所述系统包括：视频获取模块，用于远程获取新生儿的全身运动视频；视频处理模块，用于提取所述新生儿的全身运动视频中身体各部位关键点的空间坐标位置数据；数据分析模块，用于根据所述全身运动视频中身体各部位关键点的空间坐标位置数据，得到空间坐标、预设关节夹角随时间变化的曲线，并根据所述曲线提取对应的时域特征和频域特征，根据所述时域特征、频域特征和预先训练的新生儿全身运动质量评估模型对所述新生儿的全身运动进行评估，得到全身运动质量评估结果；结果存储输出模块，用于将所述全身运动视频、所述时域特征、所述频域特征和所述全身运动质量评估结果进行存储，并构建新生儿全身运动评估数据库进行输出。2.根据权利要求1所述的系统，其特征在于，所述全身运动质量评估结果包括以下任一项：扭动阶段正常运动、单调性运动和痉挛
‑
同步性运动。3.根据权利要求1所述的系统，其特征在于，视频处理模块具体用于：通过预先训练的新生儿关键点估计模型提取所述新生儿的全身运动视频中身体各部位关键点的空间坐标位置数据。4.根据权利要求1所述的系统，其特征在于，新生儿关键点估计模型的训练过程包括：通过MediaPipe BlazePose成人姿势估计模型对婴儿全身运动视频数据集中婴儿的全身运动训练视频进行关键点识别，以得到对应的33个关键点信息；根据所述33个关键点信息在所述婴儿的全身运动训练视频中标注显示33个关键点，并人工确定关键点位置是否准确，以筛选出关键点位置准确的目标全身运动训练视频；从所述目标全身运动训练视频对应的33个关键点信息中提取出23个目标关键点信息；根据所述目标全身运动训练视频的23个目标关键点信息进行模型迭代训练，以得到新生儿关键点估计模型，其中，23个目标关键点包括：鼻子、左肩、右肩、左肘、右肘、左腕、右腕、左小指、右小指、左食指、右食指、左拇指、右拇指、左髋、右髋、左膝、右膝、左踝、右踝、左脚跟、右脚跟、左脚尖和右脚尖。5.根据权利要求1所述的系统，其特征在于，所述数据分析模块具体用于：根据所述全身运动视频中身体各部位关键点的空间坐标位置数据，得到空间坐标、预设关节夹角随时间变化的曲线；根据所述新生儿的空间坐标、预设关节夹角随时间变化的曲线，计算对应的时域特征和频域特征，其中，时域特征包括：最大值、最小值、极差、均值、标准差、均方根值、均方值、K阶中心矩、K阶原点矩、中位数、众数、偏度、峰度、峰度因子、波形因子、脉冲因子和裕度因子，频域特征包括：均值、方差、熵、能量、偏度、峰度、波形均值、波形标准差、波形偏度和波形峰度；根据所述时域特征、频域特征和预先训练的新生儿全身运动质量评估模型对所述新生儿的全身运动进行评估，得到全身运动质量评估结果。6.根据权利要求1所述...

【专利技术属性】
技术研发人员：伊鸣，黄新瑞，韩彤妍，黄春玲，商潇腾，
申请(专利权)人：北京大学，
类型：发明
国别省市：