【技术实现步骤摘要】
本专利技术涉及hich辅助护理系统领域，特别涉及基于图像和文本识别多轮互补的hich智能康复大健康系统。
技术介绍
1、高血压脑出血（hypertensive cerebral hemorrhage，hich）是一种神经科常见疾病，致死率及致残率极高。研究显示，约80%的hich患者（本文中以“患者”简称）会遗留各种残疾和并发症，这使得大部分患者都需要进行长期的康复治疗，不仅需要耗费大量人力，经济资源的消耗也十分惊人。
2、然而，大部分患者及家庭无法承担如此巨大的消耗，只能选择自行在家疗养和康复，由于患者在家得不到专业的指导和支持，往往会出现病情反复或者进行性恶化，严重影响患者生存质量，甚至可能直接导致患者死亡。在目前医疗资源有限的情况下，康复治疗所需的专业人员紧缺，且培养康复治疗的专业人员的周期长、投入大、见效慢，导致康复治疗的经济成本居高不下。目前随着ai技术的进一步发展，越来越多的信息可以通过ai技术进行快速的处理。
3、目前已经有部分疾病可以通过ai技术进行协助诊疗，通常ai技术是通过训练后，在影像诊疗阶段对部分疑似病灶的区域进行标注或者识别，提升医生的诊疗效率。但是利用深度学习（ai）技术，对患者病情进行更加准确和个性化的分析，完成辅助诊疗决策，输出医疗康复方案相关建议，最终为hich患者提供更加便捷且精准的智能化康复治疗方案的技术还面临一定的问题。
4、主要难点在于，hich需要采集患者在康复治疗过程中的影像学数据和电生理数据，包括ct、mri以及pet图像数据，和脑电图（eeg）
技术实现思路
1、本方案的目的是提供基于图像和文本识别多轮互补的hich智能康复大健康系统，以解决ai识别计算给出的hich康复诊疗结果可靠性较低的问题。
2、为了达到上述目的，本方案提供一种基于图像和文本识别多轮互补的hich智能康复大健康系统，包括：
3、采集模块，用于采集患者过往治疗事件的电生理数据、影像学数据和临床文本数据整合为训练数据并整合为第一数据；
4、图谱构建模块，用于将影像学数据和电生理数据识别为文本数据，用于对文本数据进行文字识别、语义抽取，通过抽取出的内容的多方映证确定出实体和实体关系，建立hich康复知识图谱；还用于对临床文本数据进行文字识别、语义抽取，使用抽取出的内容对hich康复知识图谱进行查验和补足；
5、决策模块，包括治疗权重单元和高斯模型单元，所述治疗权重单元是基于transg-dnn构建的计算模型，所述治疗权重单元结合了hich康复指南及共识和康复治疗过程中的实际情况，所述高斯模型单元是基于hich康复知识图谱建立的高斯混合模型；所述决策模块用于将第一数据放入高斯混合模型中计算出病情信息，再将病情信息放入治疗权重单元中计算出治疗方案和治疗预期。
6、本方案的原理和效果在于：本方案将患者的电生理数据和影像学数据进行实体抽取和实体关系的映证，又将抽取和映证的结果相互结合，彼此之间进行多轮互补。本方案的治疗权重单元是由神经外科、神经内科、康复科、放射科、核医学科、电生理中心、心理卫生中心等专科医生与ai研究人员一起共同协作，根据最新的国内外hich康复指南及共识，结合康复治疗过程中的实际情况构建的，使得治疗权重单元能通过病情的输出可靠的康复诊疗结果。同时，知识图谱具有将结构化和非结构化数据进行连接的优点，本方案基于患者的实际情况构建个性化的hich康复知识图谱，解决了本方案中影像学数据和电生理数据结构复杂的问题，还为庞杂的影像学数据和电生理数据分析提供了精细且有力的基础技术支持。本方案基于hich康复知识图谱建立的高斯混合模型，以构建好的hich康复知识图谱为基础，利用高斯混合嵌入模型（transg）对hich康复知识图谱中各个三元组进行向量化完成初步分类，在此基础上通过dnn训练模型，在取得最优训练模型后，将得到的最优训练模型应用在训练数据上，实现hich康复决策模型的分类效果和稳定性，最终完成预判准确率高的hich康复自动决策，解决了数据庞杂、输入的参数（变量）过多的问题。
7、综上所述，本方案解决了ai识别计算给出的hich康复诊疗结果可靠性较低的问题。
8、进一步，采集模块中还包括识别单元，识别单元是基于u-net++深度学习和神经网络的计算模型，所述采集单元采集到影像学数据中的多模态mri及pet图像时，识别单元主要针对患者康复过程中的头颅mri和pet图像进行自动识别，所述识别单元用于评估患者脑实质及白质纤维束完整程度、脑血流灌注情况以及脑功能保留情况，并最终以中文文本的形式输出对mri和pet图像自动判读的最终结果；所述识别单元使用ct图像识别中的方法对mri和pet图像数据进行定侧、定位和定量识别；所述识别单元使用u-net++在编码器和解码器之间加入dense block和卷积层，在原始u-net++基础上，增加重新设计的跳跃路径，将相同dense block的前一个卷积层的输出与较低层dense block对应的采样输出进行融合，使已编码特征的语义级别更接近于待在解码器中的特征映射的语义级别；同时，采用密集跳跃连接实现编码器和解码器之间的跳跃路径，以确保所有先验特征图都被累积，并通过每个跳跃路径上的dense卷积块到达当前节点，在多个语义级别生成完整分辨率的特征映射，提高分割精度和改善梯度流；此外，识别单元还用于增加深度监督，通过修剪模型来调整模型的复杂性，调整计算推理速度和性能之间的平衡；识别单元对mri和pet图像数据进行定侧、定位和定量识别后，将其中一个mri和pet图像数据得到的识别结果作为参照结果，获取同一检查采集的其他mri和pet图像数据所得到的识别作为互补结果，将多个识别结果与参照结果依次验证和比对，对参照结果进行多轮互补，将参照结果多轮互补的结果作为最终识别结果输出。
9、进一步，所述采集单元采集到电生理数据时，识别单元通过半波处理方式中对尖刺信号做平滑处理，采用主成分分析算法对电生理数据进行小波分解得到信号组分，再对信号组分套用主成分分析算法,并采用独立成分分析算法寻找伪迹信号和脑电信号的混合的信号矩阵，从而将各种伪迹从混杂的复合信号中分离处理；所述识别单元通过阈值初筛确定异常波的阈值，如果波幅、频率、或效曲线下面积特征突破了确定的异常波阈值，则判定为异常波；所述识别单元采用专家特征分析，根据以往典型的各类干扰波形的特征进行初筛，去掉眼动伪差、眨眼伪迹、电极伪迹，同时使用带通滤波器完成对上述脑电信号的滤波处理，得到有用频带的脑电信号，并滤除频带以外的各种干扰信号，并采用简单缩放法对电生理数据进行归一处理，分段存储处理及标签化处理；然后，将预处理后的电生理样本数据输入稀疏自动编码器，本文档来自技高网...
【技术保护点】
1.基于图像和文本识别多轮互补的HICH智能康复大健康系统，其特征在于，包括：
2.根据权利要求1所述的基于图像和文本识别多轮互补的HICH智能康复大健康系统，其特征在于：采集模块中还包括识别单元，识别单元是基于U-net++深度学习和神经网络的计算模型，所述采集单元采集到影像学数据中的多模态MRI及PET图像时，识别单元主要针对患者康复过程中的头颅MRI和PET图像进行自动识别，所述识别单元用于评估患者脑实质及白质纤维束完整程度、脑血流灌注情况以及脑功能保留情况，并最终以中文文本的形式输出对MRI和PET图像自动判读的最终结果；所述识别单元使用CT图像识别中的方法对MRI和PET图像数据进行定侧、定位和定量识别；所述识别单元使用U-net++在编码器和解码器之间加入Dense block和卷积层，在原始U-net++基础上，增加重新设计的跳跃路径，将相同dense block的前一个卷积层的输出与较低层dense block对应的采样输出进行融合，使已编码特征的语义级别更接近于待在解码器中的特征映射的语义级别；同时，采用密集跳跃连接实现编码器和解码器之间的跳跃路径，
3.根据权利要求2所述的基于图像和文本识别多轮互补的HICH智能康复大健康系统，其特征在于：所述采集单元采集到电生理数据时，识别单元通过半波处理方式中对尖刺信号做平滑处理，采用主成分分析算法对电生理数据进行小波分解得到信号组分，再对信号组分套用主成分分析算法,并采用独立成分分析算法寻找伪迹信号和脑电信号的混合的信号矩阵，从而将各种伪迹从混杂的复合信号中分离处理；所述识别单元通过阈值初筛确定异常波的阈值，如果波幅、频率、或效曲线下面积特征突破了确定的异常波阈值，则判定为异常波；所述识别单元采用专家特征分析，根据以往典型的各类干扰波形的特征进行初筛，去掉眼动伪差、眨眼伪迹、电极伪迹，同时使用带通滤波器完成对上述脑电信号的滤波处理，得到有用频带的脑电信号，并滤除频带以外的各种干扰信号，并采用简单缩放法对电生理数据进行归一处理，分段存储处理及标签化处理；然后，将预处理后的电生理样本数据输入稀疏自动编码器，基于稀疏自动编码器提取电生理数据的特征，将稀疏自动编码器输出的结果输入长短期记忆循环神经网络，对提取的数据特征进行分析，将基于长短期记忆循环神经网络的分析结果输入softmax分类器，从而完成电生理数据的分类，并最终以中文文本的形式输出对电生理数据自动判读的最终结果。
4.根据权利要求3所述的基于图像和文本识别多轮互补的HICH智能康复大健康系统，其特征在于：所述采集单元采集到CT图像时，识别单元通过U-net++对头颅CT脑窗位中的脑实质区域出血灶、水肿脑组织、正常脑组织、各个脑室及重要脑池进行分割并提取其相应特征，完成对HICH患者头颅CT图像的自动识别，包括定侧、定位及定量识别，并最终以中文文本的形式输出对CT图像自动判读的最终结果。
5.根据权利要求4所述的基于图像和文本识别多轮互补的HICH智能康复大健康系统，其特征在于：还包括分析单元，所述分析单元用于将识别单元输出的最终结果与医生得出的结果进行对比，判断识别单元的准确率、特异性及敏感度；所述分析单元还用于在相同单位时间内，将识别单元输出的最终结果数量与医生进行对比，同时计算和比较二者的准确率。
6.根据权利要求5所述的基于图像和文本识别多轮互补的HICH智能康复大健康系统，其特征在于：还包括康复枕、医护终端和患者终端，康复枕与患者终端通讯连接，医护终端与采集模块和决策模块通讯连接，患者终端与采集模块和决策模块通讯连接；所述康复枕用于采集患者的脑氧饱和数据，并将脑氧饱和数据作为康复采集数据传递给患者终端，所述患者终端用于接收并显示康复采集数据，再将康复采集数据作为电生理数据传递给采集模块，所述患者终端还用于接收并显示决策模块传递过来的数据；所述医护终端用于向采集终端读取采集数据、接收数据和输入临床文本数据。
7.根据权利要求6所述的基于图像和文本识别多轮互补的HICH智能康复大健康系统，其特征在...
【技术特征摘要】
1.基于图像和文本识别多轮互补的hich智能康复大健康系统，其特征在于，包括：
2.根据权利要求1所述的基于图像和文本识别多轮互补的hich智能康复大健康系统，其特征在于：采集模块中还包括识别单元，识别单元是基于u-net++深度学习和神经网络的计算模型，所述采集单元采集到影像学数据中的多模态mri及pet图像时，识别单元主要针对患者康复过程中的头颅mri和pet图像进行自动识别，所述识别单元用于评估患者脑实质及白质纤维束完整程度、脑血流灌注情况以及脑功能保留情况，并最终以中文文本的形式输出对mri和pet图像自动判读的最终结果；所述识别单元使用ct图像识别中的方法对mri和pet图像数据进行定侧、定位和定量识别；所述识别单元使用u-net++在编码器和解码器之间加入dense block和卷积层，在原始u-net++基础上，增加重新设计的跳跃路径，将相同dense block的前一个卷积层的输出与较低层dense block对应的采样输出进行融合，使已编码特征的语义级别更接近于待在解码器中的特征映射的语义级别；同时，采用密集跳跃连接实现编码器和解码器之间的跳跃路径，以确保所有先验特征图都被累积，并通过每个跳跃路径上的dense卷积块到达当前节点，在多个语义级别生成完整分辨率的特征映射，提高分割精度和改善梯度流；此外，识别单元还用于增加深度监督，通过修剪模型来调整模型的复杂性，调整计算推理速度和性能之间的平衡；识别单元对mri和pet图像数据进行定侧、定位和定量识别后，将其中一个mri和pet图像数据得到的识别结果作为参照结果，获取同一检查采集的其他mri和pet图像数据所得到的识别作为互补结果，将多个识别结果与参照结果依次验证和比对，对参照结果进行多轮互补，将参照结果多轮互补的结果作为最终识别结果输出。
3.根据权利要求2所述的基于图像和文本识别多轮互补的hich智能康复大健康系统，其特征在于：所述采集单元采集到电生理数据时，识别单元通过半波处理方式中对尖刺信号做平滑处理，采用主成分分析算法对电生理数据进行小波分解得到信号组分，再对信号组分套用主成分分析算法,并采用独立成分分析算法寻找伪迹信号和脑电信号的混合的信号矩阵，从而将各种伪迹从混杂的复合信号中分离处理；所述识别单元通过阈值初筛确定异常波的阈值，如果波幅、频率、或效曲线下面积特征突破了确定的异常波阈值，则判定为异常波；所述识别单元采用专家特征分析，根据以往典型的各类干扰波形的特征进行初筛，去掉眼动伪差、眨眼伪迹、电极伪迹，同时使用带通滤波器完成对上述脑电信号的滤波处理，得到有用频带的脑电信号，并滤除频带以外的各种干扰信号，并采用简单缩放法对电生理数据进行归一处理，分段存储处理及标签化处理；然后，将预处理后的电生理样本数据输入稀疏自动编码器，基于稀疏自动编码器提取电生理数据的特征，将稀疏自动编码器输出的结果输入长短期记忆循环神经网络，对提取的数据特征进行分析，将基于长短期记忆循环神经网络的分析结果输入softmax分类器，从而完成电生理数据的分类，并最终以中文文本的形式输出对电生理数据自动判读的最终结果。
4.根据权利要求3所述的基于图像和文本识别多轮互补的hich智能康复大健康系统，其特征在于：所述采集单元采集到ct图像时，识别单元通过u-net++对头颅ct脑窗位中的脑实质区域出血灶、水肿脑组织、正常脑组织、各个脑室及重要脑池进行分割并提取其相应特征，完成对hich患者头颅ct图像的自动识别，包括定侧、定位及定量识别，并最终以中文文本的形式输出对ct图像自动判读的最终结果。
5.根据权利要求4所述的基于图像和文本识别多轮互补的hich智能康复大健康系统，其特征在于：还包括分析单元，所述分析单元用于将识别单元输出的最终结果与医生得出的结果进行对比，判断识别单元的准确率、特异性及敏感度；所述分析单元还用于在相同单位时间内，将识别单元输出的...
【专利技术属性】
技术研发人员：蒋理，石全红，程崇杰，郭宗铎，徐睿，夏宇隆，
申请(专利权)人：重庆医科大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。