【技术实现步骤摘要】
本专利技术属于脑卒中诊断，具体而言，涉及基于多任务学习的脑卒中患者舌象自动识别系统及方法。
技术介绍
1、脑卒中是全球范围内导致成人致残的主要原因之一，给个人健康和社会经济带来了沉重负担。在脑卒中患者的康复过程中，早期精准干预对于提高康复效果至关重要。当前的医学诊断方法，如神经影像学，虽然在诊断精度上表现优异，但其高昂的成本和操作复杂性使其不适合在脑卒中患者的康复过程中频繁使用。这些限制促使临床上寻求其他更经济、更简便的诊断方法。中医舌诊作为一种非侵入性、低成本的诊断手段，因其良好的获得性和方便性，成为临床医生在评估和诊断脑卒中患者时常用的方法。然而，中医舌象诊断在很大程度上依赖于医生的经验，这带来了主观性，尤其是在脑卒中患者的诊断中更为明显。例如，脑卒中患者的舌质可能呈现暗紫或紫红色，这通常与血液循环障碍有关，舌质的颜色变化可以反映血液供应不足或血液流动受阻的情况；舌苔的厚度和颜色变化则可能提示体内湿热积聚或消化系统功能失调。由于舌质、舌形、舌苔等方面的诊断结果高度依赖医生的经验和能力，缺乏标准化和客观化，因而诊断的一致性和准确性受到影响。
2、近年来，随着计算机技术和深度学习的发展，人工智能在医学图像分析领域取得了显著进展。在肿瘤识别、病理图像分析等领域，深度学习方法被广泛应用，并在中医舌象的特征提取和识别方面也取得了一些成果。使用alexnet、googlenet、resnet等方法实现对裂纹、舌色等特征识别，但现有的舌象分类研究大多仅实现图像多分类方法，多分类方法仍是一个单任务方法，没有融合舌象的各个特征联系
3、例如：方法1：利用深度卷积神经网络(dcnn)使用舌象图片对舌头病变类型进行分析，应用深度学习方法构建舌苔分割模型，用于获取开放和复杂场景下的舌苔图像；方法2：分别利用yolov5s6、u-net和monbilenetv3进行舌苔区域分割和舌苔特征分类，并开发了智能舌苔诊断系统；方法3：通过融合基于区域和基于边缘的方法提出了一种具有鲁棒性的舌头分割方法；方法4：弱监督方法，通过利用边界框级注释和粗图像级注释的舌象图片来训练牙痕和裂纹检测yolo模型；方法5：通过结合混合并行注意力机制(hpam)来增强用于裂纹舌头提取的u-net模型的解码器，对现有的u-net深度学习方法进行改进；方法6：利用新框架tonguene对舌裂的识别t，新框架tonguene与inceptionv3和resnet18相比对舌裂的识别准确率更高；方法6：利用改进的u-net架构的部分编码器，引入全局卷积网络模块，解决编码器无法提取相对抽象的高级语义特征的问题,从而实现破解舌头提取；方法7：将齿痕舌头识别问题视为多实例学习任务；方法8：收集包含600个舌象图片的数据集，并在相应图像中标记了牙痕和裂纹，然后利用迁移学习训练基于faster r-cnn20的齿痕和裂纹检测模型；方法9：基于图像分割的深度学习网络(segmentation-based deep-learning，sbdl)来提取和识别舌裂，解决因舌裂颜色与周围舌苔颜色接近而导致舌裂提取不准确的问题。
4、上述方法1-9为单任务分类和舌象图片分割分析，在实际应用中存在以下几个主要缺点：
5、1.现有技术的研究主要集中于舌诊图像的基础处理和特征提取，缺乏针对脑卒中患者舌象的特定对象深入分析与识别。
6、2.缺乏全局特征的整合：单任务分类往往只针对舌象图片中的某一特定特征进行分类，如把舌红苔白分为一种标签，并没有融合舌色和苔色的特征联系，忽略了舌色、苔色、苔质之间的关联和冲突等关系。舌诊不仅涉及单一特征，还包括舌质、舌苔、颜色、厚度、纹理等多个特征之间的相互关联。单任务分类很容易忽略这些特征之间的联系，导致诊断结果不全面，不能充分反映患者的整体健康状况。而将舌象图片分割后更关注舌象图片中的局部区域，通过将舌头分成多个区块来分析特定的特征。然而，舌诊需要结合全局特征进行综合判断，局部分割可能会导致对舌象整体特征的忽视，从而降低诊断的准确性和可靠性。
7、3.忽视特征之间的关联：单任务分类将舌象中的特征孤立地看待，忽视了这些特征之间可能存在的相互作用和冲突。例如：脑卒中患者的舌色和苔色之间存在某种联系(如：淡白舌+白苔可能意味着脑卒中患者体质虚弱、气血不足导致血液循环不畅，红舌+黄腻苔可能意味着脑卒中患者体内湿热较重，湿浊内阻导致血瘀、痰浊等病理产物积聚)，而单独对其中一个特征进行分类，可能导致错失重要的诊断信息，无法提供准确的病症评估。局部特征的分割和分析导致整体特征信息的丢失，特别是在处理舌象图片中的复杂纹理或颜色渐变时，这种方法无法准确捕捉到特征之间的关系，影响最终的诊断效果。
8、4.数据稀疏性和泛化能力不足：舌象数据的获取通常具有一定的特殊性，尤其是在涉及某些罕见特征组合时，数据量可能极其有限。单任务分类方法在训练过程中可能会遇到数据稀疏的问题，导致模型难以有效学习，并且在面对新数据时，泛化能力较差，可能会出现过拟合或分类不准确的情况。将舌象图片分割后的局部图像数据量可能更为稀疏，尤其是在处理某些特定特征时，数据不足的问题更加明显。这种数据稀疏性会限制模型的学习能力，使其在实际应用中难以保持稳定性和可靠性。
9、5.难以处理复杂特征的融合：单任务分类难以处理复杂的多特征融合问题。例如，舌色和苔色的组合可能提供更全面的健康信息，但单任务分类难以有效地融合这些特征，导致对患者病情的理解和诊断不够全面。舌象图片分割分析导致局部特征分析容易忽略整体特征的整合，特别是在涉及到复杂特征的融合时，这种方法可能难以提供全面的诊断信息。
10、6.诊断的稳定性和可靠性受限：单任务分类由于仅关注单一特征，容易受限于特征表达的变化，导致诊断结果的不稳定性。在不同患者或不同条件下，单一特征的变化可能显著，单任务分类方法可能无法提供一致的诊断结果。舌象图片分割分析导致局部图像分析依赖于特定区域的特征，这种局部分析方法容易受到噪声、图像质量或标注不准确的影响，降低诊断的稳定性和可靠性。
11、因此，需要一种针对脑卒中患者的舌象分析、结合多任务学习的方法来克服现有方法局限性，为脑卒中患者的舌象分析和诊断提供更为精准和可靠的支持。
技术实现思路
1、本专利技术针对现有技术缺陷，提出一种基于多任务学习的脑卒中患者舌象自动识别系统及方法，针对脑卒中患者的舌象分析，结合多任务学习的方法，不仅能够融合舌色、苔色等特征的复杂关系，还能通过有效的数据处理和特征提取，提升模型的整体效果，为医生在脑卒中康复诊断中提供更为准确和客观的辅助支持。
2、一方面，本专利技术提供了一种基于多任务学习的脑卒中患者舌象自动识别方法，方法包括：
3、步骤1：对脑卒中患者舌象的特征进行多标签分类，将一定样本数量的本文档来自技高网...
【技术保护点】
1.一种基于多任务学习的脑卒中患者舌象自动识别方法，其特征在于，方法包括：
2.根据权利要求1所述的基于多任务学习的脑卒中患者舌象自动识别方法，其特征在于，步骤3包括：
3.根据权利要求1所述的基于多任务学习的脑卒中患者舌象自动识别方法，其特征在于，步骤3.4标签解耦模块解耦的过程包括：将提取的图片特征与相应的标签特征进行融合，随后对融合后的特征进行映射，利用通道注意力机制调整特征图中各通道的重要性，同时利用空间注意力机制调整特征图中不同空间位置的重要性，生成舌象的中间特征。
4.根据权利要求1所述的基于多任务学习的脑卒中患者舌象自动识别方法，其特征在于，步骤4包括：
5.根据权利要求4所述的基于多任务学习的脑卒中患者舌象自动识别方法，其特征在于，步骤4.3中交叉熵损失函数通过下式确定：
6.根据权利要求1所述的基于多任务学习的脑卒中患者舌象自动识别方法，其特征在于，步骤5中LGAN模型的性能评价指标：
7.根据权利要求1所述的基于多任务学习的脑卒中患者舌象自动识别方法，其特征在于，步骤1中脑卒中患者舌象的特
8.根据权利要求7所述的基于多任务学习的脑卒中患者舌象自动识别方法，其特征在于，舌色特征的标签包括舌淡特征和无舌淡特征，苔色特征的标签包括有苔色白特征和无苔色白特征；苔质特征的标签包括舌苔腻和舌苔不腻。
9.一种基于多任务学习的脑卒中患者舌象自动识别系统，包括：
...【技术特征摘要】
1.一种基于多任务学习的脑卒中患者舌象自动识别方法，其特征在于，方法包括：
2.根据权利要求1所述的基于多任务学习的脑卒中患者舌象自动识别方法，其特征在于，步骤3包括：
3.根据权利要求1所述的基于多任务学习的脑卒中患者舌象自动识别方法，其特征在于，步骤3.4标签解耦模块解耦的过程包括：将提取的图片特征与相应的标签特征进行融合，随后对融合后的特征进行映射，利用通道注意力机制调整特征图中各通道的重要性，同时利用空间注意力机制调整特征图中不同空间位置的重要性，生成舌象的中间特征。
4.根据权利要求1所述的基于多任务学习的脑卒中患者舌象自动识别方法，其特征在于，步骤4包括：
5.根据权利要求4所述的基于多任务学习...
【专利技术属性】
技术研发人员：刘红华，尹周安，曾劲松，佘畅，刘迈兰，
申请(专利权)人：湖南中医药大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。