本发明专利技术公开了一种基于舌像和知识图谱的处方推荐方法及系统，该方法包括：构建舌像处方数据集，划分舌像处方训练集和测试集并进行预处理；构建中医舌诊知识图谱，并进行知识表示学习；构建神经网络模型；所述神经网络模型包括：舌像特征模块、处方特征模块和处方推荐模块，利用舌像处方训练集和所述中医舌诊知识图谱，对所述神经网络模型进行迭代训练，并利用舌像处方测试集进行测试，获得优神经网络模型；采用所述最优神经网络模型，对采集待处理的舌像进行识别，获得对应的推荐处方。该方法可实现依据患者舌像推荐中医处方的辅助诊疗功能。基于该方法开发为软件程序，也无需依赖特定医疗器材，具有一定的推广价值。具有一定的推广价值。具有一定的推广价值。
【技术实现步骤摘要】
一种基于舌像和知识图谱的处方推荐方法及系统
[0001]本专利技术涉及计算机图像识别和计算机视觉的
，更具体的说是涉及一种基于舌像和知识图谱的处方推荐方法及系统。
技术介绍
[0002]作为中医四诊“望、闻、问、切”之首，望诊是中医辨证论治的重要组成部分。望诊通过对面部、耳、舌等典型映射区域进行观察，依据这些体表特征判断相应脏器的健康情况，并诊断疾病。望诊主要关注面诊和舌诊。舌诊是医师通过观察舌体、舌质、舌苔、舌下脉络等舌象特征来判断人体健康状况的一种方法，其具有“观舌本可验机体阴阳虚实，审舌垢即知邪之寒热深浅”的特性，是中医辨证论治必不可少的参考依据，并且对临床用药有重要指导作用。
[0003]传统中医舌诊依赖于专家医生的知识和诊断技能，容易受到主观因素的影响，且面临着专家医生稀缺的压力。随着计算机科学与人工智能的高速发展，许多研究人员将人工智能与传统中医诊疗相结合，例如在舌诊方面，通过引入现代化计算机视觉技术，对舌苔图像中的信号加以提取，捕捉其特征信息，实现对于舌苔图像的处理和分析，来完成诊察等医学任务，甚至在某些特定任务上有着超过人类顶尖医师的水平。可以说，人工智能在中医各个领域的有效应用，能够大大提升中医诊疗效率，缓解医疗资源稀缺压力，进一步推进现代化中医诊疗。
[0004]推荐系统是计算机领域一个重要的研究方向，主要用来应对海量互联网数据带来的信息超载、数据噪声泛滥等问题。推荐系统实现了用户个性化推荐，它通过对用户行为兴趣的进行分析，再根据算法定制用户的推荐项目列表，达到信息筛选的效果。
[0005]近年来，结合信息融合、知识图谱等技术，来缓解推荐系统所面临的数据稀疏、关键信息缺失等问题的研究，也受到越来越多的关注。推荐系统的个性化定制特性，使得其可以作为开具处方任务上的一种解决方案。
[0006]因此，如何基于计算机视觉技术，根据舌像实现对处方的推荐，是本领域技术人员亟需解决的问题。
技术实现思路
[0007]有鉴于此，针对现有技术的不足，本专利技术提供了一种基于舌像和知识图谱的处方推荐方法及系统，能够根据舌像状况推荐相应的中医处方，为中医舌诊提供智能化辅助。
[0008]为了实现上述目的，本专利技术采用如下技术方案：
[0009]第一方面，本专利技术实施例提供一种基于舌像和知识图谱的处方推荐方法，包括以下步骤：
[0010]构建舌像处方数据集，划分舌像处方训练集和测试集并进行预处理；
[0011]构建中医舌诊知识图谱，并进行知识表示学习；
[0012]构建神经网络模型；所述神经网络模型包括：舌像特征模块、处方特征模块和处方
推荐模块，用于提取舌像特征、处方特征；并融合第一多模态特征和第二多模态特征，得出处方推荐及得分；所述第一多模态特征为所述舌像特征与所述中医舌诊知识图谱中相对应节点的融合结果；所述第二多模态特征为所述处方特征与中医舌诊知识图谱中相对应节点的融合结果；
[0013]利用所述舌像处方训练集和所述中医舌诊知识图谱，对所述神经网络模型进行迭代训练，并利用舌像处方测试集进行测试，获得优神经网络模型；
[0014]采用所述最优神经网络模型，对采集待处理的舌像进行识别，获得对应的推荐处方。
[0015]进一步地，所述舌像处方数据集，包括多张舌头图像以及相对应的处方信息；所述处方信息包括：药材和剂量信息。
[0016]进一步地，划分舌像处方训练集和测试集并进行预处理，包括：
[0017]根据预设比例划分舌像处方训练集和舌像处方测试集；
[0018]对所述舌像处方训练集的预处理为随机裁剪、大小缩放、随机水平垂直翻转和归一化操作；
[0019]对所述舌像处方测试集的预处理为大小缩放、居中裁剪和归一化操作。
[0020]进一步地，构建中医舌诊知识图谱，并进行知识表示学习；包括：
[0021]以医学资源数据库、中医医学文献以及医学百度百科作为中医舌诊知识图谱的数据来源；
[0022]采用自顶向下的构建方式，根据设计知识图谱顶层数据模式，从所述数据来源中抽取实体、关系和属性信息，获取三元组知识；
[0023]通过图数据库Neo4j进行存储，完成中医舌诊知识图谱的构建，并进行知识表示学习。
[0024]进一步地，所述处方特征模块，输入为处方信息，转换为独热向量，经过全连接层降维，得到文本模态下的处方特征表示。
[0025]进一步地，所述处方推荐模块的处理过程包括：
[0026]将所述舌像特征与所述中医舌诊知识图谱中舌象节点特征两者采用相加操作融合后，形成舌象融合特征；
[0027]将所述处方特征与所述中医舌诊知识图谱中药材节点特征两者采用相加操作融合后，形成处方融合特征；
[0028]将所述舌象融合特征与处方融合特征标准化处理并经过拼接，输入到多层感知机学习两者之间的内在交互，输出模型所预测的推荐分数；根据推荐分数对不同处方进行降序排列，最终得到推荐处方及对应的推荐分数。
[0029]进一步地，利用所述舌像处方训练集和所述中医舌诊知识图谱，对所述神经网络模型进行迭代训练；包括：
[0030]将所述舌像处方训练集中的舌像
‑
处方对样本，及与所述中医舌诊知识图谱中对应的舌象节点特征、药材节点特征，共同作为训练样本数据对神经网络模型进行训练；
[0031]采用交叉熵损失函数，优化算法采用随机梯度下降方法，多次迭代对神经网络模型件优化训练。
[0032]第二方面，本专利技术实施例还提供一种基于舌像和知识图谱的处方推荐系统，包括：
[0033]第一构建模块，用于构建舌像处方数据集，划分舌像处方训练集和测试集并进行预处理；
[0034]第二构建模块，用于构建中医舌诊知识图谱，并进行知识表示学习；
[0035]第三构建模块，用于构建神经网络模型；所述神经网络模型包括：舌像特征模块、处方特征模块和处方推荐模块，用于提取舌像特征、处方特征；并融合第一多模态特征和第二多模态特征，得出处方推荐及得分；所述第一多模态特征为所述舌像特征与所述中医舌诊知识图谱中相对应节点的融合结果；所述第二多模态特征为所述处方特征与中医舌诊知识图谱中相对应节点的融合结果；
[0036]训练测试模块，利用所述舌像处方训练集、测试集和所述中医舌诊知识图谱，对所述神经网络模型进行迭代训练及测试，得到最优的神经网络模型；
[0037]推荐模块，采用最优的神经网络模型，对采集待处理的舌像进行识别，获得对应的推荐处方。
[0038]第三方面，本专利技术实施例又提供一种计算机设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
[0039]存储器，用于存放计算机程序；
[0040]处理器，用于执行存储器上所存放的程序时，能够实现如第一方面中任一项所述的基于舌像和知识图谱的处方推荐方法。
[0041]第四方面，本专利技术实施例再提供本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于舌像和知识图谱的处方推荐方法，其特征在于，包括以下步骤：构建舌像处方数据集，划分舌像处方训练集和测试集并进行预处理；构建中医舌诊知识图谱，并进行知识表示学习；构建神经网络模型；所述神经网络模型包括：舌像特征模块、处方特征模块和处方推荐模块，用于提取舌像特征、处方特征；并融合第一多模态特征和第二多模态特征，得出处方推荐及得分；所述第一多模态特征为所述舌像特征与所述中医舌诊知识图谱中相对应节点的融合结果；所述第二多模态特征为所述处方特征与中医舌诊知识图谱中相对应节点的融合结果；利用所述舌像处方训练集和所述中医舌诊知识图谱，对所述神经网络模型进行迭代训练，并利用舌像处方测试集进行测试，获得优神经网络模型；采用所述最优神经网络模型，对采集待处理的舌像进行识别，获得对应的推荐处方。2.根据权利要求1所述的一种基于舌像和知识图谱的处方推荐方法，其特征在于，所述舌像处方数据集，包括多张舌头图像以及相对应的处方信息；所述处方信息包括：药材和剂量信息。3.根据权利要求1所述的一种基于舌像和知识图谱的处方推荐方法，其特征在于，划分舌像处方训练集和测试集并进行预处理，包括：根据预设比例划分舌像处方训练集和舌像处方测试集；对所述舌像处方训练集的预处理为随机裁剪、大小缩放、随机水平垂直翻转和归一化操作；对所述舌像处方测试集的预处理为大小缩放、居中裁剪和归一化操作。4.根据权利要求1所述的一种基于舌像和知识图谱的处方推荐方法，其特征在于，构建中医舌诊知识图谱，并进行知识表示学习；包括：以医学资源数据库、中医医学文献以及医学百度百科作为中医舌诊知识图谱的数据来源；采用自顶向下的构建方式，根据设计知识图谱顶层数据模式，从所述数据来源中抽取实体、关系和属性信息，获取三元组知识；通过图数据库Neo4j进行存储，完成中医舌诊知识图谱的构建，并进行知识表示学习。5.根据权利要求1所述的一种基于舌像和知识图谱的处方推荐方法，其特征在于，所述处方特征模块，输入为处方信息，转换为独热向量，经过全连接层降维，得到文本模态下的处方特征表示。6.根据权利要求1所述的一种基于舌像和知识图谱的处方推荐方法，其特征在于，所述处方推荐模块的处理过程包括：将所述舌像特征与所述中医舌诊知识图谱中舌象节点特征两者采用相加操作融合后，形成舌象...
【专利技术属性】
技术研发人员：文贵华，黄钰桦，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。