【技术实现步骤摘要】
本专利技术涉及图像识别领域，尤其涉及基于医疗影像和报告文本的融合检索方法和系统。
技术介绍
1、医疗影像和报告检索通过从大量影像数据和文本报告中快速提取相关信息，支持影像和报告文本的检索，协助临床诊断、治疗决策、研究和教育。相似病例可以提供参考减少误诊风险，也有助于利用检索数据进行疾病研究和疗效评估，帮助医生跟踪患者病情变化进行有效的随访和长期监控，总体提升医疗服务质量和效率。
2、传统图像检索方法通过提取灰度、纹理和形状等特征来实现检索，深度学习通过自动提取深度特征实现检索，常用的网络包括resnet和vgg。在文本检索方面，传统方法通过关键词匹配和语义分析进行检索，深度学习方法通过神经网络或大语言模型实现。
3、但是不管是传统方法还是深度学习的方法都存在一些不足，首先是数据质量和多样性限制。由于医学影像和报告数据的数量和质量，对模型的训练和使用存在限制，影响了系统的性能和泛化能力。另外深度学习特征提取存在局限性和缺乏解释性指导。尽管深度学习方法在特征提取方面表现优异，但需要大数据，以及确保深度网络能够准确提取图像或文本中的信息，从而真正学习到疾病相关图像区域和报告内容的特征。
技术实现思路
1、本专利技术的目的在于提供基于医疗影像和报告文本的融合检索方法和系统，以解决上述
技术介绍
中提出的问题。
2、为实现上述专利技术目的，本专利技术的一个方面提供基于医疗影像和报告文本的融合检索方法，包括以下步骤：
3、步骤s1,基于clip模型，
4、步骤s2，根据文本或者图像进行网络推理和搜索。
5、进一步的，步骤s1包括以下步骤：
6、步骤s101，对于输入的图像和文本对，完成特征提取；
7、步骤s102，对图像和文本对进行训练；
8、步骤s103，输入若干个图像和文本对，建立图像和文本特征向量的混淆矩阵，根据图像和文本对是否配对为基础设置混淆矩阵的目标值，配对的设为1，不配对的设为0；混淆矩阵是图像和文本特征向量的余弦相似度；
9、步骤s104,训练完成后，将所有训练样本的图像和文本对进行投影，存储其投影特征向量，作为检索数据库。
10、进一步的，所述根据文本进行网络推理和搜索,推理时输入文本，经过系统的文本编码器获得文本的特征向量，利用余弦相似度，获得与之对应的最佳匹配图像并输出。
11、进一步的，所述根据图像进行网络推理和搜索,推理时输入图像，经过系统的图像编码器获得图像的特征向量，利用余弦相似度，获得与之对应的最佳匹配文本报告并输出。
12、本专利技术的另一个方面提供基于医疗影像和报告文本的融合检索系统，包括训练模块和搜索模块，其中：
13、训练模块基于clip模型，根据图像和文本对进行训练，对图像和文本特征进行压缩和存储，建立图文特征以及与之匹配的图像数据库；
14、搜索模块，根据文本或者图像进行网络推理和搜索。
15、进一步的，训练模块包括以下组件：
16、特征提取组件，用于对输入的图像和文本对，完成特征提取；
17、训练组件，用于对图像和文本对进行训练；
18、混淆组件，用于对输入的若干个图像和文本对，建立图像和文本特征向量的混淆矩阵，并根据图像和文本对是否配对为基础设置混淆矩阵的目标值，配对的设为1，不配对的设为0；混淆矩阵是图像和文本特征向量的余弦相似度；
19、存储组件,用于将所有训练样本的图像和文本对进行投影，存储其投影特征向量，作为检索数据库。
20、进一步的，所述根据文本进行网络推理和搜索,推理时输入文本，经过系统的文本编码器获得文本的特征向量，利用余弦相似度，获得与之对应的最佳匹配图像并输出。
21、进一步的，所述根据图像进行网络推理和搜索,推理时输入图像，经过系统的图像编码器获得图像的特征向量，利用余弦相似度，获得与之对应的最佳匹配文本报告并输出。
22、由于采用本系统和方法，与现有技术相比，具有以下优点：
23、1.本专利技术通过提取文本报告的深度特征，提高了clip模型的匹配精度。此外，该方法具备很强的可扩展性，可以方便地适应和扩展到不同规模的图文数据库。在处理新的文本报告时，只需将文本报告通过深度学习进行推理，获得其特征。在加入新的图文对进行学习时，可根据需要对已有的训练队列进行学习，如果网络没有更新，则不需要对已有的图文数据对的特征向量进行重新计算。
24、2.本专利技术方法可以广泛应用于各种影像图像和报告中，例如xr(x射线)、ct(计算机断层扫描)、mr(磁共振成像)等。不仅提高了图文匹配的精度，还具备良好的可扩展性，能够方便地适应不同规模的图文数据库，支持动态扩展和内容更新。
25、3.本专利技术方法不仅适用于影像图像和报告，例如xr(x射线)、ct(计算机断层扫描)、mr(磁共振成像)等，还可以扩展到其他医疗领域，如住院报告、治疗报告等。通过对这些报告进行学习，采用clip模型能够更加精准地匹配报告的关键内容。这不仅提高了图文匹配的精度，还具备良好的可扩展性，能够方便地适应不同规模的图文数据库，支持动态扩展和内容更新。
本文档来自技高网...【技术保护点】
1.基于医疗影像和报告文本的融合检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于医疗影像和报告文本的融合检索方法，其特征在于，步骤S1包括以下步骤：
3.根据权利要求1所述的基于医疗影像和报告文本的融合检索方法，其特征在于，所述根据文本进行网络推理和搜索,推理时输入文本，经过系统的文本编码器获得文本的特征向量，利用余弦相似度，获得与之对应的最佳匹配图像并输出。
4.根据权利要求1所述的基于医疗影像和报告文本的融合检索方法，其特征在于，所述根据图像进行网络推理和搜索,推理时输入图像，经过系统的图像编码器获得图像的特征向量，利用余弦相似度，获得与之对应的最佳匹配文本报告并输出。
5.基于医疗影像和报告文本的融合检索系统，其特征在于，包括训练模块和搜索模块，其中：
6.根据权利要求5所述的基于医疗影像和报告文本的融合检索系统，其特征在于，训练模块包括以下组件：
7.根据权利要求5所述的基于医疗影像和报告文本的融合检索系统，其特征在于，所述根据文本进行网络推理和搜索,推理时输入文本，经过系统的文本编
8.根据权利要求5所述的基于医疗影像和报告文本的融合检索系统，其特征在于，所述根据图像进行网络推理和搜索,推理时输入图像，经过系统的图像编码器获得图像的特征向量，利用余弦相似度，获得与之对应的最佳匹配文本报告并输出。
...【技术特征摘要】
1.基于医疗影像和报告文本的融合检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于医疗影像和报告文本的融合检索方法，其特征在于，步骤s1包括以下步骤：
3.根据权利要求1所述的基于医疗影像和报告文本的融合检索方法，其特征在于，所述根据文本进行网络推理和搜索,推理时输入文本，经过系统的文本编码器获得文本的特征向量，利用余弦相似度，获得与之对应的最佳匹配图像并输出。
4.根据权利要求1所述的基于医疗影像和报告文本的融合检索方法，其特征在于，所述根据图像进行网络推理和搜索,推理时输入图像，经过系统的图像编码器获得图像的特征向量，利用余弦相似度，获得与之对应的最佳匹配文本报告并输出。
5...
【专利技术属性】
技术研发人员：何萍，夏寒，李晓洁，徐博，姚华彦，魏明月，钟臻，胡佳迎，张亚男，范骏翔，邵瀚臣，
申请(专利权)人：上海申康医院发展中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。