【技术实现步骤摘要】
本专利技术涉及多模态学习、生成式人工智能、医学影像分析等领域交叉的医学影像报告生成方法，尤其是涉及一种基于知识增强跨模态语义关联的胸片报告生成方法。
技术介绍
1、胸片作为临床辅助诊断胸腔疾病的一种重要医学影像，为医生提供了丰富的视觉信息。随着影像数量的激增，放射科医生的工作负担日益加重，患者的报告等待时间也相应延长。因此，采用人工智能技术辅助实现医学影像报告的快速生成至关重要。
2、当前，基于深度学习编码-解码结构的图像字幕模型在图像字幕生成任务中展现出强大性能。这些方法通过编码器对图像进行深度特征提取和编码，随后利用解码器对视觉编码特征进行精准解码，生成与图像内容相匹配的字幕。受图像字幕模型的启发，一些基于编码-解码结构的胸片报告生成方法应运而生。值得注意的是，胸片报告生成任务相较于图像字幕任务更为复杂，要求生成多个句子以详细描述影像中存在的病变信息，每个句子需精确对应描述影像中特定器官的疾病情况，凸显了跨模态语义关联在胸片报告生成中的重要性。由于图像和文本之间存在跨模态语义差异，要生成准确详细的报告来描述胸片仍然具有挑战性。
技术实现思路
1、本专利技术的目的是针对现有技术的不足，提出一种基于知识增强跨模态语义关联的胸片报告生成方法。具体地，本专利技术提出在训练过程中，将胸片影像的视觉序列和语言序列的语义进行匹配关联。采用视觉编码器和语言编码器将胸片影像和报告的语言序列分别进行编码得到视觉序列和语言序列。然后，抽取医学实体知识并通过医学实体知识编码模块融合到视觉序
2、一种基于知识增强跨模态语义关联的胸片报告生成方法，解决其技术问题所采用的技术方案包括如下具体步骤：
3、步骤(1)、选取胸片影像及包含医学主题词的报告，构成训练数据集记为{i，t}。其中，i和t分别表示数据集中的胸片影像和对应含有医学主题词的报告；
4、步骤(2)、采用视觉编码器中的卷积神经网络从胸片影像中提取卷积视觉特征，将卷积视觉特征展开并映射得到视觉序列，记为其中，n为视觉序列的长度，dmodel为模型的特征维度；
5、步骤(3)、采用包含自注意力层和结构化编码层的语言编码器，将对应含有医学主题词的报告编码为语言序列其中，n为语言序列的长度，与视觉序列的长度相同；
6、步骤(4)、从医学领域知识库中抽取胸片相关的医学实体知识，例如，“肺不张”→“肺不张是指一个或多个肺段肺叶的容量或含气量减少，通常伴有受累区域的透光度降低”；
7、步骤(5)、通过词向量映射网络编码医学实体知识得到词映射向量并加上位置编码信息，输入实体知识编码模块进一步编码。其中，实体知识编码模块包含自注意力编码层和多层感知机网络，对医学实体知识进行编码，得到医学实体知识编码特征其中，k表示医学实体知识的数量，dmodel为医学实体知识编码特征的维度，与模型的特征维度相同。ej表示第j个医学实体知识的编码特征，由以下公式编码得到：
8、ej＝φknowledge(descriptionj) (公式1)
9、其中，φknowledge表示实体知识编码模块，descriptionj是第j个医学实体知识的详细描述；
10、步骤(6)、使用融合模块将视觉序列和医学实体知识编码特征通过交叉注意力机制进行融合，得到知识融合后的视觉序列具体公式如下：
11、vq，i＝vi·wq，ek，j＝ej·wk，ev，j＝ej·wv (公式2)
12、
13、
14、
15、其中，wq、wk、wv分别表示用于映射查询向量、键向量和值向量的线性变换矩阵；vi表示视觉序列中第i个元素，ej表示第j个医学实体知识的编码特征；vq,i表示通过对应的权重矩阵变换后的第i个查询向量，ek,j、ev，j表示通过对应的权重矩阵变换后的第j个键向量和值向量；是视觉序列元素经过交叉注意力机制后的中间特征，ai，j为注意力权重，wo是知识融合输出过程的权重矩阵，exp表示指数函数，t为转置操作；
16、步骤(7)、与步骤(6)中的知识融合过程类似，给定语言序列l，将其与步骤(5)中的医学实体知识融合，得到知识融合后的语言序列
17、步骤(8)、使用知识融合后的视觉序列或语言序列作为提示符号，交替输入文本生成解码器中，以生成含有医学主题词的报告。
18、具体地：将提示符号、目标的医学主题词文本和目标的报告文本拼接相连进行映射，得到符号映射信息tok.e，并加上位置编码信息pos.e和字符分段信息seg.e，共同输入多层掩码交叉注意力层和线性输出层，基于自回归生成式算法生成含有医学主题词的报告；
19、步骤(9)、采用回溯学习策略结合交替学习策略来学习优化模型的参数，将知识融合后的视觉序列和语言序列进行语义关联；
20、步骤(10)、在测试过程中，将待测试的胸片影像输入视觉编码器提取影像的视觉序列，融合实体医学知识后，输入文本生成解码器，采用自回归方式生成所有时刻的词汇，并取所有词汇进行串联就得到了含医学主题词的报告。其中，医学主题词和报告文本间采用拼接操作相连，基于自回归生成式算法生成。文本生成解码器包含s层掩码交叉注意力层，输出的隐藏状态可表示为如下公式：
21、h＝{h1，h2，…，ht-1}＝layers(tt-1，p) (公式6)
22、其中，p表示输入文本生成解码器的提示符号，可以为视觉序列或语言序列以及混合序列，混合序列通过随机混合知识融合后的视觉序列和语言序列获得，layers表示s层掩码交叉注意力层，tt-1表示之前相邻时刻t-1生成的文本序列。ht-1表示之前相邻时刻t-1的隐藏状态。
23、进一步地，通过线性变换和softmax操作，将解码器最后一个交叉注意力层输出的ht-1作为条件生成当前时刻t的词汇tt，公式如下：
24、tt～pt＝softmax(ht-1wp+bp) (公式7)
25、其中，为线性映射矩阵，bp表示可学习的参数，dvocab表示词汇表中的词汇总数量，pt表示时刻t输出词汇的概率分布。
26、进一步的，步骤(9)的具体实现如下：
27、9-1.通过将知识融合后的视觉序列输入文本生成解码器生成报告，然后将报告输入语言编码器，获取回溯语言序列，记为ltraceback；
28、9-2.定义损失函数lv2t，表示以知识融合后的视觉序列为条件的胸片影像输入文本生成解码器生成报告的交叉熵损失：
29、
30、其中，m表示报告序列的长度，即生成该报告序列所需的时间步数，本文档来自技高网...
【技术保护点】
1.一种基于知识增强跨模态语义关联的胸片报告生成方法，其特征在于通过融合医学实体知识和回溯学习策略在训练过程中将胸片影像的视觉序列和报告的语言序列进行语义关联，从而提高胸片报告生成的准确性。
2.根据权利要求1所述的一种基于知识增强跨模态语义关联的胸片报告生成方法，其特征在于，具体步骤如下：
3.根据权利要求2所述的一种基于知识增强跨模态语义关联的胸片报告生成方法，其特征在于，步骤(5)所述的实体知识编码模块包含自注意力编码层和多层感知机网络，对医学实体知识进行编码，得到医学实体知识编码特征其中，K表示医学实体知识的数量，dmodel为医学实体知识编码特征的维度，与模型的特征维度相同；ej表示第j个医学实体知识的编码特征，由以下公式编码得到：
4.根据权利要求2所述的一种基于知识增强跨模态语义关联的胸片报告生成方法，其特征在于，步骤(6)具体实现公式如下：
5.根据权利要求2所述的一种基于知识增强跨模态语义关联的胸片报告生成方法，其特征在于，文本生成解码器的实现如下：将提示符号、目标的医学主题词文本和目标的报告文本拼接相连进行映射，
6.根据权利要求2所述的一种基于知识增强跨模态语义关联的胸片报告生成方法，其特征在于，步骤(9)的具体步骤如下：
7.根据权利要求2所述的一种基于知识增强跨模态语义关联的胸片报告生成方法，其特征在于，步骤(10)文本生成解码器包含S层掩码交叉注意力层，输出的隐藏状态表示为如下公式：
...【技术特征摘要】
1.一种基于知识增强跨模态语义关联的胸片报告生成方法，其特征在于通过融合医学实体知识和回溯学习策略在训练过程中将胸片影像的视觉序列和报告的语言序列进行语义关联，从而提高胸片报告生成的准确性。
2.根据权利要求1所述的一种基于知识增强跨模态语义关联的胸片报告生成方法，其特征在于，具体步骤如下：
3.根据权利要求2所述的一种基于知识增强跨模态语义关联的胸片报告生成方法，其特征在于，步骤(5)所述的实体知识编码模块包含自注意力编码层和多层感知机网络，对医学实体知识进行编码，得到医学实体知识编码特征其中，k表示医学实体知识的数量，dmodel为医学实体知识编码特征的维度，与模型的特征维度相同；ej表示第j个医学实体知识的编码特征，由以下公式编码得到：
4.根据权利要求2所述的一种基于知识增强跨模态语...
【专利技术属性】
技术研发人员：杨艳，孙佳美，俞俊，尤晓兴，彭云，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。