【技术实现步骤摘要】
本专利技术涉及医学文本报告自动生成，具体涉及一种融合空间信息和联合损失优化的x光胸片报告生成方法。
技术介绍
1、x光胸片作为最常见的医学影像之一，是医生进行肺部、心脏等相关疾病诊断的重要工具，被广泛应用于医学临床诊断和治疗中。传统的x光胸片诊断需要医生仔细阅读x光胸片，并准确地描述x光图像中所显示的异常情况，然后再给出相应的诊断结果。然而，这种方式存在着时间成本高、主观性强等问题，因此，如何快速而准确地对x光胸片进行诊断成为了医学界和计算机科学界共同关注的课题。
2、自动化诊断报告生成是一项需要计算机视觉和自然语言处理等多个前沿研究领域相结合的研究任务，主要是利用从图像提取到的特征预测每一个时间步对应的单词，从而构建整个编解码模型框架。然而，本申请的专利技术人经过研究发现，当前利用深度学习生成x光胸片诊断报告的方法存在以下不足：(1)对特征图的patch做注意力，难以学习到准确的特征图空间注意力关系；(2)特征图存在丰富的空间信息，而transformer将特征图分成patch之后，可能会损失掉丰富的空间信息；(3)仅仅利用生成的报告来计算损失，可能会导致模型偏向生成正常的报告，而无法生成异常的报告。
技术实现思路
1、本专利技术的目的在于提供一种融合空间信息和联合损失优化的x光胸片报告生成方法，以解决上述
技术介绍
中提出现有技术中的问题。
2、为实现上述目的，本专利技术采用了如下技术方案：
3、一种融合空间信息和联合损失优化的x光胸片报告生成方
4、s1、使用图像特征提取器提取x光胸片中的视觉特征，该图像特征提取器由深度卷积网络组成，包括第一至第四紧密连接层组和第一至第三过渡层，所述第一过渡层位于第一紧密连接层组之后，所述第二过渡层位于第二紧密连接层组之后，所述第三过渡层位于第三紧密连接层组之后，所述第四紧密连接层组位于第三过渡层之后；
5、s2、通过空间信息矩阵学习层生成一个蕴含特征图空间信息的矩阵，由自注意力层、前馈层和卷积层组成；
6、s3、卷积块注意力模块用于学习各个特征之间的注意力关系，由通道注意力和空间注意力组成；
7、s4、编解码器用于生成文本报告，编解码器由十个标准transformer编码层、十个标准transformer解码层、一个全连接层和一个softmax回归层组成；
8、s5、利用生成的报告和疾病分类结果计算损失，优化网络模型。
9、优选地、所述步骤s1中所述图像特征提取器用于提取x光胸片中的视觉特征，该图像特征提取器由densenet组成。
10、优选地、所述步骤s5中首先采用xavier方法对网络模型参数进行初始化，然后采用adam算法优化网络目标函数，并运用误差反向传播算法更新网络模型参数；将数据集mimic-cxr按7：1：2比例分为训练集、验证集和测试集。
11、优选地、所述步骤s3其中的多头自注意力和多头交叉注意力模块中的注意力头数为8。
12、本专利技术的技术效果和优点：本专利技术提出的一种融合空间信息和联合损失优化的x光胸片报告生成方法，与现有技术相比，具有以下优点：
13、1、提高准确性：本专利技术通过将文本报告损失和疾病分类损失作为联合损失，并通过将疾病分类结果扩展成矩阵拼接到特征图中，利用疾病分类结果指导报告的生成，以此提高生成报告的准确性；
14、2、本专利技术通过添加一个空间信息矩阵来学习特征图中存在的丰富的空间信息；
15、3、通过添加一个卷积块注意力模块来学习准确的特征图空间注意力关系。
本文档来自技高网...【技术保护点】
1.一种融合空间信息和联合损失优化的X光胸片报告生成方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种融合空间信息和联合损失优化的X光胸片报告生成方法，其特征在于：所述步骤S1中所述图像特征提取器用于提取X光胸片中的视觉特征，该图像特征提取器由DenseNet组成。
3.根据权利要求1所述的一种融合空间信息和联合损失优化的X光胸片报告生成方法，其特征在于：所述步骤S5中首先采用Xavier方法对网络模型参数进行初始化，然后采用Adam算法优化网络目标函数，并运用误差反向传播算法更新网络模型参数；将数据集MIMIC-CXR按7：1：2比例分为训练集、验证集和测试集。
4.根据权利要求1所述的一种融合空间信息和联合损失优化的X光胸片报告生成方法，其特征在于：所述步骤S3其中的多头自注意力和多头交叉注意力模块中的注意力头数为8。
【技术特征摘要】
1.一种融合空间信息和联合损失优化的x光胸片报告生成方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种融合空间信息和联合损失优化的x光胸片报告生成方法，其特征在于：所述步骤s1中所述图像特征提取器用于提取x光胸片中的视觉特征，该图像特征提取器由densenet组成。
3.根据权利要求1所述的一种融合空间信息和联合损失优化的x光胸片报告生成方法，其特征在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。