本发明专利技术公开了一种AI医疗‑胸部医学影像报告自动生成方法，属于医学与信息技术交叉技术领域，包括以下步骤：S1：胸部x光影像采集；S2：医学影像报告生成；S3：医学影像报告反馈。本发明专利技术利用人工智能和医学影像技术，预先收集医院胸部x光医学影像及相应文本数据，建立相关数据库，对患者所拍摄的胸部x光医学影像通过医学报告生成模型进行报告的自动生成，集收集、传输、服务器处理、生成结果和输出于一体，提高了报告的准确度以及可理解性。
【技术实现步骤摘要】
本专利技术涉及医学与信息技术交叉，具体涉及一种ai医疗-胸部医学影像报告自动生成方法。
技术介绍
1、患者拍摄胸部x光后所得的影像通常由专业医师对医学影像进行审阅，这需要投入大量的人力和时间，而且容易受到主观因素的影响，导致报告的一致性和准确性有所欠缺。医学报告自动生成的关键在于数据提取和结构化、信息处理、影像与文字报告的跨模型对齐和长报告的自动生成。通过使用医学报告自动生成系统可以有效地减少医生的工作量，同时能够提高医院的就诊效率以及能够在一定程度上减少患病的风险。
2、借助人工智能(ai)技术来实现自动分析和解释医学影像数据，提取关键特征和病变信息。医学影像处理技术可以用于对影像数据进行增强、分割和配准等处理，以提取更准确的特征信息。自然语言处理(nlp)技术则可以将从影像数据中提取的信息转化为结构化和语义准确的报告文本。
3、常用的医学报告生成模型主要有基于模板的方法、基于检索的方法和基于字幕的生成模型或深度神经网络。而其中基于字幕的生成模型或深度神经网络又包括基于编解码器的模型和基于编码器-解码器的注意力模型。而最先的技术为合并模型，其中cnn用于提取视觉特征，bert等用于学习文本特征。
4、然而，目前仍存在一些挑战。首先，胸部影像数据存在多类疾病，其质量和影像描述可能对应不准确。其次，由于医学报告的复杂性和多样性，对于不同类型和领域的报告，需要设计相应的模型和算法来适应不同的情况。此外，语义理解和逻辑推理等问题也需要进一步研究和改进，以提高自动生成报告的准确性和可理解性。
<
p>5、因此，当前的研究重点是改进医学影像分析和处理技术，提高自动报告生成的准确性和效率，以及进一步探索深度学习、自然语言生成和知识图谱等技术在医学报告自动生成领域的应用。为此，提出一种ai医疗-胸部医学影像报告自动生成方法。
技术实现思路
1、本专利技术所要解决的技术问题在于：如何解决现有报告生成模型准确度低、语义逻辑混乱、标注数据规模小，提供了一种ai医疗-胸部医学影像报告自动生成方法。
2、本专利技术是通过以下技术方案解决上述技术问题的，本专利技术包括以下步骤：
3、s1：胸部x光影像采集
4、利用医疗影像设备进行胸部x光影像采集，传输至服务器中；
5、s2：医学影像报告生成
6、通过服务器上部署的医学影像报告生成模型对胸部x光影像进行描述，完成医学影像报告的生成；
7、s3：医学影像报告反馈
8、当医学影像报告的生成结果中，准确率低于预设的阈值，则反馈给医师进行再次审核和描述，最终将一份合格的医学影像报告反馈给患者的移动端。
9、更进一步地，在所述步骤s2中，医学影像报告生成模型的具体处理过程如下：
10、s21：利用卷积神经网络对胸部x光影像中胸部异常区域进行特征的关注及提取，得到视觉特征i，其中视觉特征i即图像特征；
11、s22：通过使用由radgraph提供的一般知识构成的知识图，同时通过放射学报告标签器chexbert，为每个单词生成一个伪标签，以提取文本信息，根据图像特征对齐文本特征得到跨模态特征矩阵对，即跨模态特征，其次将图像-文本跨模态信息嵌入到单一模态特征中，实现跨模态细粒度特征对齐；
12、s23：将一般知识和跨模态信息通过知识增强的多头注意力机制，共同作为医学影像报告生成模型的解码器中多头注意力模块中的键特征k、值特征v；
13、s24：最后在解码器中通过记忆驱动的transformer生成医疗报告。
14、更进一步地，在所述步骤s21中，通过使用在imagenet上预训练后的resnet-101作为视觉特征提取模块，对输入的影像进行视觉特征提取。
15、更进一步地，在所述步骤s22中，使用三元组集来表示一般知识，其中ng是指三元组的数量，通过从手动构建的知识图中获取一般知识，使用了一个图嵌入模型rotate来获得实体嵌入和关系嵌入：
16、{ee,er}＝rotate(gg)
17、其中，ee表示实体嵌入，和er表示关系嵌入；
18、图嵌入模型rotate将每个关系定义为复向量空间中从源实体ei到目标实体ej的旋转。
19、更进一步地，在所述步骤s22中，放射学报告标签器chexbert的具体过程如下：
20、s2201：将与图像相关联的报告表示如下：
21、
22、其中，wi是报告中的第i个单词，nr是报告中的单词数；
23、s2202：伪标签的标记过程表示如下：
24、
25、其中，yi∈{0,1}是第i个类别的预测结果，nl是类别的数量，并且fal(·)表示放射学报告标签器chexbert。
26、更进一步地，在所述步骤s22中，跨模态细粒度特征对齐的具体过程如下：
27、s2211：使用预训练的resnet-101和bert来提取全局视觉和文本表示，分别为和其中c1和c2分别是视觉和文本表示提取的通道数，并提取翻转图像特征
28、s2212：通过对所有训练样本重复步骤s2211的过程，为每个类别获得一组特征集：
29、
30、其中，和是类别k的视觉和文本特征集，i(f)表示原始图像i或翻转图像并且yu,k表示样本u的类别中k的标签；
31、s2213：将视觉和文本表示连接起来，形成跨模态特征其中d＝c1+c2；
32、s2214：采用k-means将每个特征集聚类为np个聚类，每个聚类中特征的平均值被用作pm的初始跨模态原型，具体过程表示如下：
33、
34、其中，ou和rk是样本u的级联跨模态表示和类别k的跨模态特征集，是由k-means算法fkm返回的第k个类别的第i个分组聚类，是第k个类别的第i个聚类中的样本数，pm(k,i)则表示第k个类别的跨模态原型集中的第i个向量。
35、更进一步地，在所述步骤s23中，知识增强的多头注意力机制的具体处理过程如下：
36、s231：获得实体嵌入ee和关系嵌入er后，将实体嵌入ee和关系嵌入er与视觉特征i相结合；
37、s232：将实体嵌入ee、关系嵌入er视和觉特征i相结合，并计算它们之间的语义相关性，在知识图谱的相关节点上聚合边缘特征，并将聚合所有邻居的边缘特征与建模后的知识图谱中的节点特征相结合；
38、s233：将最短路径的边缘特征编码为感应偏置。
39、更进一步地，在所述步骤s231～s233中，结合获得实体嵌入ee和关系嵌入er，实现多头注意，具体处理过程如下：
40、s2311：先从一般知识出发，构造聚合关系嵌入其中每个元素表示源实体ei和目标实体ej之间的关系，使用关系嵌入的平均值作为rij：
41、
42、其中，av本文档来自技高网
...
【技术保护点】
1.一种AI医疗-胸部医学影像报告自动生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种AI医疗-胸部医学影像报告自动生成方法，其特征在于，在所述步骤S2中，医学影像报告生成模型的具体处理过程如下：
3.根据权利要求2所述的一种AI医疗-胸部医学影像报告自动生成方法，其特征在于，在所述步骤S21中，通过使用在ImageNet上预训练后的ResNet-101作为视觉特征提取模块，对输入的影像进行视觉特征提取。
4.根据权利要求2所述的一种AI医疗-胸部医学影像报告自动生成方法，其特征在于，在所述步骤S22中，使用三元组集来表示一般知识，其中Ng是指三元组的数量，通过从手动构建的知识图中获取一般知识，使用了一个图嵌入模型Rotate来获得实体嵌入和关系嵌入：
5.根据权利要求4所述的一种AI医疗-胸部医学影像报告自动生成方法，其特征在于，在所述步骤S22中，放射学报告标签器CheXbert的具体过程如下：
6.根据权利要求5所述的一种AI医疗-胸部医学影像报告自动生成方法，其特征在于，在所述步骤S22中，跨模态细粒度特征对齐的具体过程如下：
7.根据权利要求6所述的一种AI医疗-胸部医学影像报告自动生成方法，其特征在于，在所述步骤S23中，知识增强的多头注意力机制的具体处理过程如下：
8.根据权利要求7所述的一种AI医疗-胸部医学影像报告自动生成方法，其特征在于，在所述步骤S231～S233中，结合获得实体嵌入Ee和关系嵌入Er，实现多头注意，具体处理过程如下：
9.根据权利要求8所述的一种AI医疗-胸部医学影像报告自动生成方法，其特征在于，在所述步骤S2313中，KG-Att函数如下：
10.根据权利要求9所述的一种AI医疗-胸部医学影像报告自动生成方法，其特征在于，在所述步骤S24中，在解码器中通过记忆驱动的Transformer生成医疗报告的具体过程如下：
...
【技术特征摘要】
1.一种ai医疗-胸部医学影像报告自动生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种ai医疗-胸部医学影像报告自动生成方法，其特征在于，在所述步骤s2中，医学影像报告生成模型的具体处理过程如下：
3.根据权利要求2所述的一种ai医疗-胸部医学影像报告自动生成方法，其特征在于，在所述步骤s21中，通过使用在imagenet上预训练后的resnet-101作为视觉特征提取模块，对输入的影像进行视觉特征提取。
4.根据权利要求2所述的一种ai医疗-胸部医学影像报告自动生成方法，其特征在于，在所述步骤s22中，使用三元组集来表示一般知识，其中ng是指三元组的数量，通过从手动构建的知识图中获取一般知识，使用了一个图嵌入模型rotate来获得实体嵌入和关系嵌入：
5.根据权利要求4所述的一种ai医疗-胸部医学影像报告自动生成方法，其特征在于，在所述步骤s22中，放射学报告标签器chexb...
【专利技术属性】
技术研发人员：翁智，郑志强，梁恩赫，张煜杰，
申请(专利权)人：内蒙古大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。