【技术实现步骤摘要】
本专利技术涉及医学影像，更确切地说，它涉及一种基于混合模式的医学数字切片报告自动生成方法。
技术介绍
1、病理专家针对染色的医学切片撰写报告，不仅耗时费力，还容易出错。这导致诊断报告生成的时间周期长，且准确率有所缺失。因此，借助人工智能的手段能够有效辅助医生的就诊效率，对于一些潜在的病状，也能在第一时间发现。
2、目前，常用的病理报告生成模型大致分为两类，基于模板的传统方法和基于深度神经网络的方法。对于传统基于模板方法，优点在于模板结构清晰，且针对疾病的目的性较强，缺点在于不同疾病需要设计大量的模板。而基于深度学习的报告自动生成模型，大多只关注生成报告的流畅性，却缺乏对生成细节准确性的评估。
技术实现思路
1、本专利技术的目的是针对现有技术的不足，提出了一种基于混合模式的医学数字切片报告自动生成方法。
2、第一方面，提供了一种基于混合模式的医学数字切片报告自动生成方法，包括：
3、s1、获取数字切片-报告数据集，通过大语言模型对数字切片-报告数据集中的报告部分进行处理，获取数字切片-问答数据集；
4、s2、利用所述数字切片-问答数据集对多模态模型进行训练；所述多模态模型包括视觉特征提取器、区域感知模块、文本编码器、注意力门结构和解码器；
5、s3、将所述多模态模型部署在服务器上；重复输入不同的数字切片及对应问题，得到相应的回答，获取针对数字切片的问答对；
6、s4、根据所述数字切片的问答对，对大语言模型进行微调
7、作为优选，s2包括：
8、s201、利用预训练好的视觉特征提取器对数字切片进行特征抽取，得到视觉特征i；
9、s202、将视觉特征i并经过区域感知模块，得到增强视觉信息ih；
10、s203、提取所述数字切片-问答数据集中的问题部分，将所述问题部分通过文本编码器，得到文本特征t；
11、s204、将文本特征t和增强视觉信息ih通过注意力门结构进行融合，得到融合特征c；
12、s205、将融合特征c放入解码器，得到所述问题部分对应的答案。
13、作为优选，s2中，所述文本编码器和解码器分别为flan-t5编码器和flan-t5解码器。
14、作为优选，s4包括：
15、s401、根据s1中所述数字切片-报告数据集的报告部分，在数字切片-问答数据集中找出对应产生的问答对；
16、s402、将所述报告部分、问答对以及两者间的对应关系写入文档；
17、s403、在文档的末尾写入s3中获取的问答对；
18、s404、将文档作为大模型的输入，获取与s3中的问答对相对应的医学诊断报告。
19、第二方面，提供了一种基于混合模式的医学数字切片报告自动生成系统，用于执行第一方面任一所述的方法，包括：
20、第一获取模块，用于获取数字切片-报告数据集，通过大语言模型对数字切片-报告数据集中的报告部分进行处理，获取数字切片-问答数据集；
21、训练模块，用于利用所述数字切片-问答数据集对多模态模型进行训练；所述多模态模型包括视觉特征提取器、区域感知模块、文本编码器、注意力门结构和解码器；
22、第二获取模块，用于将所述多模态模型部署在服务器上；重复输入不同的数字切片及对应问题，得到相应的回答，获取针对数字切片的问答对；
23、生成模块，用于根据所述数字切片的问答对合集，对所述大语言模型进行微调；并根据微调后的大模型生成医学诊断报告。
24、第三方面，提供了一种计算机存储介质，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行第一方面任一所述的方法。
25、第四方面，提供了一种电子设备，包括：
26、存储器，用于保存计算机程序；
27、处理器，用于执行所述计算机程序以实现如第一方面任一所述的方法。
28、本专利技术的有益效果是：
29、1.本专利技术相较于传统的基于模板的方法，不依赖于大量的模板设计，而是通过结合模板方法和神经网络方法，这使得模型能够处理更多种类的医学切片，并生成针对性的诊断报告，提高了模型的灵活性和适应性。并且，本专利技术在深度神经网络自动生成诊断报告的基础上，对产生报告的细节有所把控。
30、2.本专利技术结合了视觉特征提取、区域感知、文本编码及注意力门结构等多种技术手段，确保了生成的报告不仅流畅，而且细节准确。通过多模态模型的训练和优化，能够更精确地捕捉切片中的病理特征，并准确地反映在诊断报告中，减少了人为因素导致的错误。
31、3.本专利技术通过自动化的方法，将原本需要病理专家耗时费力撰写的诊断报告过程大大简化。利用大语言模型和多模态模型，能够迅速处理和解析数字切片信息，并生成相应的诊断报告，显著缩短了诊断报告的生成时间周期。
本文档来自技高网...【技术保护点】
1.一种基于混合模式的医学数字切片报告自动生成方法，其特征在于，包括：
2.根据权利要求1所述的基于混合模式的医学数字切片报告自动生成方法，其特征在于，S2包括：
3.根据权利要求2所述的基于混合模式的医学数字切片报告自动生成方法，其特征在于，S2中，所述文本编码器和解码器分别为Flan-T5编码器和Flan-T5解码器。
4.根据权利要求3所述的基于混合模式的医学数字切片报告自动生成方法，其特征在于，S4包括：
5.一种基于混合模式的医学数字切片报告自动生成系统，其特征在于，用于执行权利要求1至4任一所述的方法，包括：
6.一种计算机存储介质，其特征在于，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行权利要求1至4任一所述的基于混合模式的医学数字切片报告自动生成方法。
7.一种电子设备，其特征在于，包括：
【技术特征摘要】
1.一种基于混合模式的医学数字切片报告自动生成方法，其特征在于，包括：
2.根据权利要求1所述的基于混合模式的医学数字切片报告自动生成方法，其特征在于，s2包括：
3.根据权利要求2所述的基于混合模式的医学数字切片报告自动生成方法，其特征在于，s2中，所述文本编码器和解码器分别为flan-t5编码器和flan-t5解码器。
4.根据权利要求3所述的基于混合模式的医学数字切片报...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。