【技术实现步骤摘要】
本申请涉及医疗图像处理，尤其是涉及一种三维ct影像报告生成方法、系统、设备及介质。
技术介绍
1、医学影像是现代医学的重要组成部分，通过利用各种成像技术来获取人体内部结构的图像，以便于疾病的诊断、治疗计划的制定以及疗效的评估。随着信息技术的发展，三维医学影像在医学中的应用越来越广泛，不仅极大地提高了医生对疾病诊断的准确性和效率，还促进了个性化医疗方案的制定，而医学影像报告的生成通常依赖于医生手动解读影像并撰写报告，过程繁琐且易受人为因素影响。
2、当前三维ct影像处理方法难以充分捕捉三维ct图像中复杂的结构信息，缺乏高质量、对齐的多模态数据集，难以生成临床相关性高的报告，而且无法充分捕捉切片之间的全局依赖关系，难以保持全局的空间一致性，导致报告生成中的重要信息丢失，生成内容与实际数据存在偏差。
技术实现思路
1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
2、本公开实施例的主要目的在于提出一种三维ct影像报告生成方法、系统、设备及存储介质，能够通过增强三维ct图像中跨切片的全局依赖关系提取，提高了空间一致性，从而确保生成的报告在空间上更加连贯，进而使生成的报告更加准确。
3、本申请实施例的第一方面提供了一种三维ct影像报告生成方法，用于中央控制器，所述方法包括：
4、获取目标三维ct影像和目标三维ct影像对应的目标文本提示；
5、将所述目标三维ct影像和所述目标文本提示输入至预设的报告生成模
6、其中，所述报告生成模型的训练过程包括：
7、将第一三维ct影像划分为多个像素块；
8、对每一个所述像素块进行线性嵌入，得到每一个所述像素块的初始切片；
9、将每一个所述初始切片输入至空间编码层中，以得到每一个所述初始切片的空间特征；
10、将所有的所述初始切片的空间特征输入至切片编码层，得到切片编码层输出的所述第一三维ct影像的视觉特征表示；
11、将所述第一三维ct影像的视觉特征表示转换成语言嵌入；
12、根据所述文本提示生成文本序列；
13、将所述文本序列与所述语言嵌入结合，得到输入特征；
14、根据所述输入特征生成所述第一三维ct影像的影像报告；
15、根据第一三维ct影像的真实报告对所述第一三维ct影像的影像报告进行评估，得到评估结果；
16、根据所述评估结果对所述报告生成模型进行直接偏好优化，直至得到训练完成的报告生成模型。
17、本申请实施例提供了一种三维ct影像报告生成方法，通过获取目标三维ct影像和目标三维ct影像对应的目标文本提示；将所述目标三维ct影像和所述目标文本提示输入至预设的报告生成模型，得到所述报告生成模型输出的所述目标三维ct影像的目标影像报告，能够实现从三维ct影像到影像报告的自动生成，提升影像报告生成的准确性和效率，进而提高了临床适应性。
18、在本申请的一些实施例中，在获取目标三维ct影像和目标三维ct影像对应的目标文本提示之前，所述方法还包括：
19、获取初始三维ct影像；
20、对所述初始三维ct影像进行预处理，得到所述目标三维ct影像，其中，所述预处理包括标准化、重采样、裁剪、以及填充之中的至少一种。
21、在本申请的一些实施例中，所述切片编码层生成所述三维ct影像的视觉特征表示的过程包括：
22、将相对位置编码加入多个所述初始切片的空间特征，得到多个编码后的空间特征；
23、对多个所述编码后的空间特征进行3d平均池化，生成所述三维ct影像的视觉特征表示。
24、在本申请的一些实施例中，所述根据所述输入特征生成所述第一三维ct影像的影像报告，包括：
25、将所述输入特征输入至3d-ct-gpt模型，得到所述3d-ct-gpt输出的所述第一三维ct影像的影像报告。
26、在本申请的一些实施例中，所述根据第一三维ct影像的真实报告对所述第一三维ct影像的影像报告进行评估，得到评估结果，包括：
27、利用chatgpt-4评估方法，根据第一三维ct影像的真实报告对所述第一三维ct影像的影像报告进行评估，得到所述评估结果。
28、在本申请的一些实施例中，所述根据所述评估结果对所述报告生成模型进行直接偏好优化，直至得到训练完成的报告生成模型，包括：
29、根据所述评估结果构建偏好数据集；
30、通过直接偏好优化，利用偏好数据集对所述报告生成模型进行优化。
31、在本申请的一些实施例中，所述报告生成模型进行优化的目标函数，包括：
32、
33、ddpo＝{(v,x,yw,yl)}；
34、其中，是对报告生成模型进行优化的目标函数，πθ表示模型策略，πref表示参考模型，ddpo表示偏好数据集，偏好数据集包括第一三维ct影像v、文本提示x、正样本yw和负样本yl，表示期望值。
35、为实现上述目的，本专利技术实施例的第二方面提供一种三维ct影像报告生成系统，所述系统包括：
36、获取模块，用于获取目标三维ct影像和目标三维ct影像对应的目标文本提示；
37、生成模块，用于将所述目标三维ct影像和所述目标文本提示输入至预设的报告生成模型，得到所述报告生成模型输出的所述目标三维ct影像的目标影像报告；
38、其中，所述报告生成模型的训练过程包括：
39、将第一三维ct影像划分为多个像素块；
40、对每一个所述像素块进行线性嵌入，得到每一个所述像素块的初始切片；
41、将每一个所述初始切片输入至空间编码层中，以得到每一个所述初始切片的空间特征；
42、将所有的所述初始切片的空间特征输入至切片编码层，得到切片编码层输出的所述第一三维ct影像的视觉特征表示；
43、将所述第一三维ct影像的视觉特征表示转换成语言嵌入；
44、根据所述文本提示生成文本序列；
45、将所述文本序列与所述语言嵌入结合，得到输入特征；
46、根据所述输入特征生成所述第一三维ct影像的影像报告；
47、根据第一三维ct影像的真实报告对所述第一三维ct影像的影像报告进行评估，得到评估结果；
48、根据所述评估结果对所述报告生成模型进行直接偏好优化，直至得到训练完成的报告生成模型。
49、为实现上述目的，本专利技术实施例的第三方面提供一种电子设备，包括：至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行上述的一种三维ct影像报本文档来自技高网...
【技术保护点】
1.一种三维CT影像报告生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的三维CT影像报告生成方法，其特征在于，在获取目标三维CT影像和目标三维CT影像对应的目标文本提示之前，所述方法还包括：
3.根据权利要求1所述的三维CT影像报告生成方法，其特征在于，所述切片编码层生成所述三维CT影像的视觉特征表示的过程包括：
4.根据权利要求1所述的三维CT影像报告生成方法，其特征在于，所述根据所述输入特征生成所述第一三维CT影像的影像报告，包括：
5.根据权利要求1所述的三维CT影像报告生成方法，其特征在于，所述根据第一三维CT影像的真实报告对所述第一三维CT影像的影像报告进行评估，得到评估结果，包括：
6.根据权利要求1所述的三维CT影像报告生成方法，其特征在于，所述根据所述评估结果对所述报告生成模型进行直接偏好优化，直至得到训练完成的报告生成模型，包括：
7.根据权利要求6所述的三维CT影像报告生成方法，其特征在于，所述报告生成模型进行优化的目标函数，包括：
8.一种三维CT影像报告生成系
9.一种电子设备，其特征在于：包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行权利要求1至7任一项所述的一种三维CT影像报告生成方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至7任一项所述的一种三维CT影像报告生成方法。
...【技术特征摘要】
1.一种三维ct影像报告生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的三维ct影像报告生成方法，其特征在于，在获取目标三维ct影像和目标三维ct影像对应的目标文本提示之前，所述方法还包括：
3.根据权利要求1所述的三维ct影像报告生成方法，其特征在于，所述切片编码层生成所述三维ct影像的视觉特征表示的过程包括：
4.根据权利要求1所述的三维ct影像报告生成方法，其特征在于，所述根据所述输入特征生成所述第一三维ct影像的影像报告，包括：
5.根据权利要求1所述的三维ct影像报告生成方法，其特征在于，所述根据第一三维ct影像的真实报告对所述第一三维ct影像的影像报告进行评估，得到评估结果，包括：
6.根据权利要求1所述的三维ct影像报告生成方法，其特征在于，所述根据所述评估结果...
【专利技术属性】
技术研发人员：刘军，赵伟，张拓，陈浩，钟天阳，
申请(专利权)人：中南大学湘雅二医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。