【技术实现步骤摘要】
本专利技术属于图像处理，涉及一种ct图像重建方法，尤其涉及一种基于双重物理驱动的个性化ct图像重建图像系统及联邦学习方法。
技术介绍
1、计算机断层扫描(computed tomography,ct)是一种重要的临床检查手段，因为它能够非侵入性地呈现体内的解剖信息。尽管ct扫描具有临床优势，但其辐射风险会导致基因突变、癌症等疾病。降低ct剂量(即减少入射光子数和采样视角)成为了降低辐射风险和加快扫描速度的有效方案，但在这些条件下重建的图像质量会严重下降，限制了其在临床中的适用性。
2、近年来，基于深度学习(deep learning,dl)的方法在低剂量ct(low-dosecomputed tomography,ldct)成像中展现了巨大的潜力。然而，大多数基于dl的ldct重建方法具有特定的条件限制，并且这些方法在设计时未考虑隐私问题。近年来，研究人员尝试将联邦学习(federated learning,fl)这一保护隐私的分布式学习范式引入ldct重建，以缓解隐私问题，但直接使用现有方法仍然难以应对由于ct成像过程复杂性和异质性带来的噪声变异性。
3、因此，要推动fl在ldct重建中的进一步发展，亟需一个全新的ct图像重建方法，能够利用扫描中的全面物理信息，从而突破现有框架的瓶颈，以获得更好的效果。
技术实现思路
1、本专利技术的目的旨在针对现有技术中存在的上述技术问题，提供一种基于双重物理驱动的个性化ct图像重建图像系统，将扫描参数和放射学报告融合于
2、本专利技术还提供了一种基于双重物理驱动的个性化ct图像重建系统的联邦学习方法，通过联邦学习方法来对系统进行训练，能够在实现个性化图像重建的同时，保护好个人隐私。
3、本专利技术采用双层策略缓解数据异质性问题。首先，使用预训练的大语言模型生成详细的放射学报告。然后，设计了一个基于患者级解剖信息的超网络，通过放射学报告生成成像参数的解剖层面的调制参数，使其无缝融合于成像特征中，以符合每位患者的独特解剖结构。同时，提出基于扫描信息的超参网络整合扫描特征，根据扫描协议实现成像特征的个性化。该双重调制策略在患者和扫描两个层面实现了个性化的ct成像，并以物理成像过程的原理为指导。
4、此外，在现有的个性化fl的ct成像工作中，没有研究聚焦于具有未知扫描协议的客户端。本专利技术还提出了一种协议编码量化策略(protocol vector-quantizationstrategy,pvqs)，通过将未知的扫描协议与最接近的已有协议的编码向量进行匹配来对其进行量化，并选择相应的客户端专用解码器作为其解码。
5、基于上述分析，本专利技术提供了一种基于双重物理驱动的个性化ct图像重建系统，其包括：
6、编码器，用于对扫描所得图像进行特征提取得到成像特征；
7、解剖信息捕获模块，用于依据放射学报告提取包含解剖信息的解剖调制参数；
8、扫描信息捕获模块，用于依据扫描协议捕获扫描协议和噪声分布之间的潜在关系，获取包含物理信息的扫描调制参数；
9、个性化调制模块，用于依据解剖调制参数和扫描调制参数对编码器得到的成像特征进行调制，得到个性化的成像特征；
10、解码器，用于依据个性化的成像特征生成个性化ct图像。
11、在一种可实现方式中，所述编码器与解码器相同或不同，可以是任一一种成像网络，例如red-cnn、uformer、u-net、v-net、highresnet等。
12、在一种可实现方式中，患者独特的解剖结构在成像过程中对噪声分布有显著影响，因此成为必须考虑的关键因素。为了解决此问题，本专利技术借助了mllm的帮助，mllm在大规模数据集上的训练展现了在放射学报告生成方面的强大性能。具体而言，本专利技术采用大语言模型mllm从ct图像生成放射学报告，并利用其文本编码器的文本特征输出ft∈r1×d作为驱动解剖信息捕获模块超网络的提示，其中d表示特征维度；所述大语言模型可以为minigpt-med(参见asma alkhaldi,raneem alnajim,layan alabdullatef,rawanalyahya,jun chen,deyao zhu,ahmed alsinan,and mohamed elhoseiny.minigpt-med:large language model as a general interface for radiology diagnosis.arxivpreprint,arxiv:2407.04106,2024)、华佗gpt-vision(参见chen j,gui c,ouyang r,etal.huatuogpt-vision,towards injecting medical visual knowledge intomultimodal llms at scale[j].arxiv preprint arxiv:2406.19280,2024)、llava-med(参见chunyuan li,cliff wong,sheng zhang,naoto usuyama,haotian liu,jianweiyang,tristan naumann,hoifung poon,and jianfeng gao.llava-med:training a largelanguage-and-vision assistant for biomedicine in one day.arxiv,abs/2306.00890,2023)或medklip(参见wu c,zhang x,zhang y,et al.medklip:medicalknowledge enhanced language-image pre-training for x-ray diagnosis[c]//proceedings of the ieee/cvf international conference on computer vision.2023:21372-21383)等。由于ft的维度较高，所以本专利技术首先使用平均池化层和线性层降低维度，然后使用多头注意力层和线性层构建特征的全局联系得到fan，即包含解剖信息的解剖调制参数。因此，所述解剖信息捕获模块包括平均池化层和多头注意力层，所述平均池化层和多头注意力层后均设置有线性层。
13、在一种可实现方式中，除了解剖差异影响噪声分布外，物理成像过程表明，噪声分布在很大程度上由扫描协议决定，主要包括ct扫描仪中的七个关键物理参数，包括投影角度数量、探测器单元数量、像素长度、探测器单元长度(这里是指单个探测器单元的长度)、射线源与旋转中心之间的距离、探测器单元与旋转中心之间的距离以及入射x射线的光子数。
14、本专利技术利用这七个扫描协议参数向量g来构建扫描级提示，以捕捉扫描协议与噪声分布之间的潜在关系，从而对成像网络进行提示。由于g中的参数取本文档来自技高网...
【技术保护点】
1.一种基于双重物理驱动的个性化CT图像重建系统，其特征在于，包括：
2.根据权利要求1所述的基于双重物理驱动的个性化CT图像重建系统，其特征在于，采用大语言模型MLLM从CT图像生成放射学报告。
3.根据权利要求2所述的基于双重物理驱动的个性化CT图像重建系统，其特征在于，所述解剖信息捕获模块包括平均池化层和多头注意力层，所述平均池化层和多头注意力层后均设置有线性层。
4.根据权利要求1所述的基于双重物理驱动的个性化CT图像重建系统，其特征在于，扫描协议主要包括投影角度数量、探测器单元数量、像素长度、探测器单元长度、射线源与旋转中心之间的距离、探测器单元与旋转中心之间的距离以及入射X射线的光子数参数；利用这七个扫描协议参数向量的归一化结果来构建扫描级提示。
5.根据权利要求4所述的基于双重物理驱动的个性化CT图像重建系统，其特征在于，所述扫描信息捕获模块包含多层感知机，及设置于多层感知机后的并列的两个线性层；所述多层感知机由若干依次设置的线性层构成。
6.根据权利要求1至5任一项所述的基于双重物理驱动的个性化CT图像重
7.根据权利要求6所述的基于双重物理驱动的个性化CT图像重建系统，其特征在于，所述扫描信息捕获模块还包括协议编码量化组件，其包括：
8.一种适用于个性化CT图像重建的联邦学习方法，其特征在于，包括以下步骤：
9.根据权利要求8所述的适用于个性化CT图像重建的联邦学习方法，其特征在于，第i个客户端中基于双重物理驱动的个性化CT图像重建图像系统训练使用的总损失表示为：
10.根据权利要求8所述的适用于个性化CT图像重建的联邦学习方法，其特征在于，步骤S2中，所述服务器将各客户端编码器、解剖信息捕获模块和扫描信息捕获模块参数按照各客户端的参数均值来进行聚合。
...【技术特征摘要】
1.一种基于双重物理驱动的个性化ct图像重建系统，其特征在于，包括：
2.根据权利要求1所述的基于双重物理驱动的个性化ct图像重建系统，其特征在于，采用大语言模型mllm从ct图像生成放射学报告。
3.根据权利要求2所述的基于双重物理驱动的个性化ct图像重建系统，其特征在于，所述解剖信息捕获模块包括平均池化层和多头注意力层，所述平均池化层和多头注意力层后均设置有线性层。
4.根据权利要求1所述的基于双重物理驱动的个性化ct图像重建系统，其特征在于，扫描协议主要包括投影角度数量、探测器单元数量、像素长度、探测器单元长度、射线源与旋转中心之间的距离、探测器单元与旋转中心之间的距离以及入射x射线的光子数参数；利用这七个扫描协议参数向量的归一化结果来构建扫描级提示。
5.根据权利要求4所述的基于双重物理驱动的个性化ct图像重建系统，其特征在于，所述扫描信息捕获模块包含多层感知机，及设置于多层感知机后的并列的两...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。