【技术实现步骤摘要】
本申请涉及医学图像处理，具体涉及一种基于多模态图像融合的医学影像分析方法及系统。
技术介绍
1、随着医学影像技术的快速发展，ct、mri、超声等影像设备已成为临床诊断和治疗的核心工具。然而，这些设备通常以不同的数据格式（如raw域、rgb域等）存储和显示影像信息。raw域图像能够保留传感器采集的原始信息，例如高动态范围和灰阶细节，而rgb域图像则通过后处理增强了图像的视觉效果，更便于医生进行直观诊断。
2、现有医学图像分析系统通常依赖于单一域的数据进行处理，例如仅使用raw域图像进行病变区域检测，或仅通过rgb域图像进行图像分类。这种单一模态处理方式存在以下问题：
3、raw域图像虽保留了原始数据细节，但缺乏视觉增强效果，难以用于快速诊断。
4、rgb域图像虽然直观，但在处理过程中可能丢失部分原始信息，如细微的灰阶差异，降低了检测的可靠性和准确性。
技术实现思路
1、为了克服单一模态处理技术存在的局限性，本申请提出了一种基于多模态图像融合的医学影像分析方法及系统，本申请采用了一种能够融合raw域与rgb域图像特性的多模态医学影像分析方法，以提升病变检测的准确性和效率。
2、一方面，本申请通过下述技术方案实现：
3、一种基于多模态图像融合的医学影像分析方法，所述医学影像分析方法包括：
4、生成训练数据集；训练数据集由像素级对齐并标注的医学影像rgb域图像和raw域图像对构成，其中，raw域图像包括直接获取的真实r
5、构建目标检测网络；所述目标检测网络包括主干网络和检测头，并在所述主干网络和检测头之间引入双模态特征增强模块实现跨模态特征的深度融合，利用双重增强机制分别在语义和空间维度强化rgb域图像和raw域图像的特征；
6、利用所述训练数据集对所述目标检测网络进行训练，得到医学影像检测模型；其中，rgb域图像和raw域图像作为所述目标检测网络的输入，标注信息作为所述目标检测网络的输出；
7、利用所述医学影像检测模型对实时采集的医学影像进行分析，以快速准确地实现所述医学影像中病变区域的检测与分类。
8、在一些实施方式中，构建的所述目标检测网络包括两个主干网络、三个融合模块、颈部网络和检测头；
9、rgb域图像和raw域图像分别输入到两个主干网络中提取得到8倍下采样、16倍下采样和32倍下采样的rgb特征和raw特征，并将其分别输入到三个融合模块实现跨模态特征的深度融合语义增强，之后再进入颈部网络进行进一步特征融合处理，最后通过检测头输出检测结果。
10、在一些实施方式中，所述融合模块包括：动态融合与通道增强模块，和动态空间交互与增强模块；
11、其中，所述动态融合与通道增强模块用于实现rgb特征和raw特征的融合增强和通道增强；在融合增强阶段，将rgb特征和raw特征在通道维度拼接后，通过动态卷积和逆瓶颈层提取多尺度的全局和局部特征；所述动态卷积结合深度分离卷积和逐点卷积，捕获模态间的空间交互关系；所述逆瓶颈层通过扩展和压缩通道维度实现特征的非线性优化；在通道增强阶段，利用全局平均池化和全局最大池化提供特征的全局统计信息，生成动态的通道权重；通过全连接层对所述全局统计信息进行非线性变换，生成适用于rgb特征和raw特征的独立动态权重；将动态权重与融合增强后的特征逐元素相乘，对每个模态进行自适应优化，并通过残差路径保留原始特征信息，输出增强后的模态特征至所述动态空间交互与增强模块；
12、所述动态空间交互与增强模块对输入的rgb特征和raw特征分别进行多尺度空间特征提取；然后，通过逐点卷积在通道维度上压缩多尺度空间特征，生成单通道的rgb特征和raw特征表示；之后，将rgb特征和raw特征通过通道维度拼接，并采用逐点卷积进一步压缩融合为单一通道表示；融合特征通过通道注意力机制进行动态增强，之后通过独立的动态卷积模块生成适用于rgb域图像和raw域的增强特征；最终，输出优化后的rgb特征和raw特征。
13、在一些实施方式中，所述动态空间交互与增强模块利用卷积金字塔通过不同尺度的深度分离卷积核提取得到多尺度空间特征；
14、所述通道注意力机制结合全局平均池化和卷积层生成动态通道权重，以突出显著特征区域和模态间的交互关系。
15、在一些实施方式中，所述训练数据集生成过程包括：
16、对真实的rgb域图像和raw域图像对进行像素级对齐及目标检测标注；
17、通过对真实的rgb域图像进行预处理生成合成raw域图像，对该真实的rgb域图像与其生成的合成raw域图像对进行像素级对齐及目标检测标注；
18、将像素级对齐并标注的rgb域图像和raw域图像对，统一调整到相同的输入尺寸，并进行一系列图像前处理操作以增强数据多样性和鲁棒性，从而生成所述训练数据集。
19、在一些实施方式中，所述的通过对真实的rgb域图像进行预处理生成合成raw域图像，具体包括：
20、对rgb域图像进行全局色调映射逆变换、伽马矫正逆变换、颜色矫正逆变换、白平衡的逆过程、拜耳排列以及逆马赛克处理，生成与传感器采集的raw数据格式相匹配的合成raw域图像。
21、在一些实施方式中，所述目标检测网络训练过程中，采用的损失函数为：分类损失、边界框回归损失和对齐一致性损失的加权；且所述分类损失、边界框回归损失和对齐一致性损失的权重为动态可调。
22、在一些实施方式中，所述分类损失采用交叉熵损失或焦点损失处理类别不平衡问题，确保模型能够精准预测目标类别；所述边界框回归损失采用giou损失，衡量预测框和真实框之间的重叠程度，优化边界框的定位精度；所述一致性损失采用基于特征图的l2损失或基于像素差异的损失。
23、另一方面，本申请还提出了一种基于多模态图像融合的医学影像分析系统，所述医学影像分析系统包括：
24、图像处理模块，所述图像处理模块用于生成训练数据集；所述训练数据集由像素级对齐并标注的医学影像rgb域图像和raw域图像对构成，其中，所述raw域图像包括直接获取的真实raw域图像以及通过对rgb图像进行预处理生成的合成raw域图像；
25、模型构建模块，所述模型构建模块用于构建目标检测网络，所述目标检测网络包括主干网络和检测头，并在所述主干网络和检测头之间引入双模态特征增强模块实现跨模态特征的深度融合，利用双重增强机制分别在语义和空间维度强化rgb域图像和raw域图像的特征；
26、模型训练模块，所述模型训练模块利用所述训练数据集对所述目标检测网络进行训练，得到医学影像检测模型；其中，rgb域图像和raw域图像作为所述目标检测网络的输入，标注信息作为所述目标检测网络的输出；
27、以及，分析模块，所述分析模块利用所述医学影像检测模块，对实时采集的医学影像本文档来自技高网...
【技术保护点】
1.一种基于多模态图像融合的医学影像分析方法，其特征在于，所述医学影像分析方法包括：
2.根据权利要求1所述的一种基于多模态图像融合的医学影像分析方法，其特征在于，构建的所述目标检测网络包括两个主干网络、三个融合模块、颈部网络和检测头；
3.根据权利要求2所述的一种基于多模态图像融合的医学影像分析方法，其特征在于，所述融合模块包括：动态融合与通道增强模块，和动态空间交互与增强模块；
4.根据权利要求3所述的一种基于多模态图像融合的医学影像分析方法，其特征在于，所述动态空间交互与增强模块利用卷积金字塔通过不同尺度的深度分离卷积核提取得到多尺度空间特征；
5.根据权利要求1-4任一项所述的一种基于多模态图像融合的医学影像分析方法，其特征在于，所述训练数据集生成过程包括：
6.根据权利要求5所述的一种基于多模态图像融合的医学影像分析方法，其特征在于，所述的通过对真实的RGB域图像进行预处理生成合成RAW域图像，具体包括：
7.根据权利要求1-4任一项所述的一种基于多模态图像融合的医学影像分析方法，其特征在于，所述目
8.根据权利要求7所述的一种基于多模态图像融合的医学影像分析方法，其特征在于，所述分类损失采用交叉熵损失或焦点损失处理类别不平衡问题，确保模型能够精准预测目标类别；所述边界框回归损失采用GIoU损失，衡量预测框和真实框之间的重叠程度，优化边界框的定位精度；所述一致性损失采用基于特征图的L2损失或基于像素差异的损失。
9.一种基于多模态图像融合的医学影像分析系统，其特征在于，所述医学影像分析系统包括：
10.根据权利要求9所述的一种基于多模态图像融合的医学影像分析系统，其特征在于，所述图像处理模块包括：
...【技术特征摘要】
1.一种基于多模态图像融合的医学影像分析方法，其特征在于，所述医学影像分析方法包括：
2.根据权利要求1所述的一种基于多模态图像融合的医学影像分析方法，其特征在于，构建的所述目标检测网络包括两个主干网络、三个融合模块、颈部网络和检测头；
3.根据权利要求2所述的一种基于多模态图像融合的医学影像分析方法，其特征在于，所述融合模块包括：动态融合与通道增强模块，和动态空间交互与增强模块；
4.根据权利要求3所述的一种基于多模态图像融合的医学影像分析方法，其特征在于，所述动态空间交互与增强模块利用卷积金字塔通过不同尺度的深度分离卷积核提取得到多尺度空间特征；
5.根据权利要求1-4任一项所述的一种基于多模态图像融合的医学影像分析方法，其特征在于，所述训练数据集生成过程包括：
6.根据权利要求5所述的一种基于多模态图像融合的医学影像分析方法，其特征在于，所述的通过对真实的rgb域图像进...
【专利技术属性】
技术研发人员：裴贵军，杜良辉，赵永义，刘浪，
申请(专利权)人：中通服创立信息科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。