【技术实现步骤摘要】
本专利技术涉及数据处理领域，尤其涉及一种医学影像识别方法、装置、电子设备及存储介质。
技术介绍
1、在数字医疗领域中人工智能技术拥有着巨大的潜力和市场，例如在医学影像识别技术中可以帮助医生更快且更准确地读取病人影像数据中的关键部分。而对于影像数据的识别过程中，来自不同医院、体检中心或者其他医疗客户端中的医疗影像数据很多，而如何以不同客户端获取得到的医疗影像数据作为数据基础并进行影像识别成为亟待需要解决的问题。
技术实现思路
1、本专利技术提供一种医学影像识别方法、装置、电子设备及存储介质，其主要目的在于提高医学影像识别的效率。
2、为实现上述目的，本专利技术提供的一种基于联邦学习的医学影像识别方法，应用于客户端中，包括：
3、特征获取步骤:获取文本信息和图像信息，利用多模态预训练模型中的文本编码器对所述文本信息进行特征提取，得到文本特征，及多模态预训练模型中的图像编码器对所述图像信息进行特征提取，得到图像特征；
4、联邦训练步骤：构建所述多模态预训练模型中的图像编码器对应的基于注意力的适配器，并利用本地训练数据对所述适配器进行模型训练，得到训练好的适配器，并将训练好的适配器的模型参数上传至服务端，并接收服务端传送的更新后的模型参数，根据更新后的模型参数对所述适配器进行迭代训练；
5、重复执行上述的联邦训练步骤，直到满足预设条件时，得到标准适配器，利用所述标准适配器对所述多模态预训练模型进行结构调整，得到影像识别模型；
6、
7、可选地，所述特征获取步骤之前，还包括：
8、从互联网数据中获取对比组合数据，所述对比组合数据是图片与文本一一对应的数据；
9、基于所述对比组合数据训练多模态预训练模型。
10、可选地，所述构建所述多模态预训练模型中的图像编码器对应的基于注意力的适配器，包括：
11、根据线性层、双曲正切激活函数和softmax激活函数构建适配器，其中，所述softmax函数用于确保最终输出的区间在0到1之间。
12、可选地，所述根据所述标准适配器对所述多模态预训练模型进行结构调整，包括：
13、将所述标准适配器嵌入至所述多模态预训练模型的图像编码器中。
14、可选地，所述应用于服务端中的方法包括：
15、接收多个客户端发送的训练好的适配器的模型参数；
16、对所述每个客户端对应的训练好的适配器的模型参数执行加权平均运算，得到更新后的模型参数；
17、将所述更新后的模型参数分发给每个客户端。
18、可选地，所述对所述每个客户端对应的训练好的适配器的模型参数执行加权平均运算，得到更新后的模型参数，包括：
19、获取多个参考权重，将所述多个参考权重分配给适配器的模型参数；
20、将适配器的模型参数与模型参数对应的参考权重进行相乘计算，并对相乘结果进行求和计算，得到加权值；
21、对所述加权值进行平均计算，将平均计算的结果作为更新后的模型参数。
22、为了解决上述问题，本专利技术还提供一种应用于客户端的基于联邦学习的影像识别装置，所述装置包括：
23、特征获取模块，用于特征获取步骤:获取文本信息和图像信息，利用多模态预训练模型中的文本编码器对所述文本信息进行特征提取，得到文本特征，及多模态预训练模型中的图像编码器对所述图像信息进行特征提取，得到图像特征；
24、联邦训练模块，用于联邦训练步骤：构建所述多模态预训练模型中的图像编码器对应的基于注意力的适配器，并利用本地训练数据对所述适配器进行模型训练，得到训练好的适配器，并将训练好的适配器的模型参数上传至服务端，并接收服务端传送的更新后的模型参数，根据更新后的模型参数对所述适配器进行迭代训练，重复执行上述的联邦训练步骤，直到满足预设条件时，得到标准适配器，利用所述标准适配器对所述多模态预训练模型进行结构调整，得到影像识别模型；
25、影像识别模块，用于影像识别步骤：将所述文本特征和所述图像特征输入至所述影像识别模型中，得到影像识别结果。
26、为了解决上述问题，本专利技术还提供一种应用于服务端的医学影像识别装置，所述装置包括：
27、参数接收模块，用于接收多个客户端发送的训练好的适配器的模型参数；
28、参数更新模块，用于对所述每个客户端对应的训练好的适配器的模型参数执行加权平均运算，得到更新后的模型参数；
29、参数分发模块，用于将所述更新后的模型参数分发给每个客户端。
30、为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
31、至少一个处理器；以及，
32、与所述至少一个处理器通信连接的存储器；其中，
33、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的医学影像识别方法。
34、为了解决上述问题，本专利技术还提供一种存储介质，所述存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的医学影像识别方法。
35、本专利技术实施例中，通过对适配器进行训练可以确保尽可能保留预训练模型的信息，同时允许模型适应特定任务，适配器在服务器与各个客户端之间的共享与更新，能够减少可训练参数的数量。因此根据适配器调整得到的标准影像识别模型具有准确且高效的影像识别能力。因此本专利技术提出的医学影像识别方法、装置、电子设备及存储介质，可以解决提高医学影像识别的效率低的问题。
本文档来自技高网...【技术保护点】
1.一种基于联邦学习的影像识别方法，其特征在于，应用于客户端中，包括：
2.如权利要求1所述的基于联邦学习的影像识别方法，其特征在于，所述特征获取步骤之前，还包括：
3.如权利要求1所述的基于联邦学习的影像识别方法，其特征在于，所述构建所述多模态预训练模型中的图像编码器对应的基于注意力的适配器，包括：
4.如权利要求1所述的基于联邦学习的影像识别方法，其特征在于，所述根据所述标准适配器对所述多模态预训练模型进行结构调整，包括：
5.一种基于联邦学习的影像识别方法，其特征在于，所述应用于服务端中的方法包括：
6.如权利要求5所述的基于联邦学习的影像识别方法，其特征在于，所述对所述每个客户端对应的训练好的适配器的模型参数执行加权平均运算，得到更新后的模型参数，包括：
7.一种医学影像识别装置，其特征在于，所述装置应用于客户端，所述装置包括：
8.一种医学影像识别装置，其特征在于，所述装置应用于服务端，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种存
...【技术特征摘要】
1.一种基于联邦学习的影像识别方法，其特征在于，应用于客户端中，包括：
2.如权利要求1所述的基于联邦学习的影像识别方法，其特征在于，所述特征获取步骤之前，还包括：
3.如权利要求1所述的基于联邦学习的影像识别方法，其特征在于，所述构建所述多模态预训练模型中的图像编码器对应的基于注意力的适配器，包括：
4.如权利要求1所述的基于联邦学习的影像识别方法，其特征在于，所述根据所述标准适配器对所述多模态预训练模型进行结构调整，包括：
5.一种基于联邦学习的影像识别方法，其特征在于，所述应用于服务端中的方法包括：...
【专利技术属性】
技术研发人员：李泽远，王健宗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。