医疗文档图像分类方法和装置、电子设备和存储介质制造方法及图纸

本申请公开了一种医疗文档图像分类方法和装置、电子设备和存储介质，方法包括基于神经网络模型对待分类图像进行分割，获得感兴趣区域图像；识别感兴趣区域图像中的文本信息；基于文本信息和感兴趣区域图像，对待分类图像进行分类。本申请基于神经网络模型对待分类图像进行处理，输出二值化掩膜和图像角度信息，基于该二值化掩膜和图像角度信息，能够获得经过矫正的感兴趣区域图像，从而实现在复杂自然环境下拍摄的各种形式文档图像存在的医疗文档图像的自动分割处理，有助于后续进行层级分类；基于包括图像和文本的多模态信息进行层级分类，有效提高分类准确性和分类效果；采用多级分类层级方法，实现了对医疗文档图像的细粒度层级分类。度层级分类。度层级分类。

【技术实现步骤摘要】
医疗文档图像分类方法和装置、电子设备和存储介质


[0001]本申请属于计算机数据处理
，具体涉及一种医疗文档图像分类方法和装置、电子设备和存储介质。

技术介绍

[0002]在开展诸如患者招募、健康保险理赔等面向C端用户的院外医疗健康业务中，需要患者提供在自然场景下通过智能手机等设备拍摄的各类以文档图像形式存在的患者资料，如电子病历、影像报告、化验单等等。由于所面对的患者用户数据巨大，且同一个患者所提供的资料会涉及诊疗过程中所产生的各类医疗资料，对这些资料进行分类管理不仅需要耗费大量业务人员的时间以及人力成本，而且需要业务人员具备一定的医学专业知识。

技术实现思路

[0003]本申请的目的在于提供一种医疗文档图像分类方法和装置、电子设备和存储介质，以解决现有技术中存在的针对患者提供的各类以文档图像形式存在的医疗资料进行分类管理不仅需要耗费大量业务人员的时间以及人力成本，而且需要业务人员具备一定的医学专业知识的问题。
[0004]为实现上述目的，本申请采用的一个技术方案是：提供了一种医疗文档图像分类方法，包括：基于神经网络模型对待分类图像进行分割，获得感兴趣区域图像；识别所述感兴趣区域图像中的文本信息；基于所述文本信息和所述感兴趣区域图像，对所述待分类图像进行分类。
[0005]在一个或多个实施方式中，所述基于神经网络模型对待分类图像进行分割，获得感兴趣区域图像的步骤包括：将所述待分类图像调整大小后输入所述神经网络模型，以获得所述感兴趣区域图像的二值化掩膜以及所述待分类图像的图像角度信息；由所述二值化掩膜中分割出第一感兴趣部分；基于所述第一感兴趣部分的坐标，获取所述待分类图像上第二感兴趣部分的尺寸信息；基于所述尺寸信息进行透视变换，由所述待分类图像上提取所述第二感兴趣部分；基于所述图像角度信息，对所述第二感兴趣部分进行图像矫正，获得所述感兴趣区域图像。
[0006]在一个或多个实施方式中，所述将所述待分类图像调整大小后输入所述神经网络模型，以获得所述感兴趣区域图像的二值化掩膜以及所述待分类图像的图像角度信息的步骤包括：所述神经网络模型对所述待分类图像依序执行N层下采样和N层上采样，以获得所
述感兴趣区域图像的二值化掩膜；以及，在执行第K层所述下采样后依序执行平均池化层和线性分类层，以获得所述待分类图像的角度信息，其中k≤N。
[0007]在一个或多个实施方式中，所述神经网络模型的训练过程包括：确定获得所述感兴趣区域的二值化掩膜任务的第一损失函数；确定获得所述待分类图像的角度信息任务的第二损失函数；基于所述第一损失函数和所述第二损失函数，构建所述神经网络模型的综合损失函数，以对所述神经网络模型进行训练。
[0008]在一个或多个实施方式中，所述识别所述感兴趣区域图像中的文本信息的步骤包括：基于OCR模型识别所述感兴趣区域图像，获得初始信息，所述初始信息包括文本框、文本框坐标以及与文本框对应的文本内容；基于递归算法对所述初始信息进行排序，得到所述文本信息。
[0009]在一个或多个实施方式中，所述基于所述文本信息和所述感兴趣区域图像，对所述待分类图像进行分类的步骤包括：基于所述文本信息和所述感兴趣区域图像确定所述待分类图像的一级分类标签，其中，所述一级分类标签包括M个二级分类标签，每个所述二级分类标签包括对应的匹配规则，M≥2；确定所述文本信息中的文本与所述M个二级分类标签下的匹配规则的第一匹配数量；基于所述第一匹配数量，确定所述待分类图像的二级分类标签。
[0010]在一个或多个实施方式中，所述基于所述文本信息和所述感兴趣区域图像，对所述待分类图像进行分类的步骤包括：基于所述文本信息和所述感兴趣区域图像确定所述待分类图像的一级分类标签，其中，所述一级分类标签包括M个二级分类标签，每个所述二级分类标签包括对应的匹配规则和排除规则，M≥2；将所述文本信息中的文本与所述M个二级分类标签下的排除规则进行匹配，剔除匹配上的排除规则对应的二级分类标签，将剩余二级分类标签组装为第一待定二级分类标签集；确定所述文本信息中的文本与所述第一待定二级分类标签集下的匹配规则的第一匹配数量；基于所述第一匹配数量，确定所述待分类图像的二级分类标签。
[0011]在一个或多个实施方式中，所述基于所述第一匹配数量，确定所述待分类图像的二级分类标签的步骤包括：当所述第一匹配数量为1时，将匹配上的匹配规则所对应的二级分类标签确定为所述待分类图像的二级分类标签。
[0012]在一个或多个实施方式中，所述基于所述第一匹配数量，确定所述待分类图像的二级分类标签的步骤包括：当所述第一匹配数量为0时，将所述M个二级分类标签中出现频率最高的二级分类标签确定为所述待分类图像的二级分类标签。
[0013]在一个或多个实施方式中，每个所述二级分类标签包括具有优先级顺序的N级匹配规则，N≥2；所述基于所述第一匹配数量，确定所述待分类图像的二级分类标签的步骤包括：当所述第一匹配数量大于1时，将匹配上的匹配规则所对应的二级分类标签组装为第二待定二级分类标签集，其中，所述第二待定二级分类标签集对应有具有优先级顺序的N个匹配规则集；基于所述N个匹配规则集的优先级顺序，依序将每个所述匹配规则集与所述文本信息中的文本进行匹配，直至匹配上的匹配规则数量小于或等于1，或者直至第N优先级匹配规则集与所述文本信息中的文本匹配上的匹配规则数量大于1，获取第二匹配数量；基于所述第二匹配数量，确定所述待分类图像的二级分类标签。
[0014]在一个或多个实施方式中，所述基于所述第二匹配数量，确定所述待分类图像的二级分类标签的步骤包括：当所述第二匹配数量等于1时，将匹配上的匹配规则所对应的二级分类标签确定为所述待分类图像的二级分类标签。
[0015]在一个或多个实施方式中，所述基于所述第二匹配数量，确定所述待分类图像的二级分类标签的步骤包括：当所述第二匹配数量为0或所述第二匹配数量大于1时，将所述待定二级分类标签集中出现频率最高的二级分类标签确定为所述待分类图像的二级分类标签。
[0016]为实现上述目的，本申请采用的另一个技术方案是：提供了一种医疗文档图像分类装置，包括：分割模块，用于基于神经网络模型对待分类图像进行分割，获得感兴趣区域图像；识别模块，用于识别所述感兴趣区域图像中的文本信息；分类模块，用于基于所述文本信息和所述感兴趣区域图像，对所述待分类图像进行分类。
[0017]为实现上述目的，本申请采用的又一个技术方案是：提供一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上述任一实施方式所述的医疗文档图像分类方法。
[0018]为实现上述目的，本申请采用的又一个技术方案是：提供一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上述任一实施方式所述的医疗文档图像分类方法。
[0019]区别于现有技术，本申请的有益效果是：1、本申请基于神经网络模型对待分类图像进行处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医疗文档图像分类方法，其特征在于，包括：基于神经网络模型对待分类图像进行分割，获得感兴趣区域图像；识别所述感兴趣区域图像中的文本信息；基于所述文本信息和所述感兴趣区域图像，对所述待分类图像进行分类；所述基于神经网络模型对待分类图像进行分割，获得感兴趣区域图像的步骤包括：将所述待分类图像调整大小后输入所述神经网络模型，以获得所述感兴趣区域图像的二值化掩膜以及所述待分类图像的图像角度信息；由所述二值化掩膜中分割出第一感兴趣部分；基于所述第一感兴趣部分的坐标，获取所述待分类图像上第二感兴趣部分的尺寸信息；基于所述尺寸信息进行透视变换，由所述待分类图像上提取所述第二感兴趣部分；基于所述图像角度信息，对所述第二感兴趣部分进行图像矫正，获得所述感兴趣区域图像。2.根据权利要求1所述的医疗文档图像分类方法，其特征在于，所述将所述待分类图像调整大小后输入所述神经网络模型，以获得所述感兴趣区域图像的二值化掩膜以及所述待分类图像的图像角度信息的步骤包括：所述神经网络模型对所述待分类图像依序执行N层下采样和N层上采样，以获得所述感兴趣区域图像的二值化掩膜；以及，在执行第K层所述下采样后依序执行平均池化层和线性分类层，以获得所述待分类图像的角度信息，其中K≤N。3.根据权利要求2所述的医疗文档图像分类方法，其特征在于，所述神经网络模型的训练过程包括：确定获得所述感兴趣区域的二值化掩膜任务的第一损失函数；确定获得所述待分类图像的角度信息任务的第二损失函数；基于所述第一损失函数和所述第二损失函数，构建所述神经网络模型的综合损失函数，以对所述神经网络模型进行训练。4.根据权利要求1所述的医疗文档图像分类方法，其特征在于，所述识别所述感兴趣区域图像中的文本信息的步骤包括：基于OCR模型识别所述感兴趣区域图像，获得初始信息，所述初始信息包括文本框、文本框坐标以及与文本框对应的文本内容；基于递归算法对所述初始信息进行排序，得到所述文本信息。5.根据权利要求1所述的医疗文档图像分类方法，其特征在于，所述基于所述文本信息和所述感兴趣区域图像，对所述待分类图像进行分类的步骤包括：基于所述文本信息和所述感兴趣区域图像确定所述待分类图像的一级分类标签，其中，所述一级分类标签包括M个二级分类标签，每个所述二级分类标签包括对应的匹配规则，M≥2；确定所述文本信息中的文本与所述M个二级分类标签下的匹配规则的第一匹配数量；基于所述第一匹配数量，确定所述待分类图像的二级分类标签。6.根据权利要求1所述的医疗文档图像分类方法，其特征在于，所述基于所述文本信息和所述感兴趣区域图像，对所述待分类图像进行分类的步骤包括：
基于所述文本信息和所述感兴趣区域图像确定所述待分类图像的一级分类标签，其中，所述一级分类标签包括M个二级分类标签，每个所述二级分类标签包括对应的匹配规则和排除规则，M≥2；将所述文本信息中的文本与所述M个二级分类标签下的排除规则进行匹配，剔除匹配上的排除规则对应的二级分类标签，将剩余二级分类标签组装为第一待定二级分类标签集；确定所述文本信息中的文本与所述第一待定二级分类标签集下的匹配规则的第一匹配数量；基于所述第一匹配数量，确定所述待分类图像的二级分类标签。...

【专利技术属性】
技术研发人员：赵周剑，王永明，王育清，司靖，
申请(专利权)人：浙江太美医疗科技股份有限公司，
类型：发明
国别省市：