产品说明书内容识别方法及装置制造方法及图纸

本发明专利技术属于深度学习技术领域，提供一种产品说明书内容识别方法及装置，方法包括：获取待识别图像；将所述待识别图像输入图表识别模型，得到所述图表识别模型输出的所述待识别图像的目标图表识别结果；其中，所述图表识别模型是基于包含图表内容的目标框标签和样本产品说明书图像进行训练得到的；基于所述待识别图像的排版信息，对所述待识别图像的文字识别结果和所述目标图表识别结果进行融合，得到所述待识别产品说明书的结构化识别结果

【技术实现步骤摘要】
产品说明书内容识别方法及装置


[0001]本专利技术涉及深度学习
，尤其涉及一种产品说明书内容识别方法及装置
。

技术介绍

[0002]药品说明书，是药品生产企业印制并提供的，包含药理学
、
毒理学
、
药效学
、
医学等药品安全性
、
有效性重要科学数据和结论的，用以指导临床正确使用药品的技术性资料
。
药品说明书数据量较大，市面上多以
PDF
的扫描图片版保存
。
但是扫描图片版的药品说明书不能复制和粘贴，没有进行结构化，因此无法有效支撑数字化应用
。
[0003]目前，药品说明书的数据识别工作，全部由医学分析人员人工完成，会耗费大量的时间精力
。
医学分析人员需要将说明书
PDF
输入第三方
OCR
识别程序中，获得文字识别结果
。
然而第三方
OCR
识别程序无法批量识别且对于说明书中如“分子结构式”和“图表”等内容会出现识别混乱
。
因此，现有识别方法需要大量的人力资源做人工校对工作，不仅需要识别错误的数据进行改正，还需要编辑格式
。
因此，现有的药品说明书的数据识别工作的流程繁琐且人力成本偏高
。

技术实现思路

[0004]本专利技术提供一种产品说明书内容识别方法及装置，用以解决现有技术中产品说明书数据识别的结果不够准确需要人工协助的缺陷，实现药品说明书内容的准确识别并提升流程的自动化程度
。
[0005]本专利技术提供一种产品说明书内容识别方法，包括：
[0006]获取待识别图像；其中，所述待识别图像为待识别产品说明书的图像；
[0007]将所述待识别图像输入图表识别模型，得到所述图表识别模型输出的所述待识别图像的目标图表识别结果；其中，所述图表识别模型是基于包含图表内容的目标框标签和样本产品说明书图像进行训练得到的；
[0008]基于所述待识别图像的排版信息，对所述待识别图像的文字识别结果和所述目标图表识别结果进行融合，得到所述待识别产品说明书的结构化识别结果
。
[0009]根据本专利技术提供的一种产品说明书内容识别方法，所述图表识别模型包括切图模块和图表检测模块；所述将所述待识别图像输入图表识别模型，得到所述图表识别模型输出的所述待识别图像的目标图表识别结果，包括：
[0010]采用所述切图模块，将所述待识别图像切分为多个图像块；
[0011]采用所述图表检测模块，从所述多个图像块中检测出包含图表内容的待识别图像目标框，并将所述待识别图像目标框确定为所述待识别图像的目标图表识别结果
。
[0012]根据本专利技术提供的一种产品说明书内容识别方法，所述图表识别模型还包括语义分割模块；所述将所述待识别图像输入图表识别模型，得到所述图表识别模型输出的所述待识别图像的目标图表识别结果，包括：
[0013]采用语义分割模块，从所述待识别图像目标框中提取药品成分目标框的化学结构
式图片，并将所述化学结构式图片确定为所述待识别图像的目标图表识别结果
。
[0014]根据本专利技术提供的一种产品说明书内容识别方法，所述包含图表内容的待识别图像目标框包括以下至少一种：药品成分目标框
、
表格目标框
、
统计图目标框和审核日期目标框
。
[0015]根据本专利技术提供的一种产品说明书内容识别方法，确定所述待识别图像的文字识别结果，包括：
[0016]获取除所述待识别图像目标框之外的文字图像块，和所述待识别图像目标框中的文字区域；
[0017]将所述文字图像块和所述待识别图像目标框中的文字区域分别输入文字识别模型，得到所述文字识别模型输出的所述待识别图像的文字识别结果
。
[0018]根据本专利技术提供的一种产品说明书内容识别方法，所述基于所述待识别图像的排版信息，对所述待识别图像的文字识别结果和所述目标图表识别结果进行融合，得到所述待识别产品说明书的结构化识别结果，包括：
[0019]基于所述待识别图像的排版信息，调整所述文字识别结果与所述目标图表识别结果的相对坐标；
[0020]基于调整后的相对坐标，对所述待识别图像的文字识别结果和所述目标图表识别结果进行融合，得到所述待识别产品说明书的结构化识别结果
。
[0021]本专利技术还提供一种产品说明书内容识别装置，包括：
[0022]采集单元，用于获取待识别图像；
[0023]图表识别单元，用于将所述待识别图像输入图表识别模型，得到所述图表识别模型输出的所述待识别图像的目标图表识别结果；其中，所述图表识别模型是基于包含图表内容的目标框标签和样本产品说明书图像进行训练得到的；
[0024]输出单元，用于基于所述待识别图像的排版信息，对所述待识别图像的文字识别结果和所述目标图表识别结果进行融合，得到所述待识别产品说明书的结构化识别结果
。
[0025]本专利技术还提供一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述产品说明书内容识别方法
。
[0026]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述产品说明书内容识别方法
。
[0027]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述产品说明书内容识别方法
。
[0028]本专利技术提供的产品说明书内容识别方法及装置，基于深度学习模型，将药品说明书数据分为图表部分和文字部分，并分别进行识别，得到文字识别结果和所述目标图表识别结果，最后将识别结果进行融合，以达到自动识别产品说明书内容数据并将其结构化的目的
。
本专利技术能够大幅降低人工对产品说明书进行结构化工作的成本，提高工作效率
。
附图说明
[0029]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一
些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0030]图1是本专利技术实施例提供的产品说明书内容识别方法的流程示意图；
[0031]图2是本专利技术实施例提供的图表识别结果样例示意图；
[0032]图3是本专利技术实施例提供的化学结构式图片样例示意图；
[0033]图4是本专利技术实施例提供的
OCR
模型输入与输出样例示意图；
[0034]图5是本专利技术实施例提供的文本识别结果样例示意图；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种产品说明书内容识别方法，其特征在于，包括：获取待识别图像；其中，所述待识别图像为待识别产品说明书的图像；将所述待识别图像输入图表识别模型，得到所述图表识别模型输出的所述待识别图像的目标图表识别结果；其中，所述图表识别模型是基于包含图表内容的目标框标签和样本产品说明书图像进行训练得到的；基于所述待识别图像的排版信息，对所述待识别图像的文字识别结果和所述目标图表识别结果进行融合，得到所述待识别产品说明书的结构化识别结果
。2.
根据权利要求1所述的产品说明书内容识别方法，其特征在于，所述图表识别模型包括切图模块和图表检测模块；所述将所述待识别图像输入图表识别模型，得到所述图表识别模型输出的所述待识别图像的目标图表识别结果，包括：采用所述切图模块，将所述待识别图像切分为多个图像块；采用所述图表检测模块，从所述多个图像块中检测出包含图表内容的待识别图像目标框，并将所述待识别图像目标框确定为所述待识别图像的目标图表识别结果
。3.
根据权利要求2所述的产品说明书内容识别方法，其特征在于，所述图表识别模型还包括语义分割模块；所述将所述待识别图像输入图表识别模型，得到所述图表识别模型输出的所述待识别图像的目标图表识别结果，包括：采用语义分割模块，从所述待识别图像目标框中提取药品成分目标框的化学结构式图片，并将所述化学结构式图片确定为所述待识别图像的目标图表识别结果
。4.
根据权利要求2或3所述的产品说明书内容识别方法，其特征在于，所述包含图表内容的待识别图像目标框包括以下至少一种：药品成分目标框
、
表格目标框
、
统计图目标框和审核日期目标框
。5.
根据权利要求3所述的产品说明书内容识别方法，其特征在于，确定所述待识别图像的文字识别结果，包括：获取除所述待识别图像目标框之外的文字图像块，和所述...

【专利技术属性】
技术研发人员：何大伟，朱波，李红星，申龙龙，唐丽，高晗，刘劼，林全国，白玮，袁洪泉，
申请(专利权)人：国新健康保障服务有限公司，
类型：发明
国别省市：