【技术实现步骤摘要】
本专利技术涉及信息识别，尤其涉及一种基于多模态的影像自动识别和审核的方法及系统。
技术介绍
1、银行的业务场景包含多种不同类别的影像类型如票据、凭证、表单、证照、合同等影像类型，每种类别又有不同的版式。为了保证业务服务质量、防范风险，需要对每笔业务影像中的关键要点信息进行比对审核。
2、目前的方法一般是针对特定类别特定版式的影像进行模型和系统开发，识别场景单一，缺乏适应于银行各种复杂业务场景的一站式解决方案，要想适配银行复杂多样的业务场景，就需要开发大量的模型、系统和业务策略，开发成本和维护成本非常高。现有方法灵活性较差，不同版式的影像识别的要点和审核的策略千变万化，随着业务的发展也会涉及到的策略的更新，需要重新进行模型和系统的开发，无法做到统一的维护和策略的动态更新。通用性较差，不具备可扩展性，传统的系统针对新增业务场景的影像识别和审核需要定制化开发，开发成本高，周期长，难以跟上新业务的发展。自动化程度较低，需要人工参与审核，效率低下，不能做到完全自动化。因此提出了一种基于多模态的影像自动识别和审核的方法及系统，旨在解决传统影像识别和审核系统无法适用于复杂多类别场景、灵活性和可维护性较差、新增业务场景不具备可扩展性等问题。
技术实现思路
1、为解决上述问题，本专利技术提出了一种可动态自适应于多场景、多类型、多版式的电子影像识别和自动化审核方法，该方法涉及到视觉和文本多模态技术，具有较高的通用性、灵活性、可扩展性、可维护性，可以实现银行复杂业务场景中版式多变、种类繁多的
2、为实现以上目的，本专利技术所采用的技术方案包括：
3、一种基于多模态的影像自动识别和审核的方法，其特征在于，包括：
4、s1.采集批次影像，对所述批次影像进行预处理，生成批次影像图片；
5、s2.对所述批次影像图片进行标题识别，将所述批次影像图片分为第一影像图片和第二影像图片；
6、s3.通过版式类别编码器对所述第一影像图片进行向量编码，生成版式类别向量，利用向量相似性检索确定所述第一影像图片的版式类别；
7、s4.基于所述第一影像图片的版式类别结果和所述第二影像图片的标题识别结果，与类别模版中的类别描述信息进行语义匹配，获取类别关联的要点审核模版，判断所述批次影像图片是否执行要点抽取任务；
8、s5.根据所述类别模版中的抽取方法进行要点抽取，生成要点识别结果，对所述要点识别结果进行二次加工，生成结构化数据；
9、s6.加载所述批次影像的批次号对应的审核策略，根据所述结构化数据进行文本的比对审核，生成审核结果并展示。
10、进一步地，所述对所述批次影像图片进行标题识别，将所述批次影像图片分为第一影像图片和第二影像图片，包括：
11、基于目标检测模型获取所述批次影像图片的标题位置，基于文字识别模型获取所述批次影像图片的标题内容，判断所述批次影像图片中是否存在标题内容和标题位置；
12、若不存在所述标题内容和标题位置，则将所述批次影像图片标记为第一影像图片；
13、若存在所述标题内容和标题位置，则将所述批次影像图片标记为第二影像图片。
14、进一步地，所述通过版式类别编码器对所述第一影像图片进行向量编码，生成版式类别向量，利用向量相似性检索确定所述第一影像图片的版式类别，包括：
15、计算所述版式类别向量和版式类别向量库的余弦相似度，获取余弦相似度最高且超过预设阈值的版式类别向量对应的版式类别，该版式类别为所述第一影像图片的版式类别；
16、若不存在余弦相似度最高且超过预设阈值的版式类别向量，则所述第一影像图片为未知类别。
17、更进一步地，所述方法还包括：
18、根据所述第一影像图片数据集，基于resnet101骨干网络和损失函数进行监督学习；
19、训练版式类别编码器，对所述第一影像图片进行向量编码，得到版式类别向量；
20、若所述第一影像图片的所述版式类别向量在版式类别向量库存在相应的版式类别，则直接在版式类别编码器进行向量相似度检索；
21、若所述第一影像图片的所述版式类别向量在版式类别向量库不存在相应的版式类别，则通过版式类别编码器进行向量编码，将所述版式类别向量加入版式类别向量库，并构建所述版式类别向量和版式类别的映射关系。
22、进一步地，所述基于所述第一影像图片的版式类别结果和所述第二影像图片的标题识别结果，与类别模版中的类别描述信息进行语义匹配，获取类别关联的要点审核模版，判断所述批次影像图片是否执行要点抽取任务，还包括：
23、根据要点审核模版中的抽取任务开关标识判断所述批次影像图片是否执行要点抽取任务，若要点审核模版中抽取任务开关为开，则对所述批次影像图片进行审核，若要点审核模版中抽取任务开关为关，则不对所述批次影像图片进行处理。
24、进一步地，所述抽取方法包括kie抽取和ocr抽取，所述kie抽取为利用多模态实体关系抽取模型对所述批次影像图片进行抽取，获取pair对组，根据要点审核模版中配置的业务关键字进行过滤，生成要点识别结果；
25、所述ocr抽取为采用ocr技术识别模型，基于onnx框架和反射机制，根据相似度检索匹配的版式类别结果，动态选择配置的要点抽取模型进行要点抽取，生成要点识别结果。
26、更进一步地，所述方法还包括：
27、动态配置预处理策略、类别模版信息、要点审核模版信息和审核策略。
28、本专利技术还涉及一种基于多模态的影像自动识别和审核的系统，其特征在于，包括：
29、预处理模块，用于采集批次影像，对所述批次影像进行预处理，生成批次影像图片；
30、标题识别模块，用于对所述批次影像图片进行标题识别，将所述批次影像图片分为第一影像图片和第二影像图片；
31、版式编码识别模块，用于通过版式类别编码器对所述第一影像图片进行向量编码，生成版式类别向量，利用向量相似性检索确定所述第一影像图片的版式类别；
32、模版匹配模块，用于基于所述第一影像图片的版式类别结果和所述第二影像图片的标题识别结果，与类别模版中的类别描述信息进行语义匹配，获取类别关联的要点审核模版，判断所述批次影像图片是否执行要点抽取任务；
33、要点抽取模块，用于根据所述类别模版中的抽取方法进行要点抽取，生成要点识别结果，对所述要点识别结果进行二次加工，生成结构化数据；
34、审核模块，用于加载所述批次影像的批次号对应的审核策略，根据所述结构化数据进行文本的比对审核，生成审核结果并展示。
35、本专利技术还涉及一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
36、本专利技术还涉及一种电子设备，其特征在于，包括处理本文档来自技高网...
【技术保护点】
1.一种基于多模态的影像自动识别和审核的方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述对所述批次影像图片进行标题识别，将所述批次影像图片分为第一影像图片和第二影像图片，包括：
3.如权利要求1所述的方法，其特征在于，所述通过版式类别编码器对所述第一影像图片进行向量编码，生成版式类别向量，利用向量相似性检索确定所述第一影像图片的版式类别，包括：
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
5.如权利要求1所述的方法，其特征在于，所述基于所述第一影像图片的版式类别结果和所述第二影像图片的标题识别结果，与类别模版中的类别描述信息进行语义匹配，获取类别关联的要点审核模版，判断所述批次影像图片是否执行要点抽取任务，还包括：
6.如权利要求1所述的方法，其特征在于，所述抽取方法包括KIE抽取和OCR抽取，所述KIE抽取为利用多模态实体识别模型对所述批次影像图片进行抽取，获取pair对组，根据要点审核模版中配置的业务关键字进行过滤，生成要点识别结果；
7.如权利要求1-6所述的方法，其
8.一种基于多模态的影像自动识别和审核的系统，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，包括处理器和存储器；
...【技术特征摘要】
1.一种基于多模态的影像自动识别和审核的方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述对所述批次影像图片进行标题识别，将所述批次影像图片分为第一影像图片和第二影像图片，包括：
3.如权利要求1所述的方法，其特征在于，所述通过版式类别编码器对所述第一影像图片进行向量编码，生成版式类别向量，利用向量相似性检索确定所述第一影像图片的版式类别，包括：
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
5.如权利要求1所述的方法，其特征在于，所述基于所述第一影像图片的版式类别结果和所述第二影像图片的标题识别结果，与类别模版中的类别描述信息进行语义匹配，获取类别关联的要点审核模版，判...
【专利技术属性】
技术研发人员：姚明，马宁，赵秀丽，姚远，张琦，
申请(专利权)人：中信银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。