【技术实现步骤摘要】
本专利技术属于多模态数据处理的，尤其涉及一种基于ds证据理论的网页多模态信息抽取方法和系统。
技术介绍
1、信息抽取(ie)是自然语言处理(nlp)领域的一项关键任务，旨在自动地从半结构化文本中提取出结构化、有意义的信息和知识，这些信息在待抽取的文档中被视为关键信息。多模态信息抽取(mie)则是在ie的基础上，引入了文本以外的模态，如布局和图像，以辅助抽取任务。随着互联网和数字化时代的发展，海量的文档数据不断涌现，其中蕴含着大量有价值的信息，例如新闻、公告、发票等。这些数据的规模和复杂性使得人工处理和分析变得不可行，因此自动化的信息抽取技术变得尤为重要。
2、目前存在的技术方案分为基于单模态和基于多模态的方法：
3、基于单模态的方法：在早期的工作中，研究人员注意采用单模态的方法进行信息抽取。这些方法所使用的技术主要有基于规则的方法，基于启发式的方法。其中，基于规则的方法依赖于领域专家事先定义的规则和模式。基于启发式的方法通过考虑文本结构、语言模式等启发性信息来提取关键信息；基于神经网络的方法，借助于神经网络强大的学习和表达能力对文本进行信息抽取。以上方法虽然一定程度上可以实现信息抽取任务，但在处理复杂结构的文本或多模态任务时，其泛化能力有限，且对数据质量敏感。
4、基于多模态的方法：多模态方法融合了文本、布局和视觉等多种信息维度，并通过神经网络实现信息抽取。这类方法以其自动化程度高和强大的泛化能力，在多种任务上表现出色。例如，2018年，zhang等人利用文本和图片的双模态输入，通过改良的bi
5、虽然目前的方法在提高多模态任务的性能方面已取得显著成果，但也可能引发一些潜在问题：
6、1.忽视不同特征之间可能存在的影响：在许多抽取任务中，特征间的关联性可能产生负面影响，从而降低模型的性能。例如，文本信息中的某些关键词可能与图像中的特定区域相对应，而这种关联性可能被简单的拼接或加减操作所忽略，甚至引入不必要的噪声，干扰原本特征。
7、2.缺乏清晰的模态关系建模：输入层融合方法通常独立地处理不同模态特征，将它们送入模型的不同输入层，可能导致模型难以准确建模模态间的复杂关系。模态之间的相互影响和依赖关系可能被模糊化，使得模型在做出预测时难以解释其背后的决策过程，从而无法对模型做出针对性的优化以提高模型的准确率。例如，在一个融合了图像和文本的信息抽取任务中，模型可能会在某个隐藏层上融合两种模态的特征，但由于缺乏明确的关系建模，使得研究人员无法解释模型是如何根据文本和图像之间的特定关系做出决策。
8、3.加剧硬件资源的消耗：多模态融合方法通常需要处理来自不同模态的大量数据，并且在模型的不同层次上进行复杂的计算和操作。这要求更强大的硬件资源以支持模型训练和推理过程，导致显著的资源消耗。例如，相较于单模态，多模态模型的训练，需要更大的内存空间来存储训练数据集，以及更高的计算能力来处理复杂的模态融合过程。在推理阶段，模型需要更快的计算速度和更高的内存容量，以满足实时应用的需求。
技术实现思路
1、本专利技术的目的是提供一种基于ds证据理论的网页多模态信息抽取方法及系统，采用多模态决策融合与权重修正策略在特征冲突或特征不清晰的情况下，对目标信息进行准确抽取。
2、为解决上述问题，本专利技术的技术方案为：
3、一种基于ds证据理论的网页多模态信息抽取方法，包括：
4、在信息抽取的决策层中，对文本特征进行sentencebert编码和bilstm推理，获得不同标签的分类概率，构成文本特征对应的证据；
5、采用狄利克雷分布建模训练数据集中位置信息与分类标签之间的关系，并利用狄利克雷分布的概率密度函数生成布局特征对应的证据；
6、拼接文本特征证据与布局特征证据，得到合成证据；
7、对合成证据进行修正及权重分配，得到用于决策的证据集合；
8、将证据集合中的证据进行融合，生成最终的决策结果；基于所述决策结果，抽取信息。
9、根据本专利技术一实施例，所述对合成证据进行修正及权重分配进一步包括：
10、基于支持度距离矩阵对合成证据进行证据修正；
11、通过可信度计算方法计算每个证据的可信度；
12、通过kl散度计算证据与均匀分布的距离，确定证据的清晰度；
13、基于证据的可信度和清晰度，对证据进行权重分配，得到每个证据的权重；
14、将证据权重与修正后的证据相乘，得到用于决策的证据集合。
15、根据本专利技术一实施例，所述通过可信度计算方法计算每个证据的可信度进一步包括：
16、计算每个证据的信息质量；
17、基于证据的信息质量，计算证据之间的相关系数；
18、计算一证据与其他证据的相关系数之和的平均值，得到所述证据的可信度。
19、根据本专利技术一实施例，所述基于证据的可信度和清晰度，对证据进行权重分配，得到每个证据的权重进一步包括：
20、通过以下公式得到每个证据的权重wi：
21、
22、其中，cred(mi)为证据mi的可信度，clar(mi)、clar(mj)分别为证据mi、mj的清晰度，n为权重数，本专利技术中n为6。
23、根据本专利技术一实施例，所述基于支持度距离矩阵对合成证据进行证据修正进一步包括：修正证据为f＝{f1,f2,f3,...,fn}，其中，
24、fi＝{di，1，di，2，di，3，...，di，k}
25、
26、式中，di,j为修正后的第i条证据对第j个分类的支持度，mi,j、mi,k分别为第i条证据对第j个和第k个分类的支持度，k为分类数量。
27、根据本专利技术一实施例，所述将证据集合中的证据进行融合进一步包括：
28、将每个证据的权重与修正后的证据相乘得到最终的证据；
29、采用dempster–shafer合成规则，将最终的证据进行融合，并取最大值的下标作为决策结果。
30、一种基于ds证据理论的网页多模态信息抽取系统，包括：
31、证据生成模块，用于在信息抽取的决策层中，对文本特征进行sente本文档来自技高网...
【技术保护点】
1.一种基于DS证据理论的网页多模态信息抽取方法，其特征在于，包括：
2.如权利要求1所述的基于DS证据理论的网页多模态信息抽取方法，其特征在于，所述对合成证据进行修正及权重分配进一步包括：
3.如权利要求2所述的基于DS证据理论的网页多模态信息抽取方法，其特征在于，所述通过可信度计算方法计算每个证据的可信度进一步包括：
4.如权利要求2所述的基于DS证据理论的网页多模态信息抽取方法，其特征在于，所述基于证据的可信度和清晰度，对证据进行权重分配，得到每个证据的权重进一步包括：
5.如权利要求2所述的基于DS证据理论的网页多模态信息抽取方法，其特征在于，所述基于支持度距离矩阵对合成证据进行证据修正进一步包括：修正证据为F＝{f1,f2,f3,...,fN}，其中，
6.如权利要求1所述的基于DS证据理论的网页多模态信息抽取方法，其特征在于，所述将证据集合中的证据进行融合进一步包括：
7.如权利要求1所述的基于DS证据理论的网页多模态信息抽取方法，其特征在于，所述在信息抽取的决策层中，对文本特征进行Sentenc
8.如权利要求1所述的基于DS证据理论的网页多模态信息抽取方法，其特征在于，所述采用狄利克雷分布建模训练数据集中位置信息与分类标签之间的关系，并利用狄利克雷分布的概率密度函数生成布局特征对应的证据进一步包括：
9.一种基于DS证据理论的网页多模态信息抽取系统，其特征在于，包括：
10.如权利要求9所述的基于DS证据理论的网页多模态信息抽取系统，其特征在于，所述证据修正与权重分配模块包括证据修正单元、可信度计算单元、清晰度计算单元及权重计算单元；
...【技术特征摘要】
1.一种基于ds证据理论的网页多模态信息抽取方法，其特征在于，包括：
2.如权利要求1所述的基于ds证据理论的网页多模态信息抽取方法，其特征在于，所述对合成证据进行修正及权重分配进一步包括：
3.如权利要求2所述的基于ds证据理论的网页多模态信息抽取方法，其特征在于，所述通过可信度计算方法计算每个证据的可信度进一步包括：
4.如权利要求2所述的基于ds证据理论的网页多模态信息抽取方法，其特征在于，所述基于证据的可信度和清晰度，对证据进行权重分配，得到每个证据的权重进一步包括：
5.如权利要求2所述的基于ds证据理论的网页多模态信息抽取方法，其特征在于，所述基于支持度距离矩阵对合成证据进行证据修正进一步包括：修正证据为f＝{f1,f2,f3,...,fn}，其中，
6.如权利要求1所述的基于ds证据理论的网页多模态信息...
【专利技术属性】
技术研发人员：王剑，王京岭，庾桂铭，王章全，郭世远，陈允峰，邢小培，
申请(专利权)人：郑州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。