【技术实现步骤摘要】
资讯文本的获取方法、装置、电子设备及可读存储介质
[0001]本申请涉及计算机领域，具体而言，涉及一种资讯文本的获取方法、装置、电子设备及可读存储介质。
技术介绍
[0002]目前，各种资讯的获取方式通常都是使用爬虫脚本的方式进行实现的。然而，传统爬虫脚本通常都是先解析HTML网页为Dom树，再根据人工观察的方式抽取出正文内容所在的节点，并通过人工提取的方式获取该节点内包含的所有文字信息。另外，因为每个HTML网页的排版和页面样式都会有些许不同，所以上述的这种使用爬虫脚本的方式还存在通用性的问题。这就使得，整个流程中始终都需要人工干预，从而导致了资讯文本获取方案中的开发成本和维护成本及其高昂。
技术实现思路
[0003]本申请实施例的目的在于提供一种资讯文本的获取方法、装置、电子设备及可读存储介质，能够提高资讯文本的获取自动化与获取通用性，同时还能够避免人工干预，从而极大程度地降低了资讯文本获取方案中的开发成本和维护成本。
[0004]本申请实施例第一方面提供了一种资讯文本的获取方法，包括：
[0005]对获取到的HTML资讯页面进行解析，得到Dom树有向图结构；所述HTML资讯页包括多个HTML节点；
[0006]将所述Dom树有向图结构中的数据输入至预设的图神经网络深度学习模型，以使所述图神经网络深度学习模型预测每个HTML节点属于正文内容的概率，得到与多个HTML节点一一对应的多个预测概率；
[0007]获取与所述多个预测概率中前N个最大的指定概率一一对应的多个H...
【技术保护点】
【技术特征摘要】
1.一种资讯文本的获取方法，其特征在于，所述方法包括：对获取到的HTML资讯页面进行解析，得到Dom树有向图结构；所述HTML资讯页包括多个HTML节点；将所述Dom树有向图结构中的数据输入至预设的图神经网络深度学习模型，以使所述图神经网络深度学习模型预测每个HTML节点属于正文内容的概率，得到与多个HTML节点一一对应的多个预测概率；获取与所述多个预测概率中前N个最大的指定概率一一对应的多个HTML指定节点；N为预设数；获取与所述多个HTML指定节点对应的资讯正文文本。2.根据权利要求1所述的资讯文本的获取方法，其特征在于，所述对获取到的HTML资讯页面进行解析，得到Dom树有向图结构的步骤包括：对获取到的HTML资讯页面进行解析，得到Dom树；对所述Dom树进行数据结构转化，得到Dom树有向图结构。3.根据权利要求1所述的资讯文本的获取方法，其特征在于，所述获取与所述多个HTML指定节点对应的资讯正文文本的步骤包括：获取所述多个HTML指定节点对应的最小公共父节点；调取所述最小公共父节点下的字符内容，并标记所述字符内容为资讯正文文本。4.根据权利要求1所述的资讯文本的获取方法，其特征在于，所述图神经网络深度学习模型预测每个HTML节点属于正文内容的概率，得到与多个HTML节点一一对应的多个预测概率的步骤包括：所述图神经网络深度学习模型根据所述数据包括的所述多个HTML节点和所述多个HTML节点之间的相互连接信息，预测每个HTML节点属于正文内容的概率，得到与多个HTML节点一一对应的多个预测概率。5.一种图神经网络深度学习模型的训练方法，用于权利要求1至4中任一项所述的资讯文本的获取方法中，其特征在于，所述方法包括：根据3～6个叠加的图卷积层和1个全连接层，构建基于图神经网络的特征抽取模型；获取与HTML训练页面对应的训练用Dom树有向图结构，并获取与HTML训练页面对应的标注数据集；分割所述训练用Dom树有向图结构中的数据为训练集和测试集；所述训练集和所述测试集的数量比值为预设比值；根据所述标注数据集、所述训练集和所述测试集对所述特征抽取模型进行训练，得到图神经网络深度学习模型；其中，每一个图卷积层的结构为：H(l+1)＝D
‑1AH
(l)
；D用于表示所述训练用Dom树有向图结构包括的度信息矩阵；A用于表示所述训练用Dom树有向图结构包括的边信息矩阵；H
(l)
用于表示所述训练用Dom树有向图结构包括的节点信息；l用于表示所述特征抽取模型中的第l层图卷积层；H
(l+1)
用于表示经过特征抽取和变换得到的节点特征信息矩阵。
6.根据权利要求5所述的图神经网络深度学习模型的训练方法，其特征在于，所述获取与HTML训练页面对应的训练用Dom树有向图结构的步骤包括：对所述预设浏览器对HTML训练页面进行渲染，并构建对应的Dom树；将所述HTML训练页面中的<html>节点确定为根节点；根据所述根节点和预设遍历规则进行遍历解析，得到所述根节点包括的多个子节点；将所述根节点和所有子节点确定为多个HTML节点，记录每个HTML节点包括字符内容；获取所述每个HTML节点的CSS属性值和所述每个HTML节点在预设个不同特征维度下的数值特征；根据所述每个HTML节点在预设个不同特征维度下的数值特征生成训练用Dom树有向图结构；其中，所述Dom树的有向图结构包括由矩阵表示的节点信息、由矩阵表示的边信息以及由矩阵表示的度信息。7.根据权利要求6所述的图神经网络深度学习模型的训练方法，其特征在于，所述预设个不同特征维度包...
【专利技术属性】
技术研发人员：邹俊逸，
申请(专利权)人：广东博智林机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。