【技术实现步骤摘要】
本专利技术涉及搜索
，尤其涉及一种站点模板的处理方法及装置。
技术介绍
网站可以提供各种页面，对于这些页面，可以从中抽取出多个信息，以论文为例，可以抽取出题目、作者、书目、期号、页码、DOI、摘要和关键词中至少一个信息。这些信息可以用于构建搜索引擎在搜索时所需要使用的搜索索引信息。现有技术中，从互联网的页面中爬取信息的方法是：首先爬取到大量页面内容，再根据各站点的站点模板来从页面内容中抽取所需要的信息。然而，这种利用站点模板来抽取信息的方式中，一旦页面结构发生变化，将导致站点模板失效，目前站点模板是人工配置的，站点模板失效后将需要人工重新配置，因此，现有技术中站点模板的生成效率比较低，生成成本比较高。
技术实现思路
有鉴于此，本专利技术实施例提供了一种站点模板的处理方法及装置，可以实现自动生成站点模板，提高了站点模板的生成效率，降低了站点模板的生成成本。本专利技术实施例的一方面，提供一种站点模板的处理方法，包括：获取站点所提供的页面，以作为训练样本；获取模板样式，所述模板样式中定义有至少一个字段；根据与各字段相匹配的字符串，在所述训练样本中进行匹配，以获得所述模板样式中定义的各字段的描述信息；根据所述模板样式和所述模板样式中定义的各字段的描述信息，生成所述站点的站点模板。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据与各字段相匹配...
【技术保护点】
一种站点模板的处理方法，其特征在于，所述方法包括：获取站点所提供的页面，以作为训练样本；获取模板样式，所述模板样式中定义有至少一个字段；根据与各字段相匹配的字符串，在所述训练样本中进行匹配，以获得所述模板样式中定义的各字段的描述信息；根据所述模板样式和所述模板样式中定义的各字段的描述信息，生成所述站点的站点模板。
【技术特征摘要】
1.一种站点模板的处理方法，其特征在于，所述方法包括：
获取站点所提供的页面，以作为训练样本；
获取模板样式，所述模板样式中定义有至少一个字段；
根据与各字段相匹配的字符串，在所述训练样本中进行匹配，以获得所述模
板样式中定义的各字段的描述信息；
根据所述模板样式和所述模板样式中定义的各字段的描述信息，生成所述站
点的站点模板。
2.根据权利要求1所述的方法，其特征在于，所述根据与各字段相匹配的
字符串，在所述训练样本中进行匹配，以获得所述模板样式中定义的各字段的描
述信息，包括：
根据输入的与每个字段相匹配的字符串，在所述训练样本中进行模糊匹配，
以获得候选字符串；
去除所述候选字符串中的杂质字符，以获得目标字符串；
获得所述目标字符串在所述训练样本中的节点路径；
根据所述节点路径，从所述训练样本中抽取所述模板样式中定义的与所述目
标字符串相匹配的字段的其他描述信息。
3.根据权利要求1或2所述的方法，其特征在于，每个所述字段的描述信
息包括字段的元信息、上下文信息、节点路径和字体中至少一个。
4.根据权利要求1或2所述的方法，其特征在于，所述模板样式包括：站
点的域名、站点模板命中的页面的URL、站点模板命中的所述站点所提供的页面
的次数、各字段名称、各字段的描述信息、模板类型和模板权重中至少一个。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用所述站点所提供的至少一个页面，对所述站点模板中各字段的描述信息
进行校验，以获得校验结果；
根据所述校验结果，对所述站点模板中各字段的描述信息进行调整。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用所述站点模板对所述站点的一个页面进行字符串提取；
若提取的所述字符串与所述站点模板中定义的字段的通用特征相匹配，将所
述字符串作为所述页面的搜索索引信息；或者，若提取的所述字符串与所述站点
模板中定义的字段的通用特征不匹配，丢弃提取的所述字符串，并将所述站点模
板中用于提取出所述字符串的字段的节点路径在所述站点模板中删除。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用所述站点模板中定义的每个字段的描述信息中包含的节点路径，对所述
站点的至少两个页面进行字符串提取；
若提取的至少两个所述字符串相同，确定所述站点模板中用于提取出所述字
符串的字段的节点路径有误，则将所述站点模板中用于提取出至少两个所述字符
串的字段的节点路径在所述站点模板中删除。
8.一种站点模板的处理装置，其特征在于，所述装置包括：
样本获取模块，用于获取站点所...
【专利技术属性】
技术研发人员：刘伟，叶汇龙，田振雷，马晋，曹冰，张显，张晓婧，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。