一种语义冗余的确定方法和装置、对应的搜索方法和装置制造方法及图纸

本发明专利技术提供了一种语义冗余的确定方法和装置、对应的搜索方法和装置，其中语义冗余的确定方法包括：S1、确定词A及其搭配词B；S2、从语料中统计词A和词B构成的搭配词对的上下文向量，以及统计词A的上下文向量；S3、计算所述词A和词B构成的搭配词对的上下文向量与所述词A的上下文向量之间的相似度，如果相似度大于预设相似度阈值，则确定所述词A和词B构成的搭配词对与所述词A构成语义冗余对，其中所述词B为冗余词。通过本发明专利技术能够有效地确定query中存在的语义冗余状况，为query的去冗余提供基础。利用去冗余后的query进行搜索，使得冗余的关键词不必参与匹配，提高了搜索结果的召回率，提高了搜索效果。

【技术实现步骤摘要】
一种语义冗余的确定方法和装置、对应的搜索方法和装置
本专利技术涉及自然语言处理技术，特别涉及一种语义冗余的确定方法和装置、对应的搜索方法和装置。
技术介绍
随着搜索引擎技术的不断发展，传统基于关键词匹配的策略在现代搜索引擎中对于语义匹配方面越来越力不从心。其中用户在进行搜索的过程中，有很大比例的语义冗余表达，例如：“北京中关村在哪里”实际上与“中关村在哪里”表达的含义相同，“苹果iphone4s”与“iphone4s”表达的含义相同，“张艺谋导演的新片”与“张艺谋的新片”表达的含义相同，“离婚后对前夫仇恨怎么办”与“前夫仇恨怎么办”表达的含义相同，等等，由于基于关键词匹配的方式需要每个关键词都能够匹配才能够取得靠前的排名，因此对于实际上在语义上匹配的网页但由于并没有对query中语义冗余的关键词匹配，则可能无法取得靠前的排名，甚至无法召回。
技术实现思路
本专利技术提供了一种语义冗余的确定方法和装置、对应的搜索方法和装置，以便于有效地确定query中存在的语义冗余状况，从而提高搜索效果。具体技术方案如下：一种语义冗余的确定方法，该方法包括：S1、确定词A及其搭配词B；S2、从语料中统计词A和词B构成的搭配词对的上下文向量，以及统计词A的上下文向量；S3、计算所述词A和词B构成的搭配词对的上下文向量与所述词A的上下文向量之间的相似度，如果相似度大于预设相似度阈值，则确定所述词A和词B构成的搭配词对与所述词A构成语义冗余对，其中所述词B为冗余词。根据本专利技术一优选实施例，所述步骤S1中确定词A具体为：确定所述语料中出现频率大于预设第一频率阈值的名词作为所述词A。根据本专利技术一优选实施例，所述步骤S1中确定词A的搭配词B具体为：确定所述语料中与所述词A共现在预设窗口范围内的频率大于预设第二频率阈值，且与词A共现的状况满足预设第一模板的词，利用确定出的词选择词B。根据本专利技术一优选实施例，所述利用确定出的词选择词B包括：将确定出的词作为词B；或者，将确定出的词按照卡方值进行排序，选择排在前N个的词作为词B，N为预设的正整数；或者，从确定出的词中选择卡方值大于预设卡方值阈值的词作为词B。根据本专利技术一优选实施例，在所述步骤S2中统计词A和词B构成的搭配词对的上下文向量具体包括：确定所述语料中与所述搭配词对共现的状况满足预设第二模板的词，从确定出的词与所述搭配词对共现在预设窗口范围内时的语料中抽取所述搭配词对的上下文，并利用抽取的上下文与所述搭配词对的共现频率确定上下文的权值，得到所述搭配词对的上下文向量；其中，在所述第二模板中所述搭配词对为前缀或后缀。根据本专利技术一优选实施例，在所述步骤S2中统计词A的上下文向量具体包括：从语料中抽取所述词A的上下文，并利用抽取的上下文与所述词A的共现频率确定上下文的权值，得到所述词A的上下文向量。根据本专利技术一优选实施例，在所述步骤S3中计算的相似度采用余弦相似度或信息半径相似度。一种搜索方法，该搜索方法包括：对用户输入的query进行分词处理；利用分词处理后得到的各词两两构成的搭配词对查找语义冗余对数据库，如果匹配到语义冗余对，则利用匹配到的语义冗余对对所述query进行去冗余处理，并利用去冗余处理后的query进行搜索；所述语义冗余对数据库中的各语义冗余对采用如权利要求1至7任一权项所述的方法确定。根据本专利技术一优选实施例，所述利用分词处理后得到的各词两两构成的搭配词对查找语义冗余对数据库具体包括：确定分词处理后得到的各词中，共现在预设窗口范围内且共现状况满足预设第一模板的两个词构成搭配词对，利用确定的搭配词对查找所述语义冗余对数据库。一种语义冗余的确定装置，该装置包括：搭配词对确定单元，用于确定词A及其搭配词B；上下文向量确定单元，用于从语料中统计词A和词B构成的搭配词对的上下文向量，以及统计词A的上下文向量；冗余对确定单元，用于计算所述词A和词B构成的搭配词对的上下文向量与所述词A的上下文向量之间的相似度，如果相似度大于预设相似度阈值，则确定所述词A和词B构成的搭配词对与所述词A构成语义冗余对，其中所述词B为冗余词。根据本专利技术一优选实施例，所述搭配词对确定单元包括：候选词确定子单元，用于确定所述语料中出现频率大于预设第一频率阈值的名词作为所述词A。根据本专利技术一优选实施例，所述搭配词对确定单元包括：搭配词确定子单元，用于确定所述语料中与所述词A共现在预设窗口范围内的频率大于预设第二频率阈值，且与词A共现的状况满足预设第一模板的词，利用确定出的词选择词B。根据本专利技术一优选实施例，所述搭配词确定子单元在利用确定出的词选择词B时，具体将确定出的词作为词B；或者，将确定出的词按照卡方值进行排序，选择排在前N个的词作为词B，N为预设的正整数；或者，从确定出的词中选择卡方值大于预设卡方值阈值的词作为词B。根据本专利技术一优选实施例，所述上下文向量确定单元包括：第一向量确定子单元，用于确定所述语料中与所述搭配词对共现的状况满足预设第二模板的词，从确定出的词与所述搭配词对共现在预设窗口范围内时的语料中抽取所述搭配词对的上下文，并利用抽取的上下文与所述搭配词对的共现频率确定上下文的权值，得到所述搭配词对的上下文向量；其中，在所述第二模板中所述搭配词对为前缀或后缀。根据本专利技术一优选实施例，所述上下文向量确定单元包括：第二向量确定子单元，用于从语料中抽取所述词A的上下文，并利用抽取的上下文与所述词A的共现频率确定上下文的权值，得到所述词A的上下文向量。根据本专利技术一优选实施例，所述冗余对确定单元在计算相似度时采用余弦相似度或信息半径相似度。一种搜索装置，该搜索装置包括：分词处理单元，用于对用户输入的query进行分词处理；冗余处理单元，用于利用分词处理后得到的各词两两构成的搭配词对查找语义冗余对数据库，如果匹配到语义冗余对，则利用匹配到的语义冗余对对所述query进行去冗余处理；搜索单元，用于利用去冗余处理后的query进行搜索；所述语义冗余对数据库中的各语义冗余对采用如权利要求10至16任一权项所述的装置确定。根据本专利技术一优选实施例，所述冗余处理单元在利用分词处理后得到的各词两两构成的搭配词对查找语义冗余对数据库时，具体确定分词处理后得到的各词中，共现在预设窗口范围内且共现状况满足预设第一模板的两个词构成搭配词对，利用确定的搭配词对查找所述语义冗余对数据库。由以上技术方案可以看出，本专利技术通过统计词A和词B构成的搭配词对的上下文向量，以及词A的上下文向量，计算两向量之间的相似度，如果相似度大于预设相似度阈值，则确定词A和词B构成的搭配词对与词A构成语义冗余对，其中词B为冗余词。通过本专利技术能够有效地确定query中存在的语义冗余状况，为query的去冗余提供基础。利用去冗余后的query进行搜索，使得冗余的关键词不必参与匹配，提高了搜索结果的召回率，且在实际语义上与query匹配的网页能够取得靠前的排名，提高了搜索效果。【附图说明】图1为本专利技术实施例一提供的语义冗余的确定方法流程图；图2为本专利技术实施例二提供的搜索方法；图3为本专利技术实施例三提供的语义冗余的确定装置结构图；图4为本专利技术实施例四提供的搜索装置结构图。【具体实施方式】为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发本文档来自技高网...

【技术保护点】
一种语义冗余的确定方法，其特征在于，该方法包括：S1、确定词A及其搭配词B；S2、从语料中统计词A和词B构成的搭配词对的上下文向量，以及统计词A的上下文向量；S3、计算所述词A和词B构成的搭配词对的上下文向量与所述词A的上下文向量之间的相似度，如果相似度大于预设相似度阈值，则确定所述词A和词B构成的搭配词对与所述词A构成语义冗余对，其中所述词B为冗余词。

【技术特征摘要】
1.一种语义冗余的确定方法，其特征在于，该方法包括：S1、确定词A及其搭配词B；S2、从语料中统计词A和词B构成的搭配词对的上下文向量，以及统计词A的上下文向量；S3、计算所述词A和词B构成的搭配词对的上下文向量与所述词A的上下文向量之间的相似度，如果相似度大于预设相似度阈值，则确定所述词A和词B构成的搭配词对与所述词A构成语义冗余对，其中所述词B为冗余词；所述统计词A和词B构成的搭配词对的上下文向量具体包括：确定所述语料中与所述搭配词对共现的状况满足预设第二模板的词，从确定出的词与所述搭配词对共现在预设窗口范围内时的语料中抽取所述搭配词对的上下文，并利用抽取的上下文与所述搭配词对的共现频率确定上下文的权值，得到所述搭配词对的上下文向量；其中，在所述第二模板中所述搭配词对为前缀或后缀；所述统计词A的上下文向量具体包括：从语料中抽取所述词A的上下文，并利用抽取的上下文与所述词A的共现频率确定上下文的权值，得到所述词A的上下文向量。2.根据权利要求1所述的方法，其特征在于，所述步骤S1中确定词A具体为：确定所述语料中出现频率大于预设第一频率阈值的名词作为所述词A。3.根据权利要求1所述的方法，其特征在于，所述步骤S1中确定词A的搭配词B具体为：确定所述语料中与所述词A共现在预设窗口范围内的频率大于预设第二频率阈值，且与词A共现的状况满足预设第一模板的词，利用确定出的词选择词B。4.根据权利要求3所述的方法，其特征在于，所述利用确定出的词选择词B包括：将确定出的词作为词B；或者，将确定出的词按照卡方值进行排序，选择排在前N个的词作为词B，N为预设的正整数；或者，从确定出的词中选择卡方值大于预设卡方值阈值的词作为词B。5.根据权利要求1所述的方法，其特征在于，在所述步骤S3中计算的相似度采用余弦相似度或信息半径相似度。6.一种搜索方法，其特征在于，该搜索方法包括：对用户输入的query进行分词处理；利用分词处理后得到的各词两两构成的搭配词对查找语义冗余对数据库，如果匹配到语义冗余对，则利用匹配到的语义冗余对对所述query进行去冗余处理，并利用去冗余处理后的query进行搜索；所述语义冗余对数据库中的各语义冗余对采用如权利要求1至5任一权项所述的方法确定。7.根据权利要求6所述的搜索方法，其特征在于，所述利用分词处理后得到的各词两两构成的搭配词对查找语义冗余对数据库具体包括：确定分词处理后得到的各词中，共现在预设窗口范围内且共现状况满足预设第一模板的两个词构成搭配词对，利用确定的搭配词对查找所述语义冗余对数据库。8.一种语义冗余的确定装置，其特征在于，该装置包括：搭配词对确定单元，用于确定词A及...

【专利技术属性】
技术研发人员：方高林，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：