搜索结果的自动评估方法、装置、系统及存储介质制造方法及图纸

本发明专利技术提供一种搜索结果的自动评估方法、装置、系统及存储介质，该方法，包括：获取相关的搜索结果；通过搜索结果偏序知识库，查询所述相关的搜索结果之间的偏序关系；通过所述相关的搜索结果之间的偏序关系，确定任意两条相关搜索结果的评估结果。本发明专利技术可以通过构建的偏序知识库进行快速的搜索结果评估，简化了评估的工作量，极大地提高了评估效率，且其评估结果更加客观、可靠。

【技术实现步骤摘要】
搜索结果的自动评估方法、装置、系统及存储介质
本专利技术涉及数据处理
，尤其涉及一种搜索结果的自动评估方法、装置、系统及存储介质。
技术介绍
日益增长的用户信息需求和高效方便获取信息资源的要求，都需要=索引擎不断地进行算法改进和系统优化。而搜索引擎每天的用户访问量都十分惊人，系统的任何细节问题都会影响最终的用户体验，因此，需要对搜索结果进行实时监控和评估。目前，主要有两种方式对搜索结果进行评估：(1)采用人工评估方式对搜索结果进行评估；(2)采用线上小流量实验的方式对搜索结果进行评估。但是，上述方式(1)对评估人员的要求较高，容易引入人为因素，使得评估结果不准确；上述方式(2)的实验结果的展示需要有特定实验机制的支持，评估工作量大，评估过程繁琐。
技术实现思路
本专利技术提供一种搜索结果的自动评估方法、装置、系统及存储介质，可以通过构建的偏序知识库进行快速的搜索结果评估，简化了评估的工作量，极大地提高了评估效率，且其评估结果更加客观、可靠。第一方面，本专利技术实施例提供一种搜索结果的自动评估方法，包括：获取相关的搜索结果；通过搜索结果偏序知识库，查询所述相关的搜索结果之间的偏序关系；其中，所述搜索结果偏序知识库用于存储搜索结果，以及所述搜索结果之间的偏序关系；通过所述相关的搜索结果之间的偏序关系，确定任意两条相关搜索结果的评估结果。在一种可能的设计中，在通过搜索结果偏序知识库，查询所述任意两条相关的搜索结果的评估结果之前，还包括：>基于历史用户行为日志，构建基础数据集合；对所述基础数据集合进行去噪处理，得到去噪后的偏序关系集合；将多个去噪后的偏序关系集合进行合并，得到搜索结果偏序知识库。在一种可能的设计中，所述基础数据集合中包含有多种不同类型的偏序关系数据；其中，所述偏序关系数据包括：Time策略数据、Longclick策略数据、Skynet策略数据、Baseline策略数据。在一种可能的设计中，基于历史用户行为日志，构建基础数据集合之后，还包括：对所述基础数据集合中的数据进行编辑处理。在一种可能的设计中，对所述基础数据集合中的数据进行编辑处理，包括以下任一或者任多方式：通过多数据交叉验证，以及偏序关系间的传递性，对所述基础数据集合中的数据进行扩展；在所述基础数据集合中引入新的数据；对所述基础数据集合中的数据进行修正。在一种可能的设计中，对所述基础数据集合进行去噪处理，得到去噪后的偏序关系集合，包括：构建所述基础数据集合的偏序关系图，检测所述偏序关系图中的所有环状结构；按照预设策略剪除所述环状结构中的边，直到所述偏序关系图不存在环状结构。在一种可能的设计中，将多个去噪后的偏序关系集合进行合并，得到搜索结果偏序知识库，包括：将多份去噪后的偏序关系集合进行合并；若存在不一致的偏序关系，则通过投票来确定所述搜索结果偏序知识库的偏序关系。在一种可能的设计中，通过所述相关的搜索结果之间的偏序关系，确定任意两条相关搜索结果的评估结果，包括：根据任意两条相关搜索结果的偏序关系，确定不同排序结果的位置得分；根据所述位置得分，通过点击的pairwise方法对所述搜索结果的排序关系进行评估，得到所述排序结果的评估分数。第二方面，本专利技术实施例提供一种搜索结果的自动评估装置，包括：获取模块，用于获取相关的搜索结果；查询模块，用于通过搜索结果偏序知识库，查询所述相关的搜索结果之间的偏序关系；其中，所述搜索结果偏序知识库用于存储搜索结果，以及所述搜索结果之间的偏序关系；确定模块，用于通过所述相关的搜索结果之间的偏序关系，确定任意两条相关搜索结果的评估结果。在一种可能的设计中，还包括：构建模块，用于：基于历史用户行为日志，构建基础数据集合；对所述基础数据集合进行去噪处理，得到去噪后的偏序关系集合；将多个去噪后的偏序关系集合进行合并，得到搜索结果偏序知识库。在一种可能的设计中，所述基础数据集合中包含有多种不同类型的偏序关系数据；其中，所述偏序关系数据包括：Time策略数据、Longclick策略数据、Skynet策略数据、Baseline策略数据。在一种可能的设计中，基于历史用户行为日志，构建基础数据集合之后，还包括：对所述基础数据集合中的数据进行编辑处理。在一种可能的设计中，对所述基础数据集合中的数据进行编辑处理，包括以下任一或者任多方式：通过多数据交叉验证，以及偏序关系间的传递性，对所述基础数据集合中的数据进行扩展；在所述基础数据集合中引入新的数据；对所述基础数据集合中的数据进行修正。在一种可能的设计中，对所述基础数据集合进行去噪处理，得到去噪后的偏序关系集合，包括：构建所述基础数据集合的偏序关系图，检测所述偏序关系图中的所有环状结构；按照预设策略剪除所述环状结构中的边，直到所述偏序关系图不存在环状结构。在一种可能的设计中，将多个去噪后的偏序关系集合进行合并，得到搜索结果偏序知识库，包括：将多份去噪后的偏序关系集合进行合并；若存在不一致的偏序关系，则通过投票来确定所述搜索结果偏序知识库的偏序关系。在一种可能的设计中，所述确定模块，具体用于：根据任意两条相关搜索结果的偏序关系，确定不同排序结果的位置得分；根据所述位置得分，通过点击的pairwise方法对所述搜索结果的排序关系进行评估，得到所述排序结果的评估分数。第三方面，本专利技术实施例提供一种搜索结果的自动评估系统，包括：存储器和处理器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的搜索结果的自动评估方法。第四方面，本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述的搜索结果的自动评估方法第五方面，本专利技术实施例提供一种程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，服务器的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得服务器执行第一方面中任一所述的搜索结果的自动评估方法本专利技术提供一种搜索结果的自动评估方法、装置、系统及存储介质，通过获取相关的搜索结果；通过搜索结果偏序知识库，查询所述相关的搜索结果之间的偏序关系；通过所述相关的搜索结果之间的偏序关系，确定任意两条相关搜索结果的评估结果。本专利技术可以通过构建的偏序知识库进行快速的搜索结果评估，简化了评估的工作量，极大地提高了评估效率，且其评估结果更加客观、可靠。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，本文档来自技高网...

【技术保护点】
1.一种搜索结果的自动评估方法，其特征在于，包括：/n获取相关的搜索结果；/n通过搜索结果偏序知识库，查询所述相关的搜索结果之间的偏序关系；其中，所述搜索结果偏序知识库用于存储搜索结果，以及所述搜索结果之间的偏序关系；/n通过所述相关的搜索结果之间的偏序关系，确定任意两条相关搜索结果的评估结果。/n

【技术特征摘要】
1.一种搜索结果的自动评估方法，其特征在于，包括：
获取相关的搜索结果；
通过搜索结果偏序知识库，查询所述相关的搜索结果之间的偏序关系；其中，所述搜索结果偏序知识库用于存储搜索结果，以及所述搜索结果之间的偏序关系；
通过所述相关的搜索结果之间的偏序关系，确定任意两条相关搜索结果的评估结果。


2.根据权利要求1所述的方法，其特征在于，在通过搜索结果偏序知识库，查询所述相关的搜索结果之间的偏序关系之前，还包括：
基于历史用户行为日志，构建基础数据集合；
对所述基础数据集合进行去噪处理，得到去噪后的偏序关系集合；
将多个去噪后的偏序关系集合进行合并，得到搜索结果偏序知识库。


3.根据权利要求2所述的方法，其特征在于，所述基础数据集合中包含有多种不同类型的偏序关系数据；其中，所述偏序关系数据包括：Time策略数据、Longclick策略数据、Skynet策略数据、Baseline策略数据。


4.根据权利要求2所述的方法，其特征在于，基于历史用户行为日志，构建基础数据集合之后，还包括：
对所述基础数据集合中的数据进行编辑处理。


5.根据权利要求4所述的方法，其特征在于，对所述基础数据集合中的数据进行编辑处理，包括以下任一或者任多方式：
通过多数据交叉验证，以及偏序关系间的传递性，对所述基础数据集合中的数据进行扩展；
在所述基础数据集合中引入新的数据；
对所述基础数据集合中的数据进行修正。


6.根据权利要求2所述的方法，其特征在于，对所述基础数据集合进行去噪处理，得到去噪后的偏序关系集合，包括：
构建所述基础数据...

【专利技术属性】
技术研发人员：陈冠霖，李世雷，王轶凡，张钋，
申请(专利权)人：百度中国有限公司，
类型：发明
国别省市：上海;31