医疗搜索模型性能评价方法、装置、设备及介质制造方法及图纸

本申请提供了一种医疗搜索模型性能评价方法、装置、设备及介质，首先根据医疗搜索用户行为参数划分得到多种类型的数据样本；根据预先确定的指标判断逻辑，确定至少一项评价指标；最后，选择与确定的评价指标关联的用户行为参数对应类型的数据样本，对医疗搜索模型进行评价。由于根据用户行为参数划分出各个类型的数据样本，因此可体现不同类型样本对应不同的用户搜索特性，并且，针对不同的评价指标，采用与该评价指标有关联关系的数据样本作为评价样本，因此，可提高样本用户行为支持度，有效提高指标评价的准确性，为优化和改进模型性能提供可信依据。提供可信依据。提供可信依据。

【技术实现步骤摘要】
医疗搜索模型性能评价方法、装置、设备及介质


[0001]本申请涉及信息检索
，尤其是涉及到一种医疗搜索模型性能评价方法、装置、设备及介质。

技术介绍

[0002]搜索是用户主动发起的信息交互行为，结果的贴合度进一步影响产品的用户体验。对于医疗领域的搜索功能，除了考虑用户体验，基于医疗的严谨性，对于特定的用户搜索行为，相对于是否有搜索结果，医疗领域则更重视结果的准确性，比如搜索某些药品的结果对精准的重视度要大于搜索结果的数目规避引发医疗风险。对于基于医疗搜索模型进行医疗搜索的方案，如何对医疗搜索模型进行性能评价，是需要解决的一个技术问题。

技术实现思路

[0003]有鉴于此，本申请提供了一种医疗搜索模型性能评价方法、装置、设备及介质，主要目的在于对医疗搜索模型性能进行评价，为改善医疗搜索模型性能提供依据。
[0004]依据本申请的一个方面，提供了一种医疗搜索模型性能评价方法，包括：获取历史搜索数据作为初始数据样本集，和/或，根据医疗关键词及医疗术语构建初始数据样本集，根据医疗搜索用户行为参数对所述初始数据样本集进行划分，得到多种类型的数据样本；根据所述医疗搜索模型的类型参数和/关注点参数，根据预先确定的指标判断逻辑，确定所述医疗搜索模型的类型参数和/或关注点参数对应的至少一项评价指标；根据确定的所述评价指标，分析所述评价指标与用户行为参数之间的关系，选择与确定的评价指标关联的用户行为参数对应类型的数据样本，并将选择的数据样本输入至所述医疗搜索模型；根据所述指标判断逻辑，分析所述医疗搜索模型的输出结果，从而对所述医疗搜索模型的性能进行评价。
[0005]依据本申请的一个方面，提供了一种医疗搜索模型性能评价装置，包括：数据样本获取单元，用于获取历史搜索数据作为初始数据样本集，和/或，根据医疗关键词及医疗术语构建初始数据样本集，根据医疗搜索用户行为参数对所述初始数据样本集进行划分，得到多种类型的数据样本；评价指标确定单元，用于确定所述医疗搜索模型的类型参数和/关注点参数，根据预先确定的指标判断逻辑，确定所述医疗搜索模型的类型参数和/或关注点参数对应的至少一项评价指标；评价执行单元，用于根据确定的所述评价指标，分析所述评价指标与用户行为参数之间的关系，选择与确定的评价指标关联的用户行为参数对应类型的数据样本，并将选择的数据样本输入至所述医疗搜索模型，以及，根据所述指标判断逻辑，分析所述医疗搜索模型的输出结果，从而对所述医疗搜索模型进行性能评价。
[0006]依据本申请的一个方面，提供了一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述医疗搜索模型性能评价方法。
[0007]依据本申请的一个方面，提供了一种存储介质，所述存储介质中存储有计算机程
序，其中，所述计算机程序被设置为运行时执行上述医疗搜索模型性能评价方法。
[0008]借由上述技术方案，本申请提供的一种医疗搜索模型性能评价方法、装置、设备及介质，首先根据医疗搜索用户行为参数划分得到多种类型的数据样本；根据预先确定的指标判断逻辑，确定至少一项评价指标；最后，选择与确定的评价指标关联的用户行为参数对应类型的数据样本，对医疗搜索模型进行评价。由于根据用户行为参数划分出各个类型的数据样本，因此可体现不同类型样本对应不同的用户搜索特性，并且，针对不同的评价指标，采用与该评价指标有关联关系的数据样本作为评价样本，因此，可提高样本用户行为支持度，有效提高指标评价的准确性，为优化和改进模型性能提供可信依据。
[0009]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0010]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0011]图1示出了本申请实施例提供的一种医疗搜索模型性能评价方法实施场景示意图；
[0012]图2示出了本申请第一实施例提供的一种医疗搜索模型性能评价方法流程图；
[0013]图3示出了本申请第二实施例提供的一种医疗搜索模型性能评价方法示意图；
[0014]图4示出了本申请实施例提供的一种医疗搜索模型性能评价装置结构示意图；
[0015]图5示出了本申请实施例提供的一种海量数据处理计算机设备结构示意图；
[0016]图6示出了本申请实施例提供的另一种海量数据处理计算机设备结构示意图。
具体实施方式
[0017]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0018]参见图1，示出了本申请实施例提供的一种医疗搜索模型性能评价方法的应用场景示意图。该场景下，示出了模型从开始到结束的过程。第一阶段，模型训练阶段，通过数据准备、模型方法确定等步骤，构建初步的医疗搜索模型；第二阶段，对构建的初始医疗搜索模型进行性能评价，判断是否满足性能指标；第三阶段，根据性能评价结果，对模型进行改进；第四阶段，模型发布或上线。本申请实施例提供的医疗搜索模型性能评价方法，应用在上述第二个阶段，通过对初始或者待改进的医疗搜索模型进行性能评价，以期提高模型性能。
[0019]参见图2，示出了本申请第一实施例提供的一种医疗搜索模型性能评价方法流程图。
[0020]S201：获取历史搜索数据作为初始数据样本集，和/或，根据医疗关键词及医疗术语构建初始数据样本集，根据医疗搜索用户行为参数对初始数据样本集进行划分，得到多种类型的数据样本。
[0021]为了对医疗搜索模型性能进行评价，需要准备数据样本，将数据样本输入至医疗搜索模型，分析模型输出结果，从而判定模型性能。
[0022]数据样本的准备，一方面可以从实际场景下获取历史搜索数据，一方面也可以对医疗关键词及医疗术语进行构建或沉淀，从而得到初始数据样本集。从实际场景获取历史搜索数据的方式，可以拉取线上用户搜索行为数据，例如，拉取每天、每周、每月、每年的真实医疗搜索数据，作为初始数据样本集。对医疗关键词及医疗术语进行构建或沉淀的方式，特别适用于一些比较专业、生僻的医疗词汇，考虑到医疗搜索模型的严谨性和专业性，通过医疗关键词和医疗术语进行沉淀，可对简化的医疗关键词或口语化的医疗关键词起到补充和矫正的作用，特别是，对于医生等专业人士查询提供数据基础。
[0023]在得到初始样本集之后，根据医疗搜索用户行为参数对初始样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医疗搜索模型性能评价方法，其特征在于，包括：获取历史搜索数据作为初始数据样本集，和/或，根据医疗关键词及医疗术语构建初始数据样本集，根据医疗搜索用户行为参数对所述初始数据样本集进行划分，得到多种类型的数据样本；确定所述医疗搜索模型的类型参数和/关注点参数，根据预先确定的指标判断逻辑，确定所述医疗搜索模型的类型参数和/或关注点参数对应的至少一项评价指标；根据确定的所述评价指标，分析所述评价指标与用户行为参数之间的关系，选择与确定的所述评价指标关联的用户行为参数对应类型的数据样本，并将选择的数据样本输入至所述医疗搜索模型；根据所述指标判断逻辑，分析所述医疗搜索模型的输出结果，从而对所述医疗搜索模型进行性能评价。2.根据权利要求1所述的方法，其特征在于，所述根据医疗搜索用户行为参数对所述初始数据样本集进行划分，得到多种类型的数据样本，包括：根据评价需求，确定医疗搜索用户行为参数，所述医疗搜索用户行为参数反映不同用户的搜索行为；从所述初始初级样本集中，匹配与不同的医疗搜索用户行为参数分别对应的数据样本，得到各个类型的数据样本。3.根据权利要求2所述的方法，其特征在于，所述根据评价需求，确定医疗搜索用户行为参数，包括：根据预先确定的指标判断逻辑，确定评价需求，所述评价需求包括：优先保证搜索准确度及快速提高优化效果、客观衡量用户支持度、保证医疗搜索严谨性、衡量模型鲁棒性中的至少一项；确定各项评价需求对应各类医疗搜索用户行为参数，其中，确定优先保证搜索准确度及快速提高优化效果、客观衡量用户支持度、保证医疗搜索严谨性、衡量模型鲁棒性分别对应医疗搜索用户行为参数分别为高频用户行为参数、真实用户行为参数、严谨用户搜索行为参数、用户行为多样性行为参数。4.根据权利要求3所述的方法，其特征在于，所述从所述初始初级样本集中，匹配与不同的医疗搜索用户行为参数分别对应的数据样本，得到各个类型的数据样本，包括：从所述初始初级样本集中，匹配与高频用户行为参数、真实用户行为参数、严谨用户搜索行为参数、用户行为多样性参数分别对应的数据样本，得到高频数据样本、真实数据样本、严谨数据样本和多样数据样本。5.根据权利要求1所述的方法，其特征在于，还包括：分析模型类型和/或评价需求，确定所述指标判断逻辑，其中，指标判断逻辑包括指标类型、样本选择倾向、具体指标及评价标准之间的对应关系，所述指标类型...

【专利技术属性】
技术研发人员：张云婵，侯进标，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：