一种业务场景比较方法、装置、终端和存储介质制造方法及图纸

本发明专利技术实施例提供了一种业务场景比较方法、装置、终端和存储介质；可以获取基于实验组用户在实验业务场景下的业务操作得到的实验测试数据和基于对照组用户在对照业务场景下的业务操作得到的对照测试数据，基于实验测试数据，确定实验组用户的实验测试指标，基于对照测试数据，确定对照组用户的对照测试指标，若实验测试指标与对照测试指标的偏差满足预设偏差条件，确定对照测试指标和实验测试指标之间差值的离散程度信息，基于离散程度信息，以及实验测试指标和对照测试指标的差值，确定业务资源的相对转化效果信息；由此，可以避免不同业务场景下业务资源不同的投放情况的影响，提高业务场景比较的准确度，保证业务场景测试结果的正确性。测试结果的正确性。测试结果的正确性。

【技术实现步骤摘要】
一种业务场景比较方法、装置、终端和存储介质


[0001]本专利技术涉及通讯
，具体涉及一种业务场景比较方法、装置、终端和存储介质。

技术介绍

[0002]近几年来，随着互联网技术的快速发展，数据直接作用于业务的场景被爆发性地释放出来，数据驱动增长策略成为各行业、企业的核心竞争力。为了充分地贯彻数据驱动业务增长的这一共识，许多公司在产品开发的过程中都采用业务场景测试对开发的业务进行假设验证，并利用业务场景测试中获取到的测试数据对开发的业务进行决策。
[0003]目前，业务场景测试中的指标分为两大类，均值指标和比例指标，但是比例指标往往受到会受到不同测试策略影响，直接使用相关方法做假设检验可能会导致业务场景测试得到的结论不准确，不能正确地对开发的业务做出决策。

技术实现思路

[0004]本专利技术实施例提供一种业务场景比较方法、装置、终端和存储介质，可以避免不同业务场景下业务资源不同的投放情况的影响，提高业务场景比较的准确度，保证业务场景测试结果的正确性。
[0005]本专利技术实施例提供一种业务场景比较方法，包括：
[0006]获取用户测试数据，所述用户测试数据中包括基于至少一组实验组用户在实验业务场景下的业务操作得到的实验测试数据，和基于至少一组对照组用户在对照业务场景下的业务操作得到的对照测试数据，所述对照业务场景与所述实验业务场景的业务类型相同；
[0007]基于所述实验测试数据，确定所述实验组用户的实验测试指标，所述实验测试指标用于指示在所述实验业务场景下用户触发的目标业务操作与所述目标业务操作对应的业务资源的投放数量的比例；
[0008]基于所述对照测试数据，确定所述对照组用户的对照测试指标，所述对照测试指标用于指示在所述对照业务场景下用户触发的所述目标业务操作与所述目标业务操作对应的业务资源的投放数量的比例；
[0009]若所述实验测试指标与所述对照测试指标的偏差满足预设偏差条件，确定所述对照测试指标和所述实验测试指标之间差值的离散程度信息；
[0010]基于所述离散程度信息，以及所述实验测试指标和所述对照测试指标的差值，确定所述业务资源的相对转化效果信息，所述相对转化效果信息用于指示所述实验业务场景和所述对照业务场景下的所述业务资源的转化效果的优劣。
[0011]相应的，本专利技术实施例还提供一种业务场景比较装置，该业务场景比较装置，包括：
[0012]数据获取单元，用于获取用户测试数据，所述用户测试数据中包括基于至少一组
实验组用户在实验业务场景下的业务操作得到的实验测试数据，和基于至少一组对照组用户在对照业务场景下的业务操作得到的对照测试数据，所述对照业务场景与所述实验业务场景的业务类型相同；
[0013]实验指标确定单元，用于基于所述实验测试数据，确定所述实验组用户的实验测试指标，所述实验测试指标用于指示在所述实验业务场景下用户触发的目标业务操作与所述目标业务操作对应的业务资源的投放数量的比例；
[0014]对照指标确定单元，用于基于所述对照测试数据，确定所述对照组用户的对照测试指标，所述对照测试指标用于指示在所述对照业务场景下用户触发的所述目标业务操作与所述目标业务操作对应的业务资源的投放数量的比例；
[0015]离散程度确定单元，用于若所述实验测试指标与所述对照测试指标的偏差满足预设偏差条件，确定所述对照测试指标和所述实验测试指标之间差值的离散程度信息；
[0016]效果确定单元，用于基于所述离散程度信息，以及所述实验测试指标和所述对照测试指标的差值，确定所述业务资源的相对转化效果信息，所述相对转化效果信息用于指示所述实验业务场景和所述对照业务场景下的所述业务资源的转化效果的优劣。
[0017]在一个可选的示例中，所述效果确定单元，还可以用于基于所述离散程度信息，对所述实验测试指标与所述对照测试指标的差值进行标准化，得到标准化差值；
[0018]基于所述标准化差值，以及所述离散程度信息和所述用户测试数据，确定所述实验测试指标与所述对照测试指标的差值的置信区间，所述置信区间为所述业务资源的相对转化效果信息。
[0019]在一个可选的示例中，本专利技术实施例提供的业务场景比较装置，还包括，用户划分单元，用于基于预设的用户分配算法，将所述实验组用户划分为第一预设数量的实验分组，将所述对照组用户划分为所述第一预设数量的对照分组；
[0020]所述实验指标确定单元，用于基于各实验分组的实验测试数据，确定各实验分组的实验测试指标；
[0021]所述对照指标确定单元，用于基于各对照分组的实验测试数据，确定各对照分组的实验测试指标；
[0022]所述离散程度确定单元，用于基于各实验分组的实验测试指标，以及各对照分组的对照测试指标，计算所述对照测试指标和所述实验测试指标之间差值的标准差，所述标准差为所述离散程度信息。
[0023]在一个可选的示例中，所述离散程度确定单元，用于基于所述实验测试数据，确定所述实验测试指标的第一离散程度信息；
[0024]基于所述对照测试数据，确定所述对照测试指标的第二离散程度信息；
[0025]根据所述第一离散程度信息，以及所述第二离散程度信息的差异，确定所述实验测试指标和所述实验测试指标之间差值的离散程度信息。
[0026]在一个可选的示例中，所述实验指标确定单元包括实验数据获取单元和实验指标计算单元，所述实验数据获取单元用于基于所述实验测试数据，获取所述实验业务场景下触发所述目标业务操作的第一用户数量，以及所述实验业务场景下所述业务资源的第一投放用户数；
[0027]所述实验指标计算单元用于计算所述第一用户数量和所述第一投放用户数的比
例为实验测试指标；
[0028]所述对照指标确定单元，包括对照数据获取单元和对照指标计算单元，所述对照数据获取单元用于基于所述对照测试数据，获取所述对照业务场景下触发所述目标业务操作的第二用户数量，以及所述对照业务场景下所述业务资源的第二投放用户数；
[0029]所述对照指标计算单元用于计算所述第二用户数量和所述第二投放用户数的比例为对照测试指标。
[0030]在一个可选的示例中，所述实验业务场景为采取了实验推送策略的内容推送场景，所述对照业务场景为采取了对照推送策略的内容推送场景；
[0031]所述实验数据获取单元，用于基于所述实验测试数据，获取所述实验业务场景下点击推送内容的用户的第一用户数量，以及所述实验业务场景下所述推送内容的第一投放用户数；
[0032]所述对照数据获取单元，用于基于所述对照测试数据，获取所述对照业务场景下点击推送内容的用户的第二用户数量，以及所述对照业务场景下所述推送内容的第二投放用户数。
[0033]在一个可选的示例中，在离散程度确定单元前，本专利技术实施例提供的业务场景比较装置还包括第二离散程度确定单元，用于若所述实验测试指标与所述对照测试指标的偏差不满足所述预设偏差条件，不执行所述确定所述对照测试本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务场景比较方法，其特征在于，包括：获取用户测试数据，所述用户测试数据中包括基于至少一组实验组用户在实验业务场景下的业务操作得到的实验测试数据，和基于至少一组对照组用户在对照业务场景下的业务操作得到的对照测试数据，所述对照业务场景与所述实验业务场景的业务类型相同；基于所述实验测试数据，确定所述实验组用户的实验测试指标，所述实验测试指标用于指示在所述实验业务场景下用户触发的目标业务操作与所述目标业务操作对应的业务资源的投放数量的比例；基于所述对照测试数据，确定所述对照组用户的对照测试指标，所述对照测试指标用于指示在所述对照业务场景下用户触发的所述目标业务操作与所述目标业务操作对应的业务资源的投放数量的比例；若所述实验测试指标与所述对照测试指标的偏差满足预设偏差条件，确定所述对照测试指标和所述实验测试指标之间差值的离散程度信息；基于所述离散程度信息，以及所述实验测试指标和所述对照测试指标的差值，确定所述业务资源的相对转化效果信息，所述相对转化效果信息用于指示所述实验业务场景和所述对照业务场景下的所述业务资源的转化效果的优劣。2.根据权利要求1所述的业务场景比较方法，其特征在于，所述基于所述离散程度信息，以及所述实验测试指标和所述对照测试指标的差值，确定所述业务资源的相对转化效果信息，包括：基于所述离散程度信息，对所述实验测试指标与所述对照测试指标的差值进行标准化，得到标准化差值；基于所述标准化差值，以及所述离散程度信息和所述用户测试数据，确定所述实验测试指标与所述对照测试指标的差值的置信区间，所述置信区间为所述业务资源的相对转化效果信息。3.根据权利要求1所述的业务场景比较方法，其特征在于，还包括：基于预设的用户分配算法，将所述实验组用户划分为第一预设数量的实验分组，将所述对照组用户划分为所述第一预设数量的对照分组；所述基于所述实验测试数据，确定所述实验组用户的实验测试指标，包括：基于各实验分组的实验测试数据，确定各实验分组的实验测试指标；所述基于所述对照测试数据，确定所述对照组用户的对照测试指标，包括：基于各对照分组的实验测试数据，确定各对照分组的实验测试指标；所述确定所述对照测试指标和所述实验测试指标之间差值的离散程度信息，包括：基于各实验分组的实验测试指标，以及各对照分组的对照测试指标，计算所述对照测试指标和所述实验测试指标之间差值的标准差，所述标准差为所述离散程度信息。4.根据权利要求1所述的业务场景比较方法，其特征在于，所述确定所述对照测试指标和所述实验测试指标之间差值的离散程度信息，包括：基于所述实验测试数据，确定所述实验测试指标的第一离散程度信息；基于所述对照测试数据，确定所述对照测试指标的第二离散程度信息；根据所述第一离散程度信息，以及所述第二离散程度信息的差异，确定所述实验测试指标和所述对照测试指标之间差值的离散程度信息。
5.根据权利要求1所述的业务场景比较方法，其特征在于，所述基于所述实验测试数据，确定所述实验组用户的实验测试指标，包括：基于所述实验测试数据，获取所述实验业务场景下触发所述目标业务操作的第一用户数量，以及所述实验业务场景下所述业务资源的第一投放用户数；计算所述第一用户数量和所述第一投放用户数的比例为实验测试指标；所述基于所述对照测试数据，确定所述对照组用户的对照测试指标，包括：基于所述对照测试数据，获取所述对照业务场景下触发所述目标业务操作的第二用户数量，以及所述对照业务场景下所述业务资源的第二投放用户数；计算所述第二用户数量和所述第二...

【专利技术属性】
技术研发人员：王勇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：