一种众包系统中基于检测问题的激励机制的实现方法技术方案

本发明专利技术公开了一种众包系统中基于检测问题的激励机制的实现方法，该机制解决了在标签任务问题中现有技术缺少足够的激励性、无法很好地监督促进工人认真完成标签任务的不足。该机制与以往研究的相关机制相比，高质量的答案比低质量的答案额外获得的报酬更大，从而更好地激励工人按照任务发布者的要求完成标签任务、提供高质量的答案。同时，在确保高质量的答案能获得更高的报酬的基础上，该机制所需要支付的平均报酬更低。

An implementation method of incentive mechanism based on detection problem in a public packet system

The invention discloses a realization method of incentive mechanism based on detection problems in crowdsourcing system, which solves the problem of insufficient encouragement and ineffective supervision to promote workers' conscientiously completing the labeling task in the label task. Compared with previous studies, the quality of the answer is higher than that of the low quality answers, so that the workers can better motivate workers to complete the labeling task and provide high quality answers according to the requirements of the task publisher. At the same time, on the basis of ensuring higher rewards for high quality answers, the mechanism needs to pay lower average remuneration.

【技术实现步骤摘要】
一种众包系统中基于检测问题的激励机制的实现方法
本专利技术涉及众包系统领域，具体涉及众包系统中标签任务的激励机制的实现方法。
技术介绍
随着互联网与人工智能的发展，机器学习受到越来越多学者的关注。相应地，对标签数据的需求也呈现大幅增长的趋势。因此，作为一个良好的数据收集平台，众包系统已经逐渐成为机器学习领域的一个重要辅助工具。在众包系统中，任务发布者通过支付一定报酬，将标签任务分发给若干个工人完成，得到多组原始标签数据，并通过一定的数据聚集方法对这些数据进行处理与分析。相对于雇佣专家来完成标签任务，众包系统的优势在于成本低廉。研究表明，在很多标签任务中，通过选择适当的数据聚集方法，大量的廉价非专业工人的答案的表现已经可以媲美专家的答案。然而，由于客观上缺少足够的专业性以及主观上的消极怠工，在标签任务中，工人的答案的质量往往无法得到保证，相应的标签任务完成质量也无法令人满意。针对这一问题，很多学者提出了不同的改进方法，其中一类重要的方法就是设计激励机制。在很多现实的数据集中，往往可以看到，工人答案的总体质量对任务的完成情况有很大影响。在提高工人答案质量方面，将报酬与答案质量挂钩的激励机制和监督检测机制是常见的思路。这样的激励机制在理论上可以促进工人付出更多的努力来完成标签任务，从而提高答案的质量，同时，对潜在的质量差的答案，可以通过减少报酬来减少任务发布者的损失。因此，在众包系统中引进基于检测问题的激励机制可以帮助提高标签任务的完成质量。一般来说，按照工人完成的标签任务数量给予对应的报酬是最常见的一种报酬支付方式，这种支付方式对每个完成的任务都给予固定的报酬。显然，这种报酬支付方式对消极怠工的工人来说是脆弱的，工人可以通过随意选择标签完成任务来提高效率，以获得更高的收益。对于任务发布者来说，这种行为无疑是希望被约束的。因此，一些学者利用检测问题提出了不同的改进方法。但是，目前的相关研究大多将检测问题作为一种监督机制，利用检测问题来检查工人的实时工作质量，并决定下一步如何分配任务。这种改进方法需要对工人的状态进行概率方法建模，然而，这种建模往往夸大了工人状态的波动，同时在主观上也缺少足够的激励工人按照要求完成任务的能力。也有少数一些研究考虑根据工人在检测问题上的回答情况给予相应的报酬。然而，现有的这类研究对问题模型的建模都加入了一些额外的限制，使得系统的效率降低。
技术实现思路
本专利技术要解决的技术问题是：本技术克服现有技术的一些主要缺点，在尽可能少地对问题模型建模进行额外限制的基础上，提供一种众包系统中基于检测问题的标签任务的报酬激励机制的实现方法。本专利技术解决其技术问题的解决方案是：一种众包系统中基于检测问题的激励机制的实现方法，包括以下步骤：(1)建立问题环境；(2)设计报酬函数；(3)报酬函数实现。作为上述技术方案的进一步改进，所述步骤(1)的问题环境假设的具体步骤如下：(1.1)建立标签任务集合；在众包系统中，假设要完成的标签任务由N个问题组成，其中包含G(1≤G≤N)个检测问题，每个问题都有B个选项，其中有且只有一个选项是正确的，在检测问题中，正确选项是已知的，在其他问题中，正确选项是客观存在但未知的，同时，对于工人来说，哪些问题是检测问题是未知的；(1.2)建立报酬函数；由于任务发布者只知道检测问题的正确答案，任务发布者将根据工人在检测问题上的回答情况给予相应的报酬，为了减少误差，工人可以在一个问题中选择多个选项，同时也可以选择跳过该问题，定义工人在检测问题i上的回答情况为xi∈{-(B-1),...,B}，其中xi的绝对值表示工人选择的选项数，且当工人选择的选项中包含正确答案时，xi的符号为正，否则xi的符号为负；因此，报酬函数f根据工人在G个问题中的回答情况给出一个确定的报酬值，定义报酬函数f如下：f:{-(B-1),...,B}G→[αmin,αmax]其中αmin和αmax分别表示给予报酬的最小值和最大值；(1.3)建立工人的行为集合；工人在回答问题时的目标一般是最大化自己的收益，任务发布者给出一个阈值ρ，任务发布者希望工人回答问题时选择所有他认为正确率大于ρ的选项，注意可能存在工人认为所有选项的准确率都小于ρ的情况，此时工人应该选择跳过该问题，同时需要注意的是，在给定ρ之后，工人可以选择的最大选项数不超过1/ρ，令由于ρ≥1/B，因此H≤B。作为上述技术方案的进一步改进，所述步骤(2)的设计报酬函数的具体步骤如下：(2.1)确定报酬函数的设计要求；所述的报酬函数具有激励相容性与节约性，一个报酬函数f是节约的，当且仅当对任意满足f(1,…,1)＝g(1,…,1)的报酬函数g，有f(H,…,H)≤g(H,…,H)；(2.2)报酬函数的设计，可以证明，当任务发布者的要求是希望工人只选择所有他认为正确率大于某个给定的阈值ρ时，报酬函数f同时满足激励相容性与节约性当且仅当其中a，b和c是常数，a≥0,b>0,c≤(B-H)ρ，I()是指示函数，在给定αmin和αmax的情况下，通过适当调整参数a，b和c的值即可得到合适的报酬激励函数。作为上述技术方案的进一步改进，所述步骤(3)中报酬函数实现的具体步骤如下：(3.1)报酬函数的参数建立，一般来说，a的值可以取αmin，c的值主要影响工人间总报酬的方差，c＝(B-H)ρ作为基准参数，在这一参数下，若工人在某个检测问题上的评分为-H，则总报酬为αmin；此时，若令f(1,…,1)＝αmax，则可求得(3.2)报酬函数的具体实现，在具体实现该报酬激励机制时，可以按照如下步骤进行：(3.2.1)给定αmin，αmax和ρ，令对每个工人，首先给予基本报酬αmin；(3.2.2)告知工人检测问题的存在，并告知工人一个基准额外报酬(3.2.3)对每个检测问题i，若工人的回答情况为xi，则工人的基准额外报酬乘上一个倍数(H-|xi|)ρ+I(xi>0)(3.2.4)检查工人在所有检测问题上的回答情况，按照步骤(3.2.3)计算工人能得到的最终的额外收益。本专利技术的有益效果是：本专利技术与现有技术相比有如下优点：(1)允许工人选择多个选项，减少了单一选项的误差；(2)高质量的答案比低质量的答案额外获得的报酬更大，从而更好地激励工人按照任务发布者的要求完成标签任务，提供高质量的答案；(3)在确保高质量的答案能获得更高的报酬的基础上，该机制所需要支付的平均报酬更低。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本专利技术的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。图1为本专利技术的流程图。具体实施方式以下将结合实施例和附图对本专利技术的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本专利技术的目的、特征和效果。显然，所描述的实施例只是本专利技术的一部分实施例，而不是全部实施例，基于本专利技术的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本专利技术保护的范围。另外，文中所提到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成本文档来自技高网...

【技术保护点】
一种众包系统中基于检测问题的激励机制的实现方法，其特征在于：包括以下步骤：(1)建立问题环境；(2)设计报酬函数；(3)报酬函数实现。

【技术特征摘要】
1.一种众包系统中基于检测问题的激励机制的实现方法，其特征在于：包括以下步骤：(1)建立问题环境；(2)设计报酬函数；(3)报酬函数实现。2.根据权利要求1所述的众包系统中基于检测问题的激励机制的实现方法，其特征在于：所述步骤(1)的问题环境假设的具体步骤如下：(1.1)建立标签任务集合；在众包系统中，假设要完成的标签任务由N个问题组成，其中包含G(1≤G≤N)个检测问题，每个问题都有B个选项，其中有且只有一个选项是正确的，在检测问题中，正确选项是已知的，在其他问题中，正确选项是客观存在但未知的，同时，对于工人来说，哪些问题是检测问题是未知的；(1.2)建立报酬函数；由于任务发布者只知道检测问题的正确答案，任务发布者将根据工人在检测问题上的回答情况给予相应的报酬，为了减少误差，工人可以在一个问题中选择多个选项，同时也可以选择跳过该问题，定义工人在检测问题i上的回答情况为xi∈{-(B-1),...,B}，其中xi的绝对值表示工人选择的选项数，且当工人选择的选项中包含正确答案时，xi的符号为正，否则xi的符号为负；因此，报酬函数f根据工人在G个问题中的回答情况给出一个确定的报酬值，定义报酬函数f如下：f:{-(B-1),...,B}G→[αmin,αmax]其中αmin和αmax分别表示给予报酬的最小值和最大值；(1.3)建立工人的行为集合；工人在回答问题时的目标一般是最大化自己的收益，任务发布者给出一个阈值ρ，任务发布者希望工人回答问题时选择所有他认为正确率大于ρ的选项，注意可能存在工人认为所有选项的准确率都小于ρ的情况，此时工人应该选择跳过该问题，同时需要注意的是，在给定ρ之后，工人可以选择的最大选项数不超过1/ρ，令由于ρ≥1/B，因此H≤B。3.根据权利要求2所述的众包系统中基于检测问题的激励机制的实现方法，其特征在于：所述步骤(2)的设计报酬函数的具体步骤如下：(2.1)确定报酬函数的设计要求；所述的报酬函数具有激励相容性与节约性，一个报酬函数f是节约的，当且仅当对任意满足f(1,…,1)＝g(1,…...

【专利技术属性】
技术研发人员：蒋嶷川，沈壁，张友红，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：广东,44