数据标注的校验方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种数据标注的校验方法、装置、电子设备及存储介质，当用户进行交互任务时，通过展示待校验数据和验证问题，获取用户对所述验证问题的回复内容，并根据所述回复内容验证用户是否通过交互任务，且根据所述回复内容校验所述待校验标注，从而将数据标注的校验与交互任务进行结合以实现对数据标注进行校验，提高数据标注校验的准确性，降低数据标注校验的难度和成本。

【技术实现步骤摘要】
数据标注的校验方法、装置、电子设备及存储介质
本申请涉及数据处理
，更具体地，涉及一种数据标注的校验方法、装置、电子设备及存储介质。
技术介绍
人工智能(AI，ArtificialIntelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。现阶段，机器学习是研究和实现人工智能的一种热点研究方法。机器学习通过算法解析和大量的学习数据，在相似的环境里做出决定或预测。数据在机器学习中具有重要的作用。但数据本身杂乱无章，为了更加有效的去使用数据，最大程度的发挥数据的价值，需要对数据进行标注。数据本身包含着多维信息，例如性别、年龄、地点等。现有技术中通常可以通过算法等智能的方式对数据进行标注，但算法等方式也很难做到100％的标注准确率，因此在实际操作中不免还是会依赖人工对数据进行标注。而以人工的方式进行标注，主观性较强，需要多人进行标注。但专职标注人员较少，也存在标注不规范等情况。
技术实现思路
有鉴于此，本申请实施例提出了一种数据标注的校验方法、装置、电子设备及存储介质，以改善上述问题。第一方面，本申请实施例提供了一种数据标注的校验方法，所述方法包括：当用户进行交互任务时，展示待校验数据和验证问题；所述验证问题根据所述待校验数据和所述待校验数据的待校验标注获得；获取用户对所述验证问题的回复内容；根据所述回复内容验证用户是否通过交互任务，以及根据所述回复内容校验所述待校验标注。第二方面，本申请实施例还提供了一种数据标注的校验装置，所述装置包括：验证模块，用于当用户进行交互任务时，展示待校验数据和验证问题；其中，所述验证问题根据所述待校验数据和所述待校验数据的待校验标注获得；回复内容获取模块，用于获取用户对所述验证问题的回复内容；任务验证模块，用于根据所述回复内容验证用户是否通过交互任务；校验模块，用于根据所述回复内容校验所述待校验标注。第三方面，本申请实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行以实现上述的方法。第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行以实现上述的方法。本专利技术提供的技术方案，当用户进行交互任务时，通过展示待校验数据和验证问题，获取用户对所述验证问题的回复内容，并根据所述回复内容验证用户是否通过交互任务，且根据所述回复内容校验所述待校验标注，从而将数据标注的校验与交互任务进行结合以实现对数据标注进行校验，提高数据标注校验的准确性，降低数据标注校验的难度和成本。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例及附图，都属于本专利技术保护的范围。图1示出了本申请另一实施例所涉及的一种应用环境的示意图；图2示出了本申请又一实施例所涉及的一种应用环境的示意图；图3示出了本申请一实施例提出的一种数据标注的校验方法的流程示意图；图4示出了本申请另一实施例提出的一种数据标注的校验方法的流程示意图；图5示出了本申请又一实施例提出的一种数据标注的校验方法的流程示意图；图6示出了本申请再一实施例提出的一种数据标注的校验方法的流程示意图；图7示出了本申请再一实施例中步骤S480的流程示意图；图8示出了本申请还一实施例提出的一种数据标注的校验方法的流程示意图；图9示出了本申请还一实施例中步骤S508的流程示意图；图10示出了本申请又另一实施例提出的一种数据标注的校验方法的流程示意图；图11示出了本申请一实施例提出的一种数据标注的校验装置的结构框图；图12示出了本申请一实施例提出的一种电子设备的结构框图；图13示出了本申请一实施例提出的一种计算机可读存储介质的结构框图。具体实施方式日前，随着大数据、人工智能等行业的崛起，数据的重要性也与日俱增。数据本身包含着多维信息，例如性别、大致年龄、地点等，准确的数据标注对机器学习具有重要的作用。而现有技术一般通过算法等方式对数据进行标注，算法等方式存在误差，难以做到100％的标注准确率，依然存在偏离正常阈值的异常数据标注，这些异常的数据标注无法直接使用，如果通过人工进行标注，在参与标注的人数较少的情况下，会由于人的主观性导致数据标注的偏差，实际上专职标注人员较少，而且人工标注还存在标注不规范等问题。为了改善上述问题，专利技术人提出了本申请提供的数据标注的校验方法、装置、电子设备及存储介质，当用户进行交互任务时，通过展示待校验数据和验证问题，获取用户对验证问题的回复内容，并根据回复内容验证用户是否通过交互任务，且根据回复内容校验待校验标注，从而将数据标注的校验与交互任务进行结合以实现对数据标注进行校验，提高数据标注校验的准确性，降低数据标注校验的难度和成本。为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。下面将针对本专利技术实施例提供的数据标注的校验方法的应用环境进行介绍。作为一种实施方式，本申请实施例提供的一种数据标注的校验系统可以包括交互终端100。在本实施例中，交互终端100可以包括但不限于智能手机、平板电脑、门禁验证终端等终端设备。交互终端100可以与用户进行交互，包括展示信息给用户和获取用户输入的信息。在一些实施方式中，交互终端100可以包括但不限于显示屏、扬声器、摄像头、触控屏等部件，以通过显示交互界面、显示交互文本或图片、播放交互视频、播放交互音频等方式向用户展示信息，或者通过获取用户图像、用户在显示屏触发的命令、用户声音等方式获取用户输入的信息。在一些实施方式中，交互终端100还可以集成有数据采集模块。数据采集模块可以通过麦克风、摄像头、触控屏等部件采集音频、视频、图像、文本等数据。交互终端100也可以通过但不限于性别标注算法、年龄标注算法、地点标注算法等数据标注算法，以对采集的数据进行标注。交互终端100还可以通过标注准确度的匹配算法对数据的标注准确度进行计算。在本申请的实施例中，准确度低于预设阈值的标注无法正常使用，可以作为待校验标注，并通过交互终端100与用户的交互进行校验。请参阅图1，图1示出了本申请实施例提供的另一种数据标注的校验系统，该数据标注的校验系统包括：交互终端100和服务器200。在本实施例中，交互终端100的结构本文档来自技高网...

【技术保护点】
1.一种数据标注的校验方法，其特征在于，所述方法包括：/n当用户进行交互任务时，展示待校验数据和验证问题；所述验证问题根据所述待校验数据和所述待校验数据的待校验标注获得；/n获取用户对所述验证问题的回复内容；/n根据所述回复内容验证用户是否通过交互任务，以及/n根据所述回复内容校验所述待校验标注。/n

【技术特征摘要】
1.一种数据标注的校验方法，其特征在于，所述方法包括：
当用户进行交互任务时，展示待校验数据和验证问题；所述验证问题根据所述待校验数据和所述待校验数据的待校验标注获得；
获取用户对所述验证问题的回复内容；
根据所述回复内容验证用户是否通过交互任务，以及
根据所述回复内容校验所述待校验标注。


2.根据权利要求1所述的方法，其特征在于，所述根据所述回复内容校验所述待校验标注，包括：
根据所述回复内容确定用户对所述待校验数据的验证标注；所述验证标注表征用户根据所述待校验数据和所述验证问题对所述待校验数据的标注；
根据所述验证标注校验所述待校验标注。


3.根据权利要求2所述的方法，其特征在于，所述根据所述验证标注校验所述待校验标注，包括：
当所述待校验标注与所述验证标注匹配时，更新第一人数；所述第一人数表征所述验证标注与所述待校验标注匹配的人数；
当所述第一人数达到第一目标人数时，所述待校验标注校验通过。


4.根据权利要求3所述的方法，其特征在于，所述根据所述验证标注校验所述待校验标注，还包括：
当所述待校验标注与所述验证标注不匹配时，更新第二人数；
当所述第二人数达到第二目标人数时，根据所述第一人数和所述第二人数校验所述待校验标注。


5.根据权利要求4所述的方法，其特征在于，所述当所述第二人数达到第二目标人数时，所述根据所述第一人数和所述第二人数校验所述待校验标注，包括：
确定所述第二人数在所述第一人数和所述第二人数中的比例；
当所述比例大于预设比例时，所述待校验数据的待校验标注校验不通过。


6.根据权利要求3至5任一项所述的方法，其特征在于，当所述待校验标注与所述验证标注的匹配值大于预设阈值时，所述待校验标注与所述验证标注匹配。


7.根据权利要求2所述的方法，其特征在于，所述根据所述验证标注校验所述待校验标注，包括：
更新所述交互任务的执行人数；
当所述执行人数达到预设执行人数时，将所有所述验证标注中相互匹配的验证标注分为同一验证标注组；
分别确定每一验证标注组包...

【专利技术属性】
技术研发人员：彭子娇，
申请(专利权)人：深圳市声扬科技有限公司，
类型：发明
国别省市：广东;44