行为数据处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种行为数据处理方法及装置、电子设备和存储介质，所述方法包括：获取行为数据，所述行为数据包括用户进行标注产生的数据；根据所述行为数据，确定行为参数，所述行为参数用于反映所述用户的标注状态；在所述用户的标注状态满足介入条件的情况下，生成介入信息，以提示所述用户。

Behavioral data processing methods and devices, electronic equipment and storage media

【技术实现步骤摘要】
行为数据处理方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种行为数据处理方法及装置、电子设备和存储介质。
技术介绍
随着人工智能的发展，数据标注变得越来越重要。高质量的标注数据可以提高训练模型的精准度，有助于改进和优化人工智能技术。然而，标注员在长时间工作的情况下难免会产生疲劳，从而导致标注出来的结果质量较差，标注效率较低。
技术实现思路
本公开提出了一种行为数据处理方法及装置、电子设备和存储介质。根据本公开的第一方面，提供了一种行为数据处理方法，包括：获取行为数据，所述行为数据包括用户进行标注产生的数据；根据所述行为数据，确定行为参数，所述行为参数用于反映所述用户的标注状态；在所述用户的标注状态满足介入条件的情况下，生成介入信息，以提示所述用户。在一种可能的实现方式中，所述行为数据包括行为日志；所述根据所述行为数据，确定行为参数，包括：从多条所述行为日志中，获取目标时间段内第一操作类型的第一目标行为日志；根据所述第一目标行为日志，确定所述行为参数。这样，通过行为日志记录行为数据，可以提升开发效率，加快出现问题时的解决速度。在一种可能的实现方式中，所述行为参数包括标注效率和/或标注准确率，所述目标时间段包括第一时间段和第二时间段，所述第一时间段的起始时刻早于所述第二时间段的起始时刻，所述第一时间段的截止时刻不晚于所述第二时间段的截止时刻；所述用户的标注状态满足介入条件，至少包括如下一项：所述目标时间段内的标注效率小于第一阈值；<br>所述目标时间段内的标注准确率小于第二阈值；所述目标时间段内的标注效率大于第三阈值；所述第二时间段内的第二标注效率小于所述第一时间段内的第一标注效率，且所述第一标注效率与所述第二标注效率的差值大于第四阈值；所述第二时间段内的第二标注准确率小于所述第一时间段内的第一标注准确率，且所述第一标注准确率与所述第二标注准确率的差值大于第五阈值。这样，通过对标注效率和/或标注准确率，可以确定用户的标注状态是否需要改变以及是否适合继续工作，从而有利于提高标注效率和/或标注准确率。在一种可能的实现方式中，在所述行为参数包括标注效率的情况下，所述根据所述第一目标行为日志，确定所述行为参数，包括：根据所述第一目标行为日志的数量和所述目标时间段的时长，确定所述用户在所述目标时间段内进行标注的标注效率；和/或，根据所述第一目标行为日志中所述第一时间段内产生的日志数量和所述第一时间段的时长，确定所述第一标注效率，并根据所述第一目标行为日志中所述第二时间段内产生的日志数量和所述第二时间段的时长，确定所述第二标注效率。这样，可以根据目标时间段内用户标注速度的快慢或者用户在第一时间段内和第二时间段内标注速度的变化，对用户进行提醒。在一种可能的实现方式中，在所述行为参数包括标注准确率的情况下，所述根据所述第一目标行为日志，确定所述行为参数，包括：获取所述第一目标行为日志中每条行为日志指示标注过程的标注数据，所述标注数据包括对待标注数据进行标注后得到的数据；根据所述标注数据与参考标注数据之间的差异参数，确定所述每条行为日志对应的标注准确率；根据所述每条行为日志对应的标注准确率，确定所述用户在所述目标时间段内进行标注的标注准确率；和/或，确定所述用户在所述第一时间段内进行标注的所述第一标注准确率以及所述用户在所述第二时间段内进行标注的所述第二标注准确率。这样，可以根据目标时间段内用户标注是否正确或者用户在第一时间段内和第二时间段内标注正确率的变化，对用户进行提醒。在一种可能的实现方式中，所述生成介入信息，以提示所述用户，包括：根据所述行为参数和参数阈值，确定所述介入信息的内容和提示所述用户的方式；以所确定的方式向所述用户展示所述介入信息的内容。这样，根据行为参数和参数阈值，可以反映用户的标注状态，从而确定对用户提示的内容和提示的方式，实现有针对性的提醒。在一种可能的实现方式中，所述参数阈值包括多个阈值区间；所述根据所述行为参数和参数阈值，确定所述介入信息的内容和提示所述用户的方式，包括：根据所述行为参数与所述多个阈值区间中至少一个阈值区间的归属关系，确定所述用户的标注状态的等级；将与所述标注状态的等级对应的提示内容，确定为所述介入信息的内容，并将与所述标注状态的等级对应的提示方式，确定为提示所述用户的方式。这样，通过对标注状态划分等级，可以提升提示方式的准确性。在一种可能的实现方式中，所述行为数据包括行为日志，所述介入信息包括告警信息，所述用户的标注状态满足介入条件，包括所述用户出现重复操作；所述方法还包括：从多条所述行为日志中，获取所述目标时间段内与所述第一操作类型相对的第二操作类型的第二目标行为日志；根据所述第一目标行为日志以及所述第二目标行为日志，确定所述用户是否出现重复操作。这样，在用户出现重复操的情况下，可以提醒目标用户暂停标注工作，有利于提升标注准确率和/或标注效率。在一种可能的实现方式中，所述行为日志至少包括用户标识、时间戳、操作类型和标注结果；所述操作类型至少包括删除、添加、撤销、翻页和调整中的一项。在一种可能的实现方式中，所述行为日志还包括操作内容和/或待标注物体，所述操作内容至少包括框、点、属性、字符、字符串中的一项；在所述根据所述行为参数和参数阈值，确定所述介入信息的内容和提示所述用户的方式之前，所述方法还包括：根据所述行为日志的操作内容和/或待标注物体，确定所述参数阈值。这样，通过按照难易程度确定参数阈值，可以平衡不同的标注工作，使得行为参数更加准确的反映用户的标注状态。在一种可能的实现方式中，所述方法还包括：在标注状态满足所述介入条件的用户的数量大于第一数量阈值的情况下，调整所述参数阈值；或者，在标注状态满足所述介入条件的目标用户的数量小于或者等于第二数量阈值的情况下，调整标注状态满足所述介入条件的用户的工作量和/或工作内容。这样，通过调整参数阈值，可以提升参数阈值的合理程度，从而提高提醒用户的合理性，通过调整个别用户的工作量和/或工作内容，可以提高用户的标注效率。在一种可能的实现方式中，所述行为数据包括所述用户进行图像标注产生的数据。这样，可以提升行为数据种类的丰富程度。根据本公开的第二方面，提供了一种行为数据处理装置，包括：第一获取模块，用于获取行为数据，所述行为数据包括用户进行标注产生的数据；第一确定模块，用于根据所述第一获取模块获取的行为数据，确定行为参数，所述行为参数用于反映所述用户的标注状态；生成模块，用于在所述第一确定模块确定的行为参数反映的用户的标注状态满足介入条件的情况下，生成介入信息，以提示所述用户。在一种可能的实现方式中，所述行为数据包括行为日志；所述第一确定模块还用于：从多条所述行为日志中，获取目标时间段内第一操作类型的第一目标行为日志；根据所述第一目标行为日志，确定所述行为参数。在一本文档来自技高网...

【技术保护点】
1.一种行为数据处理方法，其特征在于，所述方法包括：/n获取行为数据，所述行为数据包括用户进行标注产生的数据；/n根据所述行为数据，确定行为参数，所述行为参数用于反映所述用户的标注状态；/n在所述用户的标注状态满足介入条件的情况下，生成介入信息，以提示所述用户。/n

【技术特征摘要】
1.一种行为数据处理方法，其特征在于，所述方法包括：
获取行为数据，所述行为数据包括用户进行标注产生的数据；
根据所述行为数据，确定行为参数，所述行为参数用于反映所述用户的标注状态；
在所述用户的标注状态满足介入条件的情况下，生成介入信息，以提示所述用户。


2.根据权利要求1所述的方法，其特征在于，所述行为数据包括行为日志；
所述根据所述行为数据，确定行为参数，包括：
从多条所述行为日志中，获取目标时间段内第一操作类型的第一目标行为日志；
根据所述第一目标行为日志，确定所述行为参数。


3.根据权利要求2所述的方法，其特征在于，所述行为参数包括标注效率和/或标注准确率，所述目标时间段包括第一时间段和第二时间段，所述第一时间段的起始时刻早于所述第二时间段的起始时刻，所述第一时间段的截止时刻不晚于所述第二时间段的截止时刻；
所述用户的标注状态满足介入条件，至少包括如下一项：
所述目标时间段内的标注效率小于第一阈值；
所述目标时间段内的标注准确率小于第二阈值；
所述目标时间段内的标注效率大于第三阈值；
所述第二时间段内的第二标注效率小于所述第一时间段内的第一标注效率，且所述第一标注效率与所述第二标注效率的差值大于第四阈值；
所述第二时间段内的第二标注准确率小于所述第一时间段内的第一标注准确率，且所述第一标注准确率与所述第二标注准确率的差值大于第五阈值。


4.根据权利要求3所述的方法，其特征在于，在所述行为参数包括标注效率的情况下，所述根据所述第一目标行为日志，确定所述行为参数，包括：
根据所述第一目标行为日志的数量和所述目标时间段的时长，确定所述用户在所述目标时间段内进行标注的标注效率；
和/或，
根据所述第一目标行为日志中所述第一时间段内产生的日志数量和所述第一时间段的时长，确定所述第一标注效率，并根据所述第一目标行为日志中所述第二时间段内产生的日志数量和所述第二时间段的时长，确定所述第二标注效率。


5.根据权利要求3或4所述的方法，其特征在于，在所述行为参数包括标注准确率的情况下，所述根据所述第一目标行为日志，确定所述行为参数，包括：
获取所述第一目标行为日志中每条行为日志指示标注过程的标注数据，所述标注数据包括对待标注数据进行标注后得到的数据；
根据所述标注数据与参考标注数据之间的差异参数，确定所述每条行为日志对应的标注准确率；
根据所述每条行为日志对应的标注准确率，确定所述用户在所述目标时间段内进行标注的标注准确率；
和/或，
确定所述用户在所述第一时间段内进行标注的所述第一标注准确率以及所述用户在所述第二时间段内进行标注的所述第二标注准确率。


6.根据权利要求2至5中任意一项所述的方法，其特征在于，所述生成介入信息，以提示所述用户，包括：
根据所述行为参数和参数阈值，确定所述介入信息的内容和提示所述用户的方式；
以所确定的方式向所述用户展示所述介入信息的内容。


7.根据权利要求6所述的方法，其特征在于，所述参数阈值包括多个阈值区间；
所述根据所述行为参数和参数阈值，确定所述介入信息的内容和提示所述用户的方式，包括：
根据所述行为参数与所述多个阈值区间中至少一个阈值区间的归属关系，确定所述用户的标注状态的等级；
将与所述标注状态的等级对应的提示内容，确定为所述介入信息的内容，并将与所述标注状态的等级对应的提示方式，确定为提示所述用户的方式。


8.根据权利要求2至5中任意一项所述的方法，其特征在于，所述行为数据包括行为日志，所述介入信息包括告警信息，所述用户的标注状态满足介入条件，包括所述用户出现重复操作；
所述方法还包括：
从多条所述行为日志中，获取所述目标时间段内与所述第一操作类型相对的第二操作类型的第二目标行为日志；
根据所述第一目标行为日志以及所述第二目标行为日志，确定所述用户是否出现重复操作。


9.根据权利要求2至8中任一项所述的方法，其特征在于，所述行为日志至少包括用户标识、时间戳、操作类型和标注结果；所述操作类型至少包括删除、添加、撤销、翻页和调...

【专利技术属性】
技术研发人员：孙岳枫，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44