操作记录展示方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种操作记录展示方法、装置、电子设备及存储介质，该方法包括：获取AR设备采集的作业区的作业现场图像；基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录；基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据；其中，所述操作状态展示数据用于指示不同的作业子区域分别对应的操作状态；通过所述AR设备展示所述操作状态展示数据。态展示数据。态展示数据。

【技术实现步骤摘要】
操作记录展示方法、装置、电子设备及存储介质


[0001]本公开涉及增强现实
，具体而言，涉及一种操作记录展示方法、装置、电子设备及存储介质。

技术介绍

[0002]随着工业技术的发展，作业现场内工作设备对应的操作流程越来越复杂，故为了保障工作设备的正常工作，需要操作人员依靠经验和储备知识进行操作，即对操作人员的技术要求也越来越高。
[0003]一般的，在作业现场内无法对操作人员的操作流程进行指导，使得操作人员的操作过程没有参考依据。因此，提出一种能够对操作人员的操作过程进行指导的方法尤为重要。

技术实现思路

[0004]有鉴于此，本公开至少提供一种操作记录展示方法、装置、电子设备及存储介质。
[0005]第一方面，本公开提供了一种操作记录展示方法，包括：
[0006]获取增强现实(Augmented Reality，AR)设备采集的作业区的作业现场图像；
[0007]基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录；
[0008]基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据；其中，所述操作状态展示数据用于指示不同的作业子区域分别对应的操作状态；
[0009]通过所述AR设备展示所述操作状态展示数据。
[0010]上述方法中，通过基于获取的作业现场图像，获取与作业现场图像对应的作业区内多个作业子区域的历史操作记录，基于历史操作记录，生成多个作业子区域分别对应的操作状态展示数据，由于该操作状态数据指示了不同的作业子区域分别对应的操作状态，故在通过AR设备展示了操作状态展示数据后，可以根据操作状态展示数据，对作业区内的多个作业子区域的操作状态有明确的、清晰的认知，进而可以利用展示的操作状态展示数据，指导携带AR设备的目标作业人员针对作业区的作业操作。
[0011]一种可能的实施方式中，所述操作状态展示数据包括操作热力图，所述基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据，包括：
[0012]基于所述历史操作记录，确定所述作业区内多个作业子区域分别对应的操作热度值；
[0013]基于所述作业区内多个作业子区域分别对应的操作热度值，生成所述多个作业子区域对应的操作热力图。
[0014]采用上述方法，可以基于历史操作记录，确定作业区内多个作业子区域分别对应的操作热度值，再基于作业区内多个作业子区域分别对应的操作热度值，生成多个作业子区域对应的操作热力图，该操作热力图中通过颜色表征对应作业子区域的操作热度值，即
不同颜色对应不同的操作热度值，实现通过操作热力图形象的表征作业区内多个作业子区域的操作状态。
[0015]一种可能的实施方式中，所述方法还包括：
[0016]获取携带所述AR设备的目标作业人员的用户图像；
[0017]对所述用户图像进行识别，确定所述目标作业人员的身份信息；
[0018]在通过所述AR设备展示所述操作状态展示数据之后，所述方法还包括：
[0019]获取所述目标作业人员针对任一所述作业子区域生成的操作记录；
[0020]将所述操作记录与所述目标作业人员的身份信息关联存储。
[0021]上述实施方式中，通过获取的目标作业人员的用户图像，确定目标作业人员的身份信息，进而在获取了目标作业人员针对任一作业子区域生成的操作记录后，可以将获取的操作记录与目标作业人员的身份信息关联存储，使得可以通过目标作业人员的身份信息，较准确的确定该目标作业人员的操作记录。
[0022]一种可能的实施方式中，所述方法还包括：
[0023]响应于操作记录查询请求，控制显示设备展示与所述目标作业人员的身份信息关联的所述操作记录，和/或，控制显示设备展示基于所述操作记录确定的所述目标作业人员的操作状态展示数据，其中，所述显示设备包括所述AR设备和/或其他带有显示屏的设备。
[0024]上述实施方式中，响应于操作记录查询请求，控制显示设备展示与目标作业人员的身份信息关联的操作记录，和/或，控制显示设备展示目标作业人员的操作状态展示数据，以便通过展示的操作记录和/或操作状态展示数据，对目标作业人员或其他作业人员的作业操作进行指导。
[0025]一种可能的实施方式中，根据下述步骤确定所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录，包括：
[0026]获取部署在所述作业区的至少一个摄像设备采集的作业人员的用户图像；和/或，获取在所述作业区内执行目标操作的作业人员携带的AR设备采集的用户图像；
[0027]基于所述作业人员的用户图像，确定所述作业区内多个作业子区域的历史操作记录。
[0028]采用上述方法，可以通过部署在作业区内的至少一个摄像设备采集作业人员的用户图像，和/或，通过AR设备采集用户图像，实现用户图像的灵活采集，进而基于获取的作业人员的用户图像，可以较全面、较准确的确定作业区内多个作业子区域的历史操作记录。
[0029]一种可能的实施方式中，所述历史操作记录包括关注度；所述用户图像包括脸部图像；所述基于所述作业人员的用户图像，确定所述作业区内多个作业子区域的历史操作记录，包括：
[0030]基于所述脸部图像，确定所述作业人员对应的视线检测结果；其中，所述视线检测结果指示所述作业人员的视线停留的作业子区域；
[0031]基于所述视线检测结果，确定所述作业区内多个作业子区域的历史操作记录。
[0032]上述实施方式中，在历史操作记录中包括关注度时，可以通过采集的脸部图像，确定作业人员对应的视线检测结果，该视线检测结果指示作业人员的视线停留的作业子区域，通过视线检测结果，可以较准确的确定了作业区内多个作业子区域的历史操作记录。
[0033]一种可能的实施方式中，所述基于所述作业现场图像，获取与所述作业现场图像
对应的所述作业区内多个作业子区域的历史操作记录，包括：
[0034]对所述作业现场图像进行作业区的特征识别，确定所述作业现场图像对应的作业区；
[0035]获取所述作业区对应的多个作业子区域的所述历史操作记录；其中，所述历史操作记录为目标历史时间段内记录的所述多个作业子区域的作业操作的操作记录。
[0036]考虑到作业区存在多个的情况，可以对作业现场图像进行作业区的特征识别，较准确的确定作业现场图像对应的作业区，进而可以获取确定的作业区对应的多个作业子区域的历史操作记录，避免获取与作业现场图像不匹配的其他作业区的历史操作记录，造成AR设备展示的操作状态展示数据与作业现场图像不匹配的情况发生。
[0037]以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
[0038]第二方面，本公开提供了一种操作记录展示装置，包括：
[0039]第一获取模块，用于获取AR设备采集的作业区的作业现场图像；
[0040]第二获取模块，用于基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种操作记录展示方法，其特征在于，包括：获取增强现实AR设备采集的作业区的作业现场图像；基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录；基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据；其中，所述操作状态展示数据用于指示不同的作业子区域分别对应的操作状态；通过所述AR设备展示所述操作状态展示数据。2.根据权利要求1所述的方法，其特征在于，所述操作状态展示数据包括操作热力图，所述基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据，包括：基于所述历史操作记录，确定所述作业区内多个作业子区域分别对应的操作热度值；基于所述作业区内多个作业子区域分别对应的操作热度值，生成所述多个作业子区域对应的操作热力图。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取携带所述AR设备的目标作业人员的用户图像；对所述用户图像进行识别，确定所述目标作业人员的身份信息；在通过所述AR设备展示所述操作状态展示数据之后，所述方法还包括：获取所述目标作业人员针对任一所述作业子区域生成的操作记录；将所述操作记录与所述目标作业人员的身份信息关联存储。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：响应于操作记录查询请求，控制显示设备展示与所述目标作业人员的身份信息关联的所述操作记录，和/或，控制显示设备展示基于所述操作记录确定的所述目标作业人员的操作状态展示数据，其中，所述显示设备包括所述AR设备和/或其他带有显示屏的设备。5.根据权利要求1～4任一所述的方法，其特征在于，根据下述步骤确定所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录，包括：获取部署在所述作业区的至少一个摄像设备采集的作业人员的用户图像；和/或，获取在所述作业区内执行目标操作的作业人员携带的AR设备采集的用户图像；基于所述作业人员的用户图像，确定所...

【专利技术属性】
技术研发人员：侯欣如，李园园，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：