System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请属于计算机视觉,尤其涉及一种基于人因智能的注意力分析方法、边缘计算设备及介质。
技术介绍
1、眼动追踪技术是一种通过捕捉和分析人眼运动来研究视觉注意力的技术。通过监测和分析用户的眼动行为,眼动追踪技术能够揭示用户在特定情境下的注意力分布与认知过程。然而,眼动追踪技术主要聚焦于记录用户的注视轨迹,不能识别用户注视的具体对象内容,限制了其在更深入的研究和分析中的应用。
技术实现思路
1、本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种基于人因智能的注意力分析方法、边缘计算设备及介质,以实现用户注视对象类别的自动识别,提高识别准确性,增强实时交互体验。
2、第一方面,本申请提供了一种基于人因智能的注意力分析方法,包括:
3、通过眼动追踪设备采集用户的眼动数据,以及通过摄像头采集用户视野范围的视觉数据;
4、对所述视觉数据进行语义分割,得到所述视觉数据中表示各个对象所在位置的多个分割区域和各个对象的类别信息;
5、根据所述眼动数据在所述视觉数据中的位置对所述多个分割区域进行匹配,得到用户注视的目标对象;
6、基于所述目标对象的类别信息生成反馈信息反馈给用户。
7、根据本申请的基于人因智能的注意力分析方法,通过眼动追踪设备采集用户的眼动数据,以及通过摄像头采集用户视野范围的视觉数据;对所述视觉数据进行语义分割,得到所述视觉数据中表示各个对象所在位置的多个分割区域和各个对象的类别信息;根据所述眼动
8、根据本申请的一个实施例,所述对所述视觉数据进行语义分割,得到所述视觉数据中表示各个对象所在位置的多个分割区域和各个对象的类别信息,包括:
9、将所述视觉数据输入到预设的图像分割模型中,得到所述图像分割模型输出的多个分割区域和各个对象的类别信息。
10、在该实施例中,通过图像分割模型,能够识别出视觉数据中的各个对象的类别和位置,从而准确的输出对应的分割区域和类别信息,增强了对象识别的准确性。
11、根据本申请的一个实施例,所述根据所述眼动数据在所述视觉数据中的位置对所述多个分割区域进行匹配,得到用户注视的目标对象,包括:
12、计算所述眼动数据在所述视觉数据中的位置与各个分割区域的距离;
13、根据所述距离确定匹配的目标分割区域;
14、将所述目标分割区域对应的对象确定为用户注视的目标对象。
15、在该实施例中,通过计算眼动数据的位置与各个分割区域的距离,可以识别出用户注视的区域更靠近哪个分割区域,从而能够准确地确定出用户注视的目标对象。
16、根据本申请的一个实施例,所述根据所述距离确定匹配的目标分割区域,包括:
17、为各个对象分配权重;所述权重根据各个对象的类别信息、位置和面积中的至少一种确定;
18、根据所述距离和各个对象的权重确定匹配的目标分割区域。
19、在该实施例中,通过基于类别、位置、面积为各个对象分配权重,并根据权重和距离确定目标分割区域,能够根据对象的重要性、与用户视线的相对位置来确定用户注视的对象,提高了用户注视对象确定的准确性。
20、根据本申请的一个实施例,所述根据所述眼动数据在所述视觉数据中的位置对所述多个分割区域进行匹配,得到用户注视的目标对象,包括:
21、在所述眼动数据在所述视觉数据中的位置处于目标分割区域的情况下,将所述目标分割区域对应的对象确定为用户注视的目标对象。
22、在该实施例中,通过将眼动数据的位置与多个分割区域进行匹配,能够定位到用户实际注视的物体上,当眼动数据落在某个分割区域内时,便能准确地将该分割区域对应的对象确定为用户注视的目标对象,提高了用户注视对象确定的准确性。
23、根据本申请的一个实施例,在确定所述目标分割区域后,还包括:
24、确定眼动数据的注视时长;
25、在所述注视时长大于预设时长的情况下,将所述目标分割区域对应的对象确定为用户注视的目标对象。
26、在该实施例中,通过分析用户的注视时长,可以区分用户的短暂注视和持续关注,将注视时长大于预设时长的情况确定为用户为持续关注,从而能够准确地识别出用户注视的目标对象。
27、根据本申请的一个实施例,所述基于所述目标对象的类别信息生成反馈信息反馈给用户,包括:
28、根据所述目标对象的类别信息从预设的数据库中查询所述目标对象的多维信息;所述数据库中关联存储有各个对象和各个对象对应的多维信息;所述多维信息包括类别信息、名称、属性、用途中的至少之一;
29、将所述多维信息作为反馈信息反馈给用户。
30、在该实施例中,通过根据用户注视的具体对象,快速从数据库中检索并提供包括类别、名称、属性、用途等的详细信息,并将这些信息反馈给用户,使得用户在注视过程中,能够快速地向用户提供反馈信息,进一步增加了交互体验。
31、第二方面,本申请提供了一种基于人因智能的注意力分析装置,包括:
32、采集模块,用于通过眼动追踪设备采集用户的眼动数据,以及通过摄像头采集用户视野范围的视觉数据;
33、分割模块,用于对所述视觉数据进行语义分割,得到所述视觉数据中表示各个对象所在位置的多个分割区域和各个对象的类别信息;
34、匹配模块,用于根据所述眼动数据在所述视觉数据中的位置对所述多个分割区域进行匹配,得到用户注视的目标对象;
35、反馈模块,用于基于所述目标对象的类别信息生成反馈信息反馈给用户。
36、根据本申请的基于人因智能的注意力分析装置,通过眼动追踪设备采集用户的眼动数据,以及通过摄像头采集用户视野范围的视觉数据;对所述视觉数据进行语义分割,得到所述视觉数据中表示各个对象所在位置的多个分割区域和各个对象的类别信息;根据所述眼动数据在所述视觉数据中的位置对所述多个分割区域进行匹配,得到用户注视的目标对象;基于所述目标对象的类别信息生成反馈信息反馈给用户。本申请实施例通过在眼动追踪中结合语义分割技术,对视觉数据进行语义分割得到对象的位置和类别信息,通过将眼动数据与分割区域进行匹配,可以将用户的注意力与对象关联起来,从而确定用户注视的对象,并基于对象的类别信息生成反馈信息反馈给用户,从而实现用户注视对象类别的自动识别,提高识别准确性,增强实时交互体验。
37、第三方面,本申请本文档来自技高网...
【技术保护点】
1.一种基于人因智能的注意力分析方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述视觉数据进行语义分割,得到所述视觉数据中表示各个对象所在位置的多个分割区域和各个对象的类别信息,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述眼动数据在所述视觉数据中的位置对所述多个分割区域进行匹配,得到用户注视的目标对象,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述距离确定匹配的目标分割区域,包括:
5.根据权利要求1所述的方法,其特征在于,所述根据所述眼动数据在所述视觉数据中的位置对所述多个分割区域进行匹配,得到用户注视的目标对象,包括:
6.根据权利要求3-5任一项所述的方法,其特征在于,在确定所述目标分割区域后,还包括:
7.根据权利要求1所述的方法,其特征在于,所述基于所述目标对象的类别信息生成反馈信息反馈给用户,包括:
8.一种边缘计算设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理
9.根据权利要求8所述的边缘计算设备,其特征在于,所述边缘计算设备包括头戴式边缘计算设备;所述头戴式边缘计算设备包括摄像头和眼动仪,所述摄像头和所述眼动仪分别与所述处理器连接。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至7任一项所述的基于人因智能的注意力分析方法。
...【技术特征摘要】
1.一种基于人因智能的注意力分析方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述视觉数据进行语义分割,得到所述视觉数据中表示各个对象所在位置的多个分割区域和各个对象的类别信息,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述眼动数据在所述视觉数据中的位置对所述多个分割区域进行匹配,得到用户注视的目标对象,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述距离确定匹配的目标分割区域,包括:
5.根据权利要求1所述的方法,其特征在于,所述根据所述眼动数据在所述视觉数据中的位置对所述多个分割区域进行匹配,得到用户注视的目标对象,包括:
6.根据权利要求3-5任一项所述的方法,其特征在于,在确定所述目标分...
【专利技术属性】
技术研发人员:请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名,
申请(专利权)人:北京津发科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。