一种跨模态情感知识图谱构建方法及装置制造方法及图纸

本发明专利技术提供一种跨模态情感知识图谱构建方法及装置，所述方法包括：接收用户跨模态情感数据；提取所述跨模态情感数据中每种模态情感数据的情感特征值；根据所述情感特征值生成情感共现矩阵；根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；最后构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组，并将该三元组结构作为跨模态情感知识图谱。从而为情感知识图谱的跨模态应用场景提供更为有价值的参考。

【技术实现步骤摘要】
一种跨模态情感知识图谱构建方法及装置
本专利技术涉及情感计算
，具体涉及一种跨模态情感知识图谱构建方法及装置。
技术介绍
情感计算技术在人工智能研究特别是人机交互应用领域具有至关重要的作用。随着5G通信、虚拟现实、车联网等先进技术的普及，信息交流及人机交互形态也从文字、图像、音频、视频等单一模态逐步过渡到相互融合的多种媒体形态。因此，跨模态情感计算成为近年来情感计算的研究热点。传统的情感知识图谱构建过程中，不能将来自异构跨模态情感特征有效关联，因此以单一模态情感特征为核心所构建的情感知识图谱是一个个孤立的抽取图谱，无法真正反映跨模态数据中的情感知识。为了形成一个真正的跨模态情感知识图谱，则需要将这些情感知关联和集成在一起，从而有效支撑跨模态情感计算过程。因此，有必要提出一种新的情感知识图谱构建方法及装置。
技术实现思路
针对现有技术的不足，本专利技术提出一种跨模态情感知识图谱构建方法，所述方法包括：步骤S101，接收用户跨模态情感数据；步骤S102，提取所述跨模态情感数据中每种模态情感数据的情感特征值；步骤S103，根据所述情感特征值生成情感共现矩阵；步骤S104，根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；以及步骤S105，构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。示例性地，所述步骤S103中所述情感共现矩阵中的元素用以指示所述元素所在的行对应的第一模态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。示例性地，所述步骤S104中所述情感倾向聚类算法为概率潜在语义分析算法。另一方面，本专利技术还提供一种跨模态情感知识图谱构建装置，所述装置包括：情感数据接收模块，用于接收用户跨模态情感数据；情感特征提取模块，用于提取所述跨模态情感数据中每种模态情感数据的情感特征值；情感共现矩阵生成模块，用于根据所述情感特征值生成情感共现矩阵；情感倾向划分模块，用于根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；以及知识图谱生成模块，用于构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。示例性地，所述情感共现矩阵生成模块中所述情感共现矩阵中的元素用以指示所述元素所在的行对应的第一模态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。示例性地，所述情感倾向划分模块中所述情感倾向聚类算法为概率潜在语义分析算法。本专利技术提供的跨模态情感知识图谱构建方法及装置能够将来自异构跨模态情感特征进行有效关联和划分，从而实现跨模态情感知识图谱的构建，为跨模态情感计算的应用场景提供更为有价值的参考。附图说明本专利技术的下列附图在此作为本专利技术的一部分用于理解本专利技术。附图中示出了本专利技术的实施例及其描述，用来解释本专利技术的原理。附图中：图1示出了根据本专利技术的实施例的一种跨模态情感知识图谱构建方法100的流程图；图2示出了根据本专利技术的实施例的一种跨模态情感知识图谱构建装置200的结构框图。具体实施方式在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。应当理解的是，本专利技术能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本专利技术的范围完全地传递给本领域技术人员。为了彻底理解本专利技术，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本专利技术的技术方案。本专利技术的较佳实施例详细描述如下，然而除了这些详细描述外，本专利技术还可以具有其他实施方式。本实施例提供的跨模态情感知识图谱构建方法具体可以应用于跨模态情感知识图谱的构建，可以通过跨模态情感知识图谱构建装置来执行，该跨模态情感知识图谱构建装置可以为服务器。如图1所示，本实施例提供的跨模态情感知识图谱构建方法100包括如下步骤：步骤S101：接收用户跨模态情感数据。例如，通过摄像装置录制用户的面部表情情感数据，同时通过录音装置录制用户的语音情感数据。示例性地，本步骤中用户的面部表情情感数据可以通过普通的基于可见光的彩色或灰度摄像装置进行采集，所述摄像装置例如普通摄像头、网络摄像头、手机的前置摄像头等；本步骤中用户的语音情感数据可以通过普通的录音装置进行采集，所述录音装置例如普通的录音笔、麦克风、手机话筒等。步骤S102：提取所述跨模态情感数据中每种模态情感数据的情感特征值。示例性地，提取面部表情情感数据的情感特征值可以通过检测并标记面部区域关键点，计算所述面部区域各关键点的位置与面部区域关键点平均位置的距离，并针对面部区域各关键点提取加速段测试特征，从而最终得到面部表情情感特征值的方式进行提取；提取语音情感数据的情感特征值则可以通过基于平均幅度差法的基频特征提取方式进行提取。步骤S103：根据所述情感特征值生成情感共现矩阵。示例性的，情感共现矩阵中的元素用以指示所述元素所在的行对应的第一模态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。假设所提取的第一模态情感特征值集合为U＝{u1，u2，…，uM}，第二模态情感特征值集合为D＝{d1，d2，…，dN}，则两者所构建的M×N阶情感共现矩阵UD：UD＝[w(um,dn)]M×N；其中，w(um,dn)为第一模态情感特征值um与第二模态情感特征值dn的同时出现的次数。步骤S104：根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集。示例性的，情感倾向聚类算法具体可以为潜在语义分析(LatentSemanticAnalysis，简称LSA)算法或概率潜在语义分析(ProbabilityLatentSemanticAnalysis，简称PLSA)算法等。步骤S105，构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。在本实施例中，优选地，聚类算法为概率潜在语义分析(PLSA)算法。根据概率潜在语义分析算法对情感共现矩阵进行聚类，将情感共现矩阵中第一模态情感特征值集合U和第二模态情感特征值集合D同时划分到多个不同的情感倾向子集的实现方式具体如下：定义情感倾向类别集合Z＝{z1，z2，…，zc}，情感倾向的类别数量c可以根据U和D的大小情况以及实际应用场景来设置，并可以根据聚类的质量来选择一个最佳值。具体的，高质量的情感倾向类别划分应使相同类别内的情感特征共现程度最高，而不同类别间的情感特征共现程度最低。为了对情感倾向类别划分的质量进行量化评估，本文档来自技高网...

【技术保护点】
1.一种跨模态情感知识图谱构建方法，其特征在于，所述方法包括：/n步骤S101：接收用户跨模态情感数据；/n步骤S102：提取所述跨模态情感数据中每种模态情感数据的情感特征值；/n步骤S103：根据所述情感特征值生成情感共现矩阵；/n步骤S104：根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；以及/n步骤S105：构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。/n

【技术特征摘要】
1.一种跨模态情感知识图谱构建方法，其特征在于，所述方法包括：
步骤S101：接收用户跨模态情感数据；
步骤S102：提取所述跨模态情感数据中每种模态情感数据的情感特征值；
步骤S103：根据所述情感特征值生成情感共现矩阵；
步骤S104：根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；以及
步骤S105：构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。


2.如权利要求1所述的跨模态情感知识图谱构建方法，其特征在于，所述步骤S103中所述情感共现矩阵中的元素用以指示所述元素所在的行对应的第一模态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。


3.如权利要求1所述的跨模态情感知识图谱构建方法，其特征在于，所述步骤S104中所述情感倾向聚类算法为概率潜在语义分析算法。


4.一种跨模态情...

【专利技术属性】
技术研发人员：王春雷，尉迟学彪，毛鹏轩，
申请(专利权)人：北京入思技术有限公司，
类型：发明
国别省市：北京;11