一种表情图像标注的方法和系统技术方案

本发明专利技术提供的表情图像标注的方法和系统，可实现诱导视频和实验过程中采集的拍摄视频同步操作，两视频同步操作，诱导视频可帮助被试回忆在实验过程中观看该诱导视频时的情感变化。在诱导视频引起被试情感变化的时刻对拍摄视频实施暂停播放操作，接着从拍摄视频中截取被试头肩部位图像，并对截取图像进行表情类别和表情强度的标注。该方法和系统通过对拍摄视频和诱导视频的同步操作来帮助被试对观看视频时出现的表情进行表情标注，从而保证了标注数据的客观性与准确性。标注的过程中产生标注数据自动存储到数据库中，免去实验结束后工作人员繁琐复杂的工作，实现了以简单便捷的方法获取客观精确的表情图像及其标注信息。

【技术实现步骤摘要】

本专利技术属于计算机
，具体涉及一种表情图像标注的方法和系统。
技术介绍
表情识别技术目前广泛受到关注并逐渐成为研究热点，但是由于现有表情图像无法支持复杂算法的深入研究，因此需要重新建立表情库。现有的表情库的建设主要有基于图像的和基于视频的两种形式，基于图像的表情库是用照相机采集的表情图像，不涉及表情分割问题，可直接对图像进行标注，这种方法比较简单。基于视频的表情库则是用摄像机采集的表情视频，从视频中分割出表情图像后对表情图像进行标注。由于视频包括了时间维度的表情变化数据，为表情识别提供了重要的信息，因此基于视频的表情库更具有研究价值和意义。基于视频的表情库建设过程中，数据分割与标注是非常重要的环节，这部分工作往往需要花费大量的精力和时间来完成。基于视频建立表情库的方法中，表情标注主要通过实时记录法和回忆记录法实现。实时记录法一般采用传统纸质问卷的方法让被试在观看视频过程中记录自己的情感状态，这种方法从理论层面上讲可以保证数据的真实客观性，但不可避免的问题是被试在记录某一时刻情感数据时必定会对下一时刻的情感体验造成干扰。回忆记录法是被试在观看完视频后对自己观看视频时的情感进行回忆，这种方法可避免上一时刻的实时标注对被试下一时刻观看视频的影响，但不能保证被试对每一时刻回忆的精确性。总之，无论是实时记录法还是回忆记录法，都只是被试对关键帧进行的标注，无法保证数据标注的客观性与准确性；且在实验结束后仍需要工作人员进行繁琐复杂的工作来对视频再次进行处理，以完成情感/表情分割，然后在按照被试标注信息对分割好的情感/表情图像进行标注。
技术实现思路
本专利技术所要解决的技术问题是如何以简单便捷的方法获取客观精确的表情图像及其标注数据。针对该技术问题，本专利技术提供了一种表情图像标注的方法，包括：同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作；截取拍摄视频中包含被试面部表情的图像，并对所述图像标注表情类别和表情强度；建立所述图像及与其对应的表情类别和表情强度的映射关系并存储；其中，拍摄视频是记录被试在观看诱导视频时的表情变化的视频文件；预设时刻是被试在观看诱导视频播放过程中，诱发被试情感变化的时刻。优选地，在同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作之前，还包括：安装视频解码器，以使预设的视频播放器在播放拍摄视频和诱导视频之前，对拍摄视频和诱导视频进行解码；获取被试的个人信息、被试在实验过程中观看诱导视频的环境信息，建立个人信息、环境信息及截取图像的映射关系并存储。优选地，还包括：获取用于截取拍摄视频中包含被试面部表情图像在视频中的位置，即坐标信息，以及预设时刻对应的诱导视频文件播放的时间点，建立所述坐标信息和所述时间点与所述图像的映射关系并存储。优选地，建立图像及与其对应的表情类别和表情强度的映射关系并存储包括：建立所述图像及与其对应的表情类别和表情强度的映射关系并存储至缓存区；检验预设数据库中是否存在所述图像，若存在，发出第一提示信息，以提示工作人员所述预设数据库存在所述图像，否则，发出第二提示信息，以使所述工作人员将所述图像存储至所述预设数据库。优选地，若所述缓存区存储的图像超过预设数量，则发出第三提示信息，以供所述工作人员将所述缓存区的图像删除或者将所述缓存区的图像存储至所述预设数据库。另一方面，本专利技术还提供了一种表情图像标注的系统，包括：播放模块，用于同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作；截取模块，用于截取拍摄视频中包含被试面部表情的图像，并对所述图像标注表情类别和表情强度；存储模块，用于建立所述图像及与其对应的表情类别和表情强度的映射关系并存储；其中，拍摄视频是记录被试在观看诱导视频时的表情变化的视频文件；预设时刻是被试在观看诱导视频播放过程中，诱发被试情感变化的时刻。优选地，还包括：初始化模块，用于在同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作之前，安装视频解码器，以使预设的视频播放器在播放拍摄视频和诱导视频之前，对拍摄视频和诱导视频进行解码；获取被试的个人信息、被试在实验过程中观看诱导视频的环境信息，建立个人信息、环境信息及截取图像的映射关系并存储。优选地，所述截取模块还用于获取用于截取所述拍摄视频中包含被试面部表情的图像的坐标信息，以及所述预设时刻对应的所述诱导视频文件播放的时间点，建立所述坐标信息和所述时间点与所述图像的映射关系并存储。优选地，所述存储模块还用于建立所述图像及与其对应的表情类别和表情强度的映射关系并存储至缓存区；检验预设数据库中是否存在所述图像，若存在，发出第一提示信息，以提示工作人员所述预设数据库存在所述图像，否则，发出第二提示信息，以使所述工作人员将所述图像存储至所述预设数据库。优选地，所述存储模块还用于在所述缓存区存储的图像超过预设数量时，发出第三提示信息，以供所述工作人员将所述缓存区的图像删除或者将所述缓存区的图像存储至所述预设数据库。本专利技术提供的表情图像标注的方法和系统，将实验过程中采集的拍摄视频以及用于诱发被试表情变化的诱导视频同步播放，诱导视频帮助被试回忆在实验过程中观看该诱导视频时的情感变化，在诱导视频引起该被试情感变化的预设时刻对拍摄视频实施暂停播放的操作，以从该拍摄视频中截取被试的图像，对该图像进行表情类别和表情强度的标注，并将标注后的图像以及与该图像相关的信息进行存储。该方法和系统通过对实验过程中的拍摄视频和诱导视频的同步播放使得被试对拍摄视频中的被试的表情进行标注，保证了标注的客观性与准确性。同时，由于在表情图像获取的过程中就对其进行标注和存储，免去了实验结束后工作人员的繁琐复杂的工作，从而实现以简单便捷的方法获取客观精确的表情图像。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的表情图像标注的方法流程示意图；图2是本专利技术实施例提供的表情图像标注的系统的结构框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1是本专利技术实施例提供的表情图像标注的方法流程示意图，参见图1，该表情图像标注的方法，包括：S1：同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作；S2：截取拍摄视频中包含被试面部表情的图像，并对所述图像标注表情类别和表情强度；S3：建立所述图像及与其对应的表情类别和表情强度的映射关系并存储；其中，拍摄视频是记录被试在观看诱导视频时的表情变化的视频文件；预设时刻是被试在观看诱导视频播放过程中，诱发被试情感变化的时刻。诱导视频是由专业人本文档来自技高网...

【技术保护点】
一种表情图像标注的方法，其特征在于，包括：同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作；截取拍摄视频中包含被试面部表情的图像，并对所述图像标注表情类别和表情强度；建立所述图像及与其对应的表情类别和表情强度的映射关系并存储；其中，拍摄视频是记录被试在观看诱导视频时的表情变化的视频文件；预设时刻是被试在观看诱导视频播放过程中，诱发被试情感变化的时刻。

【技术特征摘要】
1.一种表情图像标注的方法，其特征在于，包括：同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作；截取拍摄视频中包含被试面部表情的图像，并对所述图像标注表情类别和表情强度；建立所述图像及与其对应的表情类别和表情强度的映射关系并存储；其中，拍摄视频是记录被试在观看诱导视频时的表情变化的视频文件；预设时刻是被试在观看诱导视频播放过程中，诱发被试情感变化的时刻。2.根据权利要求1所述的方法，其特征在于，在同步操作拍摄视频和诱导视频，并在诱导视频播放至预设时刻时，对拍摄视频实施暂停播放的操作之前，还包括：安装视频解码器，以使预设的视频播放器在播放拍摄视频和诱导视频之前，对拍摄视频和诱导视频进行解码；获取被试的个人信息、被试在实验过程中观看诱导视频的环境信息，建立个人信息、环境信息及截取图像的映射关系并存储。3.根据权利要求1所述的方法，其特征在于，还包括：获取用于截取拍摄视频中包含被试面部表情图像在视频中的位置，即坐标信息，以及预设时刻对应的诱导视频文件播放的时间点，建立所述坐标信息和所述时间点与所述图像的映射关系并存储。4.根据权利要求1或2所述的方法，其特征在于，建立图像及与其对应的表情类别和表情强度的映射关系并存储包括：建立所述图像及与其对应的表情类别和表情强度的映射关系并存储至缓存区；检验预设数据库中是否存在所述图像，若存在，发出第一提示信息，以提示工作人员所述预设数据库存在所述图像，否则，发出第二提示信息，以使所述工作人员将所述图像存储至所述预设数据库。5.根据权利要求4所述的方法，其特征在于，若所述缓存区存储的图像超过预设数量，则发出第三提示信息，以供所述工作人员将所述缓存区的图像删除或者将所述缓存区的图像存储至所述预设数据库。6.一种表情图像标注的系...

【专利技术属性】
技术研发人员：刘永娜，王利绒，
申请(专利权)人：刘永娜，王利绒，
类型：发明
国别省市：海南;46