提供基于情绪的虚拟相册的方法和系统技术方案

用于提供基于情绪的虚拟相册的方法和系统，该相册基于观看者的被识别的情绪提供照片。该方法可以包括以下步骤：用照相机捕捉观看者面部表情的第一图像，将该图像提供给处理器的模式识别模块，通过将该面部表情与多个以前存储的面部表情的图像相比较确定观看者的情绪，所述多个以前存储的图像都具有相关的情绪标识符来表示多个以前存储的图像中的每一个图像的情绪，基于与已经确定的情绪相关的情绪标识符从存储器中检索出用于传送给观看者的一个照片集，以及将该照片集以电子相册的形式传送。系统包括照相机，用于传送以该照相机捕捉的观看者面部表情的第一图像的用户界面，用于接收通过用户界面传送来的图像的处理器，该处理器还包括模式识别模块，该模块用于将由处理器接收的图像与来自存储区的多个面部表情的图像相比较，从而确定观看者的情绪。检索单元检索对应于观看者情绪的一个电子照片集，并且传送该电子照片集作为虚拟相册用于展示。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】
本专利技术涉及与反馈系统有关的观看者界面。更明确地，本专利技术涉及与反馈系统有关的光学观看者界面。当希望回忆过去的特定的事件或者人时，人们经常观看相册。然而，标准的相册不能考虑到当观看者翻阅图片时的情绪。本专利技术的一个方面是用于提供虚拟相册的方法，该相册能够展示符合观看者被识别的情绪的照片集。这包括以下步骤用照相机捕捉观看者面部表情的第一图像，将该图像提供给处理器的模式识别模块，通过将该面部表情与多个以前存储的面部表情的图像相比较确定观看者的情绪，所述多个以前存储的图像都具有相关的情绪标识符来表示多个以前存储的图像的每一个图像的情绪，基于与已经确定的情绪相关的情绪标识符从存储器中检索出用于传送给观看者的一个照片集，以及将该照片集以电子相册的形式传送给观看者。本专利技术的另一方面，用于基于情绪的虚拟相册的系统包括照相机，用于传送以该照相机捕捉的观看者面部表情的第一图像的用户界面装置，用于接收通过用户界面装置传送来的图像的处理器，该处理器还包括模式识别模块，该模块用于将由处理器接收的图像与来自存储区的多个面部表情的图像相比较，从而根据由照相机捕捉的第一图像确定观看者的情绪，用于检索对应于观看者情绪的一个电子照片集并将该电子照片集发送给观看者的检索装置，以及用于展示作为虚拟相册的该照片集的显示器。图1A是一个流程图，该流程图给出了一个根据本专利技术的提供基于情绪的虚拟相册的方法的概述。图1B是一个流程图，该流程图给出了图1A中所示概述的附加细节。图2是一个根据本专利技术的用于提供虚拟相册的系统的图解。图1A图示了一个根据本专利技术的提供虚拟相册的方法的概述。步骤105中，通过照相机捕捉观看者的第一图像。该图像可以依据任何已知协议，包括但不限于JPEG、TIFF、BMP、PCX等等。该图像也可能是一个视频序列，例如MPEG、MPEG-1、MPEG-2、MEPG-3或者任何它们的变型。也可以是用于视频序列的另一种格式。步骤115中，将观看者的面部表情的图像提供给处理器的模式识别模块。尽管处理器可以是一个本地相联的计算机，但是本专利技术的一个方面包括基于网络的处理器，而且观看者将启动互联网网站上的虚拟相册。该网站可以要求一个标识符和密码，或者在每次访问该网站时，可以存储和/或更新观看者界面上的甜饼(cookie)。也可能使用不同于万维网的其他类型的网络，例如LAN、WAN等等。步骤125中，通过模式识别确定观看者的情绪。通过将该面部表情与多个以前存储的面部表情的图像相比较来做出该确定，所述多个以前存储的面部图像都具有相关的情绪标识符来表示多个以前存储的图像中的每一个图像的情绪。步骤135中，从存储区中检索一个照片集，该照片对应于步骤125中检测出的情绪类型。例如，如果观看者被检测出的情绪是悲伤，该照片集可以包括爱人的图像。该照片集也可以包括预先确定的使得大多数以前的观看者快乐的照片。步骤145中，将该照片集传送给观看者作为虚拟的基于情绪的相册显示。照片可以连续地显示，每张照片显示确定的时间。可选择地，观看者可以确定观看每张照片的时间长度，或者通过主动敲击键盘、操纵杆或者鼠标来指示观看下一张照片的请求。照片可以首先显示在屏幕上，例如，包括但不限于行和列的格式。用户可以通过指示设备或键盘敲击或指示或输入某个数字来单独观看特定的照片。图1B给出了关于反馈系统的更多的细节，在将照片集中的至少一张照片展示给观看者之后，该反馈系统用于后续的面部表情图像。应该注意的是，图1B中的步骤是可选的。步骤155中，通过照相机捕捉观看者的面部表情的第二图像。该第二图像在被观看者观看的所述照片集中的至少一张之后。该面部表情的附加的监视是一种反馈系统，该系统能够在显示至少一张照片之后，根据观看者目前的情绪评价关于照片的反应。步骤165中，通过重复步骤125、135和145更新照片集从而得到用于虚拟相册的修改的照片集。图2图示了根据本专利技术的、用于提供虚拟相册的系统。观看者界面(UI)205包括照相机206，该界面与处理器210通信，包括但不限于个人电脑。该照相机可以是模拟的，也可以是数字的，能够提供一个或者几个观看者的快速静止照片或者视频序列。该静止照片可以应用任何已知的传统的数字表示协议，例如JPEG、TIFF、BMP、PCX等等。该视频序列也可以应用任何已知的协议，例如MPEG、MPEG-1、MPEG-2、MEPG-3等等。照相机可以以任何方式与处理器通信，例如通过USB(通用串行总线)端口、并口或串口、光纤连接、或者甚至无线连接。处理器210可以放置在远离用户界面和观看者的地方，视频序列可以通过互联网传送到主机地点，该主机地点可以包括多张根据情绪分类的照片，至少其中之一可以作为虚拟相册传送给观看者。对于在关于任何特定的观看和/或观看者的虚拟相册中提供什么类型的照片而言，观看者的情绪是主要的决定因素。放置照相机使得能够准确地聚焦到观看者的表情。面部表情，例如微笑、皱眉、傻笑、咬嘴唇、流泪仅是几个作为观看者情绪标志的标准，可以由照相机记录并传送给处理器。作为例子但不是限定，授予Kawamoto等人的U.S.专利5,367,454被包括于此文作为背景资料参考，其中公开了不同的人类情绪，包括害怕、惊奇、厌恶、愤怒、期待、欢乐和赞同。该处理器可以包括面部表情识别数据库和识别模块215或者在存储区的程序。该数据库包括多个面部表情，每个面部表情都有一个相关的情绪类别，例如快乐、悲伤、害怕、厌恶、生气、焦虑等等。模式识别模块辨别观看者面部表情特征，以及通过比较器模块将该表情与以前存储的面部表情相比较来确定观看者的情绪。例如，观看者的嘴部特征与来自存储区中面部表情况别数据库和识别模块215的图像的比较可以用于检测是否该人在笑。例如，如果嘴唇的末端向上弯曲，或者其位置比嘴唇中部高，就可以被识别为快乐的图像。嘴唇末端比嘴唇中部低的嘴可以作为皱眉的标记。紧闭嘴唇和抿嘴一起可以作为悲哀的标记。由于嘴唇通常都有一致的色调和相对地椭圆形，像素的色调可以用于确定嘴的位置和脸的周边区域。像素的改变将用于识别眼泪，这样确定观看者是悲伤的。模式识别工作的一种方法是观看者从附属照相机中发送快照，将这些照片标记为当快乐、悲伤、生气、焦虑、害怕、厌恶等时观看者的表情。该表情作为基础用于面部表情的后续图像的比较230。然后该模式识别模块将观看者目前的面部表情与在存储区中的观看者的面部表情相比较，并且确定该观看者的主要情绪。可替换地，在存储区中面部表情识别数据库和识别模块215中的面部图像的分类的情绪可以包括相应的观看者的图像。在将一系列通常会导致某些面部表情的照片展示给观看者之后，捕捉这些图像。例如，当由照相机捕捉观看者的面部表情时，危险动物的照片，诸如正要攻击的北极熊，或者鲨鱼，将会被展示给观看者。无论观看者经历了什么情绪，例如，来自一张照片的恐惧都是倾向于受个人感情支配的，这一点说明了情绪的最初标记可能是检测一个人情绪的更准确的方法的原因。另外，模式识别模块可以用并非观看者的人的面部表情来预编程序，这样将不再需要观看者提供关于他们与特定面部表情相联系的特定情绪的最初反馈。在该领域的普通技术人员应该注意的是，需要一个更加复杂的模式识别模块，用于将被预编程序到数据库的来自其他人的多个样本的面部本文档来自技高网...

【技术保护点】
用于提供基于情绪的虚拟相册的方法，所述的方法包括以下步骤：（ａ）用照相机捕捉观看者面部表情的第一图像（１０５）；（ｂ）将所述面部表情的图像提供（１１５）给处理器的模式识别模块；（ｃ）通过将该面部表情与多个以前存储的面 部表情的图像相比较来确定具有相关的情绪标识符的观看者的情绪（１２５），所述多个以前存储的面部表情的图像都具有相关的情绪标识符，用于表示所述多个以前存储的图像中的每一个的情绪；（ｄ）基于与在步骤（ｃ）中确定的情绪相关的情绪标识符从存储 器中检索（１３５）要被传送给所述观看者的照片集；并且（ｅ）将在步骤（ｄ）中检索出的该照片集以电子相册的形式传送给（１４５）所述观看者以用于显示。

【技术特征摘要】
US 2001-12-11 10/014,231书的范围内，本领域的普通技术人员可以做出各种各样的修改。例如，情绪标识符可以包括更多的情绪或更少的情绪，对于每一类特定的面部表情根据表情的相对程度，在一个类别(例如微笑)中的表情可以被区分等级。权利要求1.用于提供基于情绪的虚拟相册的方法，所述的方法包括以下步骤(a)用照相机捕捉观看者面部表情的第一图像(105)；(b)将所述面部表情的图像提供给处理器的模式识别模块(115)；(c)通过将该面部表情与多个以前存储的面部表情的图像相比较来确定具有相关的情绪标识符的观看者的情绪(125)，所述多个以前存储的面部表情的图像都具有相关的情绪标识符，用于表示所述多个以前存储的图像中的每一个的情绪；(d)基于与在步骤(c)中确定的情绪相关的情绪标识符从存储器中检索要被传送给所述观看者的照片集(135)；并且(e)将在步骤(d)中检索出的该照片集以电子相册的形式传送给所述观看者以用于显示(145)。2.根据权利要求1所述的方法，其中步骤(e)中的照片集通过互联网传送给所述观看者，并且所述的电子相册包括虚拟相册。3.根据权利要求1所述的方法，其中步骤(b)中的模式识别模块是本地相联的计算机。4.根据权利要求2所述的方法，其中步骤(b)中的模式识别模块是基于网络的处理器。5.根据权利要求1所述的方法，其中步骤(c)中的以前存储的图像是观看者的面部表情。6.根据权利要求4所述的方法，还包括给以前存储的观看者的面部表情的图像提供情绪标识符。7.根据权利要求6所述的方法，其中情绪标识符由观看者提供，从而为所述多个以前存储的图像中的每一个相应图像的面部表情指定特定的情绪。8.根据权利要求4所述的方法，其中步骤(c)中的以前存储的图像是观看者的面部表情。9.根据权利要求8所述的方法，还包括给以前存储的观看者的面部表情的图像提供情绪标识符。10.根据权利要求9所述的方法，其中情绪标识符由观看者提供，从而为所述多个以前存储的图像中的每一个相应图像的面部表情指定特定的情绪。11.根据权利要求4所述的方法，还包括(f)在所述观看者观看...

【专利技术属性】
技术研发人员：AJ科梅纳雷兹，M特拉科维，SVR古特塔，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：NL[荷兰]