用于肌肤检测的电子设备的交互方法及电子设备技术

本申请提供一种用于肌肤检测的电子设备的交互方法及电子设备，该方法通过对用户的手部动作和面部的识别，确定目标手部动作，并基于该目标手部动作确定用户的手部动作针对的检测目标，电子设备基于所述检测目标及检测目标的形态，从扩展内容库中确定与该检测目标及检测目标的形态关联的扩展内容，并输出所述扩展内容。根据本申请实施例的用于肌肤检测的电子设备的交互方法及电子设备，能够通过用户在护肤或化妆过程中的实时图像，准确识别出用户的手势以及该手势表明的意图，给出该手势对应的皮肤状态信息及皮肤护理或化妆的处理建议。使得交互过程更加自然流畅，提升用户的体验。

【技术实现步骤摘要】
用于肌肤检测的电子设备的交互方法及电子设备
本申请涉及软件应用
，尤其涉及用于肌肤检测的电子设备的交互方法及电子设备。
技术介绍
目前，市场上已存在部分基于图像技术进行皮肤检测的产品，这些产品通过对用户的图像检测分析用户的皮肤状态，可以为客户提供较好的体验，但现有的肌肤检测产品需要对获取的图像的整体的皮肤进行全面检测，在得到检测结果后，用户需要进入指定的功能页面去观看分析结果，如，用户想要观看肤色，则点击肤色的功能选项，进入肤色分析页，以观看肤色结果。这种产品需要客户多次单机操作，操作麻烦，部分现有产品还需要额外的硬件配件，例如美容检测仪，操作硬件配件时有可能接触皮肤问题区域，造成细菌传播，交叉感染，现有产品的另一种应用中，需要用户手动去选择护肤化妆产品或化妆手法，化妆过程中，用户双手并不方便触摸屏幕进行选择操作。
技术实现思路
有鉴于此，本申请提供一种用于肌肤检测的电子设备的交互方法及电子设备，能够通过用户在护肤或化妆过程中的实时图像，准确识别出用户的手势以及该手势表明的意图，给出该手势对应的皮肤状态信息及皮肤护理或化妆的处理建议。使得交互过程更加自然流畅，提升用户的体验。本申请的一些实施方式提供了一种用于肌肤检测的电子设备的交互方法。以下从多个方面介绍本申请，以下多个方面的实施方式和有益效果可互相参考。第一方面，本申请提供一种用于肌肤检测的电子设备的交互方法，应用于电子设备，该方法包括：获取同时包括用户的面部和手部的多个视频帧，如，用户的实时图像；识别多个视频帧中的用户的手部相对于面部的动作，并确定目标手部动作；响应于目标手部动作，确定视频帧中的用户的面部上至少部分区域中的检测目标，其中检测目标可以包括痘痘、细纹、毛孔、黑头、痤疮、斑块、红血丝、鼻子、嘴巴、眼睛、眉毛、脸部轮廓和皮肤颜色等中的一种或多种。基于检测目标及检测目标的形态，如，眉毛的形态为弯月形、八字形等，从扩展内容库中确定与该检测目标及检测目标的形态关联的扩展内容，并输出扩展内容，扩展内容可以包括：基于护肤状态时的检测目标的问题分析和护理建议中的一种或多种，或者，基于化妆状态时的检测目标的化妆状态分析和化妆建议中的一种或多种。本申请实施例，能够通过用户在护肤或化妆过程中的实时图像，准确识别出用户的手势以及该手势表明的意图，给出该手势对应的皮肤状态信息及皮肤护理或化妆的处理建议。使得用户与设备的交互过程更加自然流畅，提升用户的体验。在上述第一方面的一种可能的实现中，确定目标手部动作，包括：电子设备确定视频帧中的手指的指尖所在位置距离面部所在位置小于预设距离，则确定手部动作为目标手部动作。通过确定手指与面部的距离的设定作为目标动作，可以避免一些不必要的手势的错误的识别，而将误判用户的意图。在上述第一方面的一种可能的实现中，确定目标手部动作，包括：确定视频帧中的手指的指尖所在位置距离面部所在位置小于预设距离，并且确定视频帧中手指相对于面部相对静止持续的时间大于预设时间，则确定手部动作为目标手部动作。进一步提高基于手势判断用户意图的准确性。在上述第一方面的一种可能的实现中，确定目标手部动作，包括：确定视频中包括两只手；并且确定视频帧中的两只手的手指的指尖所在位置距离面部所在位置小于预设距离，并且确定视频帧中两只手的手指相对于面部相对静止持续的时间大于预设时间，则确定手部动作为目标手部动作。在上述第一方面的一种可能的实现中，当手指相对于面部的相对运动的幅度小于预设值时，确定视频帧中两只手的手指相对于面部相对静止。可以提高手势判断的准确性。在上述第一方面的一种可能的实现中，电子设备确定视频帧中的手指所在位置距离面部所在位置小于预设距离，包括：视频帧中的用户的手指所在位置区域面部所在位置区域重叠，或者，视频帧中的手指与面部不重叠，但所属手指的指尖与面部距离手指指尖最近的边沿点之间的距离小于预设距离。在上述第一方面的一种可能的实现中，电子设备响应于目标手部动作，确定视频帧中的用户的面部上至少部分区域中的检测目标，包括：从多个视频帧中的至少一个视频帧中，确定目标手部动作中的手指指向区域与面部所在区域的交集区域，并确定交集区域内的检测目标。通过确定交集区域的检查目标，用户可以直接通过手指的指向找到检测目标，便于用户直观的自然的感受，提升用户的交互体验。在上述第一方面的一种可能的实现中，手指的指向区域为以手指的指尖为基准点，手指的指向为基准方向确定的几何图形，并且几何图形具有用户预先设定的大小和轮廓。在上述第一方面的一种可能的实现中，当确定视频中包括两只手；手指的指向区域为以手指的指尖为基准点，手指的指向为基准方向确定的几何图形，其中几何图形是用户预先设定的几何图形。两只手的手指的指向区域的交集或并集作为手指的指向区域。在上述第一方面的一种可能的实现中，几何图形包括梯形、扇形、三角形、圆形、方形中的任一种。在上述第一方面的一种可能的实现中，面部包括至少一个预设的ROI区域；电子设备响应于目标手部动作，确定视频帧中的用户的面部上至少部分区域中的检测目标，进一步包括：从多个视频帧中的至少一个视频帧中，确定目标手部动作中的手指指向区域与面部中包括的ROI区域的交集区域，并确定交集区域内的检测目标。其中，ROI区域可分为额头、鼻梁、人中、下巴、双颊、眼下、苹果肌等。通过在手指指向与用户脸部的ROI区域的交集区域确定检测目标，以便于在结合脸部的ROI区域，对用户的指定的区域进行分析，提高电子设备对检测目标分析的准确，以及提高交互的趣味性。在上述第一方面的一种可能的实现中，当确定交集区域内覆盖两个以上ROI区域时，从交集区域内的面积最大的ROI区域内确定检测目标。在上述第一方面的一种可能的实现中，当确定交集区域内覆盖两个以上ROI区域时，基于ROI区域的预设优先级和/或ROI区域的检测目标与检测目标对应的特征标准模型的匹配度，选择其中一个ROI区域，并从选择的ROI区域内确定检测目标。在上述第一方面的一种可能的实现中，当确定交集区域内覆盖两个以上ROI区域时，进一步包括：电子设备基于用户对ROI区域内的检测目标的第一操作，确定检测目标。用户可以根据自己观察的结果直接通过点击等方式确认检测目标，便于用户根据自己的主观意见选择，提高用户的交互体验。在上述第一方面的一种可能的实现中，检测目标包括痘痘、细纹、毛孔、黑头、痤疮、斑块和红血丝中的一种或多种皮肤状态，或者，检测目标包括鼻子、嘴巴、眼睛、眉毛、脸部轮廓、皮肤颜色中的一种或多种。在上述第一方面的一种可能的实现中，多个视频帧是预设时长内连续的多个视频帧。在上述第一方面的一种可能的实现中，该方法还包括：电子设备通过电子设备的摄像头获取用户的实时影像，并在第一界面显示用户的实时影像，以及从实时影像中获取同时具有用户的面部和手部的设定时长内的视频帧。用户可以一边观看自己的面部情况，一边作出手部动作，操作更加直观、便于操作。在上述第一方面的一种可能的实现中，获取同时包括用户的面部和手部的多个视频帧之前本文档来自技高网...

【技术保护点】
1.一种用于肌肤检测的电子设备的交互方法，其特征在于，包括：/n所述电子设备获取同时包括用户的面部和手部的多个视频帧；/n所述电子设备识别所述多个视频帧中的用户的手部相对于所述面部的动作，并确定目标手部动作；/n所述电子设备响应于所述目标手部动作，确定所述视频帧中的用户的面部上至少部分区域中的检测目标；/n所述电子设备基于所述检测目标及检测目标的形态，从扩展内容库中确定与该检测目标及检测目标的形态关联的扩展内容，并输出所述扩展内容。/n

【技术特征摘要】
1.一种用于肌肤检测的电子设备的交互方法，其特征在于，包括：
所述电子设备获取同时包括用户的面部和手部的多个视频帧；
所述电子设备识别所述多个视频帧中的用户的手部相对于所述面部的动作，并确定目标手部动作；
所述电子设备响应于所述目标手部动作，确定所述视频帧中的用户的面部上至少部分区域中的检测目标；
所述电子设备基于所述检测目标及检测目标的形态，从扩展内容库中确定与该检测目标及检测目标的形态关联的扩展内容，并输出所述扩展内容。


2.根据权利要求1所述的方法，其特征在于，所述确定目标手部动作，包括：
所述电子设备确定所述视频帧中的手指的指尖所在位置距离所述面部所在位置小于预设距离，则确定所述手部动作为目标手部动作。


3.根据权利要求1所述的方法，其特征在于，所述确定目标手部动作，包括：
确定所述视频帧中的手指的指尖所在位置距离所述面部所在位置小于预设距离，并且
确定所述视频帧中所述手指相对于所述面部相对静止持续的时间大于预设时间，则确定所述手部动作为目标手部动作。


4.根据权利要求1所述的方法，其特征在于，所述确定目标手部动作，包括：确定所述视频中包括两只手；并且
确定所述视频帧中的两只手的手指的指尖所在位置距离所述面部所在位置小于预设距离，并且
确定所述视频帧中所述两只手的手指相对于所述面部相对静止持续的时间大于预设时间，则确定所述手部动作为目标手部动作。


5.根据权利要求3或4所述的方法，其特征在于，当所述手指相对于所述面部的相对运动的幅度小于预设值时，确定所述视频帧中手指相对于所述面部相对静止。


6.根据权利要求3或4所述的方法，其特征在于，所述电子设备确定所述视频帧中的所述手指所在位置距离所述面部所在位置小于预设距离，包括：
所述视频帧中的用户的手指所在位置区域所述面部所在位置区域重叠，或者，
所述视频帧中的所述手指与所述面部不重叠，但所属手指的指尖与所述面部距离手指指尖最近的边沿点之间的距离小于预设距离。


7.根据权利要求1-6任一项所述的方法，其特征在于，所述电子设备响应于所述目标手部动作，确定所述视频帧中的用户的面部上至少部分区域中的检测目标，包括：
从所述多个视频帧中的至少一个视频帧中，确定所述目标手部动作中的手指的指向区域与所述面部所在区域的交集区域，并确定所述交集区域内的所述检测目标。


8.根据权利要求7所述的方法，其特征在于，所述手指的指向区域为以手指的指尖为基准点，手指的指向为基准方向确定的几何图形，并且所述几何图形具有用户预先设定的大小和轮廓。


9.根据权利要求7所述的方法，其特征在于，包括：确定所述视频中包括两只手；所述手指的指向区域为以手指的指尖为基准点，手指的指向为基准方向确定的几何图形，其中所述几何图形是用户预先设定的几何图形；
所述两只手的手指的指向区域的交集或并集作为所述手指的指向区域。


10.根据权利要求8或9所述的方法，其特征在于，所述几何图形包括梯形、扇形、三角形、圆形、方形中的任一种。


11.根据权利要求7所述的方法，其特征在于，所述面部包括至少一个预设的ROI...

【专利技术属性】
技术研发人员：徐涵，赵学知，丁弦，郜文美，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44