【技术实现步骤摘要】
本申请涉及图像处理，特别是涉及一种养老院用智能交互方法以及养老院用智能交互装置。
技术介绍
1、现有养老院的老人通常会有各种各样的基础疾病，例如，有些老人有老花眼或者白内障，导致视力较低。又例如，有些老人听力退化，导致听力较低。并且有些老人由于岁数较大，可能接受文化程度较低，无法正常阅读。
2、而现在智能交互设备成为后期养老院服务的主要设备，但是，大多数有特殊情况的老人（例如视力较低、听力较低或者文化程度较低）无法正常使用智能交互设备，从而使得智能交互设备无法为老人服务。
3、另外，在通过交互设备对老人进行人脸识别时，由于老人大多数持久能力较低，因此在拍摄图像是可能会出现老人抖动或者移动导致的画面模糊问题出现。
4、因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。
技术实现思路
1、本申请的目的在于提供一种养老院用智能交互方法来克服或至少减轻现有技术的至少一个上述缺陷。
2、为实现上述目的，本申请提供了一种养老院用智能交互方法，所述所述养老院用智能交互方法包括：
3、获取感知设备传递的感应信息；
4、根据感应信息生成拍摄信息并传递给摄像装置；
5、获取摄像装置根据所述拍摄信息所传递的初始拍摄图像；
6、从所述初始拍摄图像中获取初始人脸图像；
7、获取经过训练的修复神经网络，所述修复神经网络包括编码器以及解码器，所述解码器包括多级式融合模块；
8
9、将所述人脸图像特征输入至所述解码器，从而获取修复人脸图像；
10、获取预设人脸数据库，所述预设人脸数据库包括至少一个预设人脸图像；
11、将所述修复人脸图像与各个所述预设人脸图像进行相似度计算，从而判断是否有一个相似度的相似度值超过预设阈值，若是，则
12、获取交互策略库，所述交互策略库包括至少一个预设人脸图像以及交互策略组，一个预设人脸图像与一个交互策略组相关联；
13、获取相似度值超过预设阈值的预设人脸图像所对应的交互策略组。
14、可选地，所述多级式融合模块包括：
15、池化拼接模块，所述池化拼接模块用于将编码器提供的人脸图像特征进行池化拼接，从而形成第一特征；
16、第一处理模块，所述第一处理模块用于将所述第一特征进行第一处理，从而获取第二特征；
17、第二处理模块，所述第二处理模块用于将所述第一特征进行第二处理，从而形成第三特征；
18、第三处理模块，所述第三处理模块用于将所述第二特征与所述第三特征进行相加并进行卷积操作，从而获取第四特征；
19、线性变换模块，所述线性变换模块用于将所述第四特征进行线性变换，从而获取线性变换特征；
20、激活特征模块，所述激活特征模块用于将所述第四特征进行sigmoid激活，从而获取激活特征；
21、相乘模块，所述相乘模块用于将所述线性变换特征与所述激活特征进行相乘，从而获取第五特征；
22、相加模块，所述相加模块用于将所述第五特征与所述第四特征进行相加，从而获取最终融合特征。
23、可选地，所述第一处理模块包括：
24、平均池化模块，所述平均池化模块用于对第一特征进行平均池化，从而获取平均池化特征；
25、最大池化模块，所述最大池化模块用于对第一特征进行最大池化，从而获取最大池化特征；
26、第一拼接模块，所述第一拼接模块用于将所述平均池化特征以及最大池化特征进行拼接，从而获取第一拼接特征；
27、位置注意力机制模块，所述位置注意力机制模块用于对所属第一拼接特征进行位置自注意力操作；
28、上采样模块，所述上采样模块用于对所述进行位置自注意力操作的第一拼接特征进行上采样，从而获取第二特征。
29、可选地，所述第二处理模块包括：
30、防溢出模块，所述防溢出模块用于对所述第一特征进行防溢出处理；
31、通道注意力机制模块，所述通道注意力机制模块用于对经过防溢出处理的第一特征进行通道自注意力操作，从而获取第三特征。
32、可选地，每个所述交互策略组包括昏暗环境交互策略以及清晰环境交互策略，所述养老院用智能交互方法进一步包括：
33、获取房间内环境亮度信息；
34、判断所述房间内环境亮度信息是否超过预设亮度阈值，若否，则
35、选择所述昏暗环境交互策略；
36、判断所述房间内环境亮度信息是否超过预设亮度阈值，若是，则
37、选择所述清晰环境交互策略。
38、可选地，当所述交互策略组为昏暗环境交互策略时，所述养老院用智能交互方法进一步包括：
39、获取昏暗环境交互策略中预存的使用者基本信息；
40、根据使用者基本信息判断该使用者是否能够进行昏暗环境下交流，若否，则
41、生成辅助灯光信息并发送给辅助灯光设备。
42、可选地，所述养老院用智能交互方法进一步包括：
43、根据获取的初始拍摄图像提取图像中的人形部分的图像；
44、获取经过训练的行为分类器；
45、提取人形部分的图像的姿态信息的姿态特征；
46、将所述姿态特征输入至所述行为分类器，从而获取行为分类标签，所述行为分类标签包括摔倒标签，当所述分类标签为摔倒标签时，判断所述图像中的人形处于摔倒状态。
47、可选地，当所述图像中的人形处于摔倒状态且所述将所述修复人脸图像与各个所述预设人脸图像进行相似度计算，判断有一个相似度的相似度值超过预设阈值时，所述养老院用智能交互方法进一步包括：
48、获取应急响应策略库，所述应急响应策略库包括至少一个预设人脸图像以及每个人脸图像对应的使用者基本信息；
49、根据使用者基本信息获取交互方式；
50、以获取的交互方式生成交互动作；
51、在预设时间后判断是否有人根据所述交互动作反馈交互信息，若是，则
52、解析所述交互信息，判断是否需要他人帮助，若是，则
53、判断是否能够根据所述交互信息获取帮助信息，若是，则
54、生成报警信息并将所述报警信息以及帮助信息发送给总控制台。
55、可选地，所述养老院用智能交互方法进一步包括：
56、在预设时间后判断是否有人根据所述交互动作反馈交互信息，若否，则
57、生成报警信息并将报警信息以及使用者基本信息发送给总控制台。
58、本申请还提供了一种养老院用智能交互装置，所述养老院用智能交互方法进一步包括：
59、感应信息获取模块，所述感应信息获取模块用于获取感知设备传递的感应信息；
60、拍摄信息本文档来自技高网...
【技术保护点】
1.一种养老院用智能交互方法，其特征在于，所述养老院用智能交互方法包括：
2.如权利要求1所述的养老院用智能交互方法，其特征在于，所述多级式融合模块包括：
3.如权利要求2所述的养老院用智能交互方法，其特征在于，所述第一处理模块包括：
4.如权利要求3所述的养老院用智能交互方法，其特征在于，所述第二处理模块包括：
5.如权利要求1所述的养老院用智能交互方法，其特征在于，每个所述交互策略组包括昏暗环境交互策略以及清晰环境交互策略，所述养老院用智能交互方法进一步包括：
6.如权利要求5所述的养老院用智能交互方法，其特征在于，当所述交互策略组为昏暗环境交互策略时，所述养老院用智能交互方法进一步包括：
7.如权利要求5所述的养老院用智能交互方法，其特征在于，所述养老院用智能交互方法进一步包括：
8.如权利要求7所述的养老院用智能交互方法，其特征在于，当所述图像中的人形处于摔倒状态且所述将所述修复人脸图像与各个所述预设人脸图像进行相似度计算，判断有一个相似度的相似度值超过预设阈值时，所述养老院用智能交互方法
9.如权利要求8所述的养老院用智能交互方法，其特征在于，所述养老院用智能交互方法进一步包括：
10.一种养老院用智能交互装置，其特征在于，所述养老院用智能交互方法进一步包括：
...【技术特征摘要】
1.一种养老院用智能交互方法，其特征在于，所述养老院用智能交互方法包括：
2.如权利要求1所述的养老院用智能交互方法，其特征在于，所述多级式融合模块包括：
3.如权利要求2所述的养老院用智能交互方法，其特征在于，所述第一处理模块包括：
4.如权利要求3所述的养老院用智能交互方法，其特征在于，所述第二处理模块包括：
5.如权利要求1所述的养老院用智能交互方法，其特征在于，每个所述交互策略组包括昏暗环境交互策略以及清晰环境交互策略，所述养老院用智能交互方法进一步包括：
6.如权利要求5所述的养老院用智能交互方法，其特征在于，当所述交互策略组为...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。