一种混合场景条件下的智能电梯控制方法技术

本发明专利技术涉及电梯智能控制的技术领域，公开了一种混合场景条件下的智能电梯控制方法，包括：获取电梯内部乘客图像，采用基于感受野的目标检测算法从图像中提取特征，并对特征信息进行优化，从而检测图像中的人物目标；对检测到的人物目标进行精准人脸识别；获取电梯用户的语音指令，利用改进的盲源分离算法将用户的语音指令进行信号分离；对分离后的电梯用户语音指令进行声纹提取判断是否为合法用户，提取合法用户想要达到的楼层信息；将提取到的楼层信息添加到电梯调度控制中进行协同处理。本发明专利技术所述方法实现电梯内乘客是否合法用户的判断，并实现对电梯内混合场景下混合语音指令信号进行分离处理，得到电梯内不同用户的语音指令。令。令。

【技术实现步骤摘要】
一种混合场景条件下的智能电梯控制方法


[0001]本专利技术涉及电梯智能控制的
，尤其涉及一种混合场景条件下的智能电梯控制方法。

技术介绍

[0002]近年来随着疫情的不断发展，减少电梯接触成为减少传染性疾病传播的重要途径，通常条件下的电梯内部混杂，通过语音和图像等方法精准识别用户并提取用户命令控制成为智能电梯控制所必须解决的重要问题。

技术实现思路

[0003]本专利技术提供一种混合场景条件下的智能电梯控制方法，目的在于(1)实现电梯内乘客是否合法用户的判断；(2)对电梯内混合场景下混合语音指令信号进行分离处理，得到电梯内不同用户的语音指令，从而依据不同用户的语音指令进行指令识别，根据指令识别结果控制电梯运行。
[0004]实现上述目的，本专利技术提供的一种混合场景条件下的智能电梯控制方法，包括以下步骤：
[0005]S1：利用电梯内的摄像头获取电梯内部乘客图像，由于人脸在监控图像中占比过小，容易被检测器忽视，采用基于感受野的目标检测算法从电梯内部乘客图像中提取特征，并对提取的特征信息进行参数优化，检测图像中的所有人物目标；
[0006]S2：对检测到的人物目标进行精准人脸识别，判断是否均为合法用户，若存在不合法用户则进行发出警报提醒物业，否则进入后续步骤；
[0007]S3：利用声音探测设备获取电梯用户的语音指令，并利用改进的盲源分离算法将用户的语音指令进行信号分离，获取电梯内不同用户的语音指令；
[0008]S4：对分离后的电梯用户语音指令进行声纹提取判断是否为合法用户，如果是则进行语音指令中的指令识别，提取合法用户想要达到的楼层信息，否则发出警报提醒物业；
[0009]S5：将提取到的楼层信息添加到电梯调度控制中进行协同处理，控制电梯运行。
[0010]作为本专利技术的进一步改进方法：
[0011]所述S1步骤中利用电梯内的摄像头获取电梯内部乘客图像，包括：
[0012]在电梯内部安装摄像头，当电梯关闭时，电梯内的摄像头拍摄得到电梯内部乘客图像，摄像头内部处理器对电梯内部乘客图像进行预处理，所述图像预处理流程为：
[0013]将电梯内部乘客图像像素值转换为灰度值，所述灰度值的转换公式为：
[0014][0015]其中：
[0016]R(i,j),B(i,j),G(i,j)表示像素(i,j)在RBG颜色通道的值；
[0017]gray(i,j)表示像素(i,j)的灰度值；
[0018]对电梯内部乘客图像中的所有像素进行灰度值转换，得到电梯内部乘客图像的灰度图，将灰度图作为电梯内部乘客图像的预处理结果，并将电梯内部乘客图像的灰度图发送到电梯控制中心。
[0019]所述S1步骤中采用基于感受野的目标检测算法从电梯内部乘客图像中提取特征信息，包括：
[0020]电梯控制中心对电梯内部乘客图像的灰度图进行提取图像特征信息，所述图像特征的提取方法为基于感受野的目标检测算法，所述目标检测算法包括感受野模块以及特征提取模块；
[0021]所述基于感受野的目标检测算法流程为：
[0022]将电梯内部乘客图像的灰度图输入到目标检测算法中，目标检测算法中的感受野模块对灰度图进行多层卷积，所述感受野模块存在两个分支独立进行卷积，所述分支为f1和f2，分支f1的结构包括一个1*1卷积核大小的卷积层、一个3*1卷积核大小的卷积层以及一个3*3卷积核大小的卷积层，分支f2的结构包括一个1*1卷积核大小的卷积层、一个1*3卷积核大小的卷积层以及一个3*3卷积核大小的卷积层，两个分支分别接收灰度图，并分别对灰度图进行多层卷积处理，得到不同大小的感受野，所述感受野大小的计算公式为：
[0023][0024]其中：
[0025]r
i
表示第i层卷积层的感受野大小，r0＝1；
[0026]stride
i
表示第i层卷积层的卷积步长大小，stride0＝1；
[0027]s
i
表示第i层卷积层的卷积核大小，
[0028]将分支的卷积结果进行拼接处理，并利用1*1卷积核大小的卷积层对拼接结果进行卷积，得到电梯内部乘客图像的特征图；
[0029]利用特征提取模块对特征图进行特征提取，所述特征提取模块的结构包括可扩张的卷积层，池化层，归一化层，并在归一化层输出目标检测的图像特征，所述图像特征信息为电梯内部乘客图像中的人脸图像特征信息，所述可扩张的卷积层结构为：
[0030][0031]其中：
[0032]表示混合扩张系数，通过利用一个系数的变化去造成卷积层深度、宽度的扩张缩放，从而减少整个扩张缩放搜索空间的大小；
[0033]Dep表示卷积层的深度，d表示卷积层的初始深度；
[0034]Wid表示卷积层的宽度，w表示卷积层的初始宽度。
[0035]所述S1步骤中对提取的特征信息进行参数优化，检测图像中的所有人物目标，包括：
[0036]电梯控制中心在电梯内部图像中利用目标框对检测到的人脸图像特征信息进行标定；对于电梯内部乘客图像中所标定的若干目标框区域，利用参数优化模型对人脸图像特征信息进行优化，检测得到人脸图像特征信息中的五官特征信息，并在目标框区域内对检测到的五官特征信息进行标定，检测得到人脸图像目标，所述参数优化模型的训练流程
为：
[0037]所述参数优化模型为卷积神经网络模型，获取大量清晰的人脸五官图像用于参数优化模型的训练，直到模型的损失函数达到最小，此时的参数优化模型为最优的模型，利用该模型对提取的特征信息进行参数优化，所述参数优化模型训练的损失函数为：
[0038][0039]其中：
[0040]ω
ie
表示第i个样本中五官e的位置，pos表示五官集合；
[0041]表示参数优化模型对第i个样本中五官e位置的预测。
[0042]所述S2步骤中对检测到的人物目标进行精准人脸识别，判断是否均为合法用户，包括：
[0043]预先采集合法用户的人脸图像，电梯控制中心将电梯内部检测到的人脸图像目标与合法用户人脸图像的五官位置进行匹配，若均成功匹配，则说明电梯内的乘客均为合法用户，并进入后续步骤，若存在不匹配的乘客，则发出警报提醒物业。
[0044]所述S3步骤中利用声音探测设备获取电梯用户的语音指令，并利用改进的盲源分离算法将用户的语音指令进行信号分离，包括：
[0045]在电梯内部设置声音探测设备，当电梯门关闭时，声音探测设备采集获取电梯内用户的语音指令，则所采集到的语音指令信号为x(t)＝F{[x1(t),x2(t),
…
,x
N
(t)]T
}，其中t表示时域信息，N表示电梯内用户的数目，x
N
(t)表示第N名用户的语音指令信号，F{
·
}表示信号混合函数，表示将电梯内所有用户的语音指令信号进行混合，声音探测设备所接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种混合场景条件下的智能电梯控制方法，其特征在于，所述方法包括：S1：利用电梯内的摄像头获取电梯内部乘客图像，采用基于感受野的目标检测算法从电梯内部乘客图像中提取特征，并对提取的特征信息进行参数优化，检测图像中的所有人物目标；S2：对检测到的人物目标进行精准人脸识别，判断是否均为合法用户，若存在不合法用户则进行发出警报提醒物业，否则进入后续步骤；S3：利用声音探测设备获取电梯用户的语音指令，并利用改进的盲源分离算法将用户的语音指令进行信号分离，获取电梯内不同用户的语音指令，其中所述盲源分离算法流程为：建立盲源分离算法的目标函数：其中：U(
·
)表示任意非线性函数，E(
·
)表示期望计算函数；v表示一个具有零均值和单位方差的高斯向量；r(t)表示参考信号；所述目标函数的约束条件为：E{(Y(t)
‑
r(t))2}≤δE{[Y(t)2]}
‑
1＝0其中：δ表示阈值因子；通过引入松弛算子，将不等式约束条件E{(Y(t)
‑
r(t))2}≤δ转换为等式E{(Y(t)
‑
r(t))2
‑
δ+z2＝0；引入用于约束E(Y(t)
‑
r(t))2
‑
δ的拉格朗日乘子μ以及用于约束E{[Y(t)2]}
‑
1＝0的拉格朗日乘子λ，将目标函数优化求解问题转换为拉格朗日函数求解问题，则转换后的拉格朗日函数为：其中：ε表示惩罚因子；利用拟牛顿算法对拉格朗日函数进行迭代求解，迭代后稳定的信号分离矩阵即为求解结果，则信号分离矩阵的迭代更新公式为：其中：η为学习率，将其设置为0.1；Cov为混合信号x(t)的协方差矩阵；L
′
表示拉格朗日函数对W的一阶导数，L
″
表示拉格朗日函数对W的二阶倒数；利用迭代后的信号分析矩阵W对混合信号进行分离处理，得到分离后的语音指令信号矩阵；
S4：对分离后的电梯用户语音指令进行声纹提取判断是否为合法用户，如果是则进行语音指令中的指令识别，提取合法用户想要达到的楼层信息，否则发出警报提醒物业；S5：将提取到的楼层信息添加到电梯调度控制中进行协同处理，控制电梯运行。2.如权利要求1所述的一种混合场景条件下的智能电梯控制方法，其特征在于，所述S1步骤中利用电梯内的摄像头获取电梯内部乘客图像，包括：在电梯内部安装摄像头，当电梯关闭时，电梯内的摄像头拍摄得到电梯内部乘客图像，摄像头内部处理器对电梯内部乘客图像进行预处理，所述图像预处理流程为：将电梯内部乘客图像像素值转换为灰度值，所述灰度值的转换公式为：其中：R(i，j)，B(i，j)，G(i，j)表示像素(i，j)在RBG颜色通道的值；gray(i，j)表示像素(i，j)的灰度值；对电梯内部乘客图像中的所有像素进行灰度值转换，得到电梯内部乘客图像的灰度图，将灰度图作为电梯内部乘客图像的预处理结果，并将电梯内部乘客图像的灰度图发送到电梯控制中心。3.如权利要求1所述的一种混合场景条件下的智能电梯控制方法，其特征在于，所述S1步骤中采用基于感受野的目标检测算法从电梯内部乘客图像中提取特征信息，包括：电梯控制中心对电梯内部乘客图像的灰度图进行提取图像特征信息，所述图像特征的提取方法为基于感受野的目标检测算法，所述目标检测算法包括感受野模块以及特征提取模块；所述基于感受野的目标检测算法流程为：将电梯内部乘客图像的灰度图输入到目标检测算法中，目标检测算法中的感受野模块对灰度图进行多层卷积，所述感受野模块存在两个分支独立进行卷积，所述分支为f1和f2，分支f1的结构包括一个1*1卷积核大小的卷积层、一个3*1卷积核大小的卷积层以及一个3*3卷积核大小的卷积层，分支f2的结构包括一个1*1卷积核大小的卷积层、一个1*3卷积核大小的卷积层以及一个3*3卷积核大小的卷积层，两个分支分别接收灰度图，并分别对灰度图进行多层卷积处理，得到不同大小的感受野，所述感受野大小的计算公式为：其中：r
i
表示第i层卷积层的感受野大小，r0＝1；stride
i
表示第i层卷积层的卷积步长大小，stride0＝1；s
i
表示第i层卷积层的卷积核大小，将分支的卷积结果进行拼接处理，并利用1*1卷积核大小的卷积层对拼接结果进行卷积，...

【专利技术属性】
技术研发人员：华贡，邓康，李跃，
申请(专利权)人：伊萨电梯有限公司，
类型：发明
国别省市：