【技术实现步骤摘要】
本专利技术涉及控制技术，尤其涉及智慧化实验室人机交互控制方法及系统。
技术介绍
1、实验室自动化和智能化是现代科学研究的重要发展方向。传统的实验室设备控制通常依赖于手动操作或简单的自动化程序，需要研究人员进行大量的现场操作和监控。随着实验复杂性的提高和对实验效率的要求日益增长，传统的控制方式难以满足现代实验室的需求。
2、现有的实验室设备控制技术主要存在以下缺陷和不足：
3、缺乏智能化控制：现有的控制系统大多基于预先设定的程序进行控制，缺乏对实验环境和设备状态的感知和自适应调整能力，难以应对复杂的实验场景和突发情况。
4、难以实现多设备协同控制：现代实验往往需要多个设备协同工作，而现有的控制系统难以实现对多个设备的协调控制，导致实验效率低下，甚至出现实验误差。
5、人机交互方式不够友好：现有的控制系统通常采用复杂的图形界面或命令行操作，对用户的专业技能要求较高，使用不便，难以实现高效的人机交互。
技术实现思路
1、本专利技术实施例提供智慧化实验室人机交互控制方法及系统，能够解决现有技术中的问题。
2、本专利技术实施例的第一方面，
3、通过设置于实验室内的多个视觉采集装置采集实验室内多个实验设备的图像信息，并将所述图像信息传输至处理服务器；所述处理服务器基于预设的设备状态深度学习模型对所述图像信息进行分析处理，识别所述多个实验设备的运行状态参数，所述运行状态参数包括设备开关状态、设备运行指示灯状态、设备显示屏状态
4、通过设置于实验室内的语音采集装置采集用户的语音指令信息，并将所述语音指令信息传输至所述处理服务器；所述处理服务器对所述语音指令信息进行语义解析，提取控制指令内容，根据所述控制指令内容确定待控制的目标实验设备以及对应的控制动作，其中所述控制动作包括设备开关机、设备参数调节、设备数据采集；所述处理服务器在确定所述控制指令内容的合法性后，结合设备状态评估结果，判断所述目标实验设备是否满足执行所述控制动作的条件；
5、所述处理服务器根据所述控制指令内容以及设备状态评估结果，生成实验设备的协同控制策略，所述协同控制策略包括多个实验设备的控制时序、控制参数、数据交互方式；所述处理服务器通过实验室现场总线网络向所述多个实验设备发送控制指令，实现对所述多个实验设备的协同控制。
6、所述处理服务器基于预设的设备状态深度学习模型对所述图像信息进行分析处理，识别所述多个实验设备的运行状态参数包括：
7、将所述图像信息输入至设备状态深度学习模型的yolov5目标检测网络，所述yolov5目标检测网络中设置有空间注意力机制模块，通过所述空间注意力机制模块对所述图像信息中的设备区域进行特征增强，其中所述空间注意力机制模块对输入的图像信息进行平均池化处理与最大池化处理得到池化特征，将所述池化特征输入至七乘七卷积层进行卷积运算，并通过sigmoid激活函数生成空间注意力权重矩阵；
8、将所述空间注意力权重矩阵与所述图像信息对应的特征图进行融合处理，得到融合特征，将所述融合特征输入至设置有特征金字塔网络的resnet骨干网络，通过所述特征金字塔网络对所述融合特征进行多尺度特征提取，其中所述特征金字塔网络对所述融合特征进行上采样处理，并与同层的侧向连接特征进行特征拼接，通过卷积层输出多尺度特征图；
9、将所述多尺度特征图输入至多任务学习框架，所述多任务学习框架包括设备开关状态识别分支、运行指示灯状态识别分支、显示屏状态识别分支，通过加权损失函数对三个识别分支的损失进行联合优化；将优化后的状态识别结果输入至双向长短期记忆网络，建立时序状态模型，所述双向长短期记忆网络基于历史状态序列特征预测当前时刻的设备状态；
10、将所述双向长短期记忆网络输出的状态特征向量输入至高斯混合模型，所述高斯混合模型包括多个高斯分量，每个高斯分量具有对应的混合系数、均值向量和协方差矩阵，通过计算所述状态特征向量的概率密度分布，判断设备是否处于异常状态，识别所述多个实验设备的运行状态参数。
11、所述方法还包括对所述高斯混合模型进行训练：
12、采用k-means聚类算法对预先获取的实验设备状态训练数据进行预分群，根据预分群结果计算每个高斯分量的初始均值向量，所述初始均值向量通过计算每个分群中所有样本的均值获得；计算每个高斯分量的初始协方差矩阵，所述初始协方差矩阵通过计算每个分群中样本与对应初始均值向量的差值乘积获得；计算每个高斯分量的初始混合系数，所述初始混合系数通过计算每个分群的样本数量与总样本数量的比值获得；
13、将所述初始均值向量、所述初始协方差矩阵、所述初始混合系数输入至期望最大化算法，在期望步骤中计算每个样本属于各个高斯分量的后验概率，所述后验概率通过计算各个高斯分量的混合系数与概率密度的乘积并进行归一化获得；在最大化步骤中基于所述后验概率更新高斯分量的均值向量、协方差矩阵、混合系数，所述更新过程迭代执行直至模型参数收敛；
14、将收敛后的高斯混合模型应用于异常状态检测，通过计算待检测样本的对数似然度以及马氏距离，其中所述对数似然度通过计算样本在所有高斯分量上的加权概率密度的对数值获得，所述马氏距离通过计算样本到各个高斯分量中心的标准化距离的最小值获得；将所述对数似然度与所述马氏距离通过权重系数进行加权组合得到异常检测分数；
15、基于滑动时间窗口计算动态阈值，所述动态阈值通过计算历史检测分数的均值与标准差的加权和获得；将时序特征异常检测分数与空间特征异常检测分数进行多模态融合，所述多模态融合通过对时序异常检测分数与空间异常检测分数分别赋予融合权重并求和实现，当所述多模态融合后的异常检测分数超过所述动态阈值时判定为异常状态。
16、所述处理服务器对所述语音指令信息进行语义解析，提取控制指令内容，根据所述控制指令内容确定待控制的目标实验设备以及对应的控制动作包括：
17、对输入的语音指令信息进行梅尔频率倒谱系数特征提取，得到梅尔频率倒谱系数特征；将所述梅尔频率倒谱系数特征输入至transformer编码器-解码器网络，所述transformer编码器-解码器网络通过计算查询矩阵、键值矩阵、数值矩阵之间的注意力权重实现特征编码，得到编码特征；
18、将所述编码特征输入至双向意图-槽位联合学习模型，所述双向意图-槽位联合学习模型基于所述编码特征计算意图识别概率，将所述意图识别概率与所述编码特征共同输入至槽位识别模块得到槽位序列概率，将所述意图识别概率与所述槽位序列概率相乘得到语义理解概率分布；
19、构建语义依存分析图，将所述语义理解概率分布映射至所述语义依存分析图的节点特征，基于图神经网络对所述节点特征进行迭代更新，每次迭代通过汇聚相邻节点的加权特征并经过非线性变换得到更新后的节点特征，本文档来自技高网...
【技术保护点】
1.智慧化实验室人机交互控制方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述处理服务器基于预设的设备状态深度学习模型对所述图像信息进行分析处理，识别所述多个实验设备的运行状态参数包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括对所述高斯混合模型进行训练：
4.根据权利要求1所述的方法，其特征在于，所述处理服务器对所述语音指令信息进行语义解析，提取控制指令内容，根据所述控制指令内容确定待控制的目标实验设备以及对应的控制动作包括：
5.根据权利要求4所述的方法，其特征在于，所述双向意图-槽位联合学习模型基于所述编码特征计算意图识别概率，将所述意图识别概率与所述编码特征共同输入至槽位识别模块得到槽位序列概率，将所述意图识别概率与所述槽位序列概率相乘得到语义理解概率分布包括：
6.根据权利要求1所述的方法，其特征在于，所述处理服务器根据所述控制指令内容以及设备状态评估结果，生成实验设备的协同控制策略，所述协同控制策略包括多个实验设备的控制时序、控制参数、数据交互方式包括：
7.
8.一种电子设备，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
...【技术特征摘要】
1.智慧化实验室人机交互控制方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述处理服务器基于预设的设备状态深度学习模型对所述图像信息进行分析处理，识别所述多个实验设备的运行状态参数包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括对所述高斯混合模型进行训练：
4.根据权利要求1所述的方法，其特征在于，所述处理服务器对所述语音指令信息进行语义解析，提取控制指令内容，根据所述控制指令内容确定待控制的目标实验设备以及对应的控制动作包括：
5.根据权利要求4所述的方法，其特征在于，所述双向意图-槽位联合学习模型基于所述编码特征计算意图识别概率，将所述意图识别概率...
【专利技术属性】
技术研发人员：邱智豪，邱耀彰，
申请(专利权)人：浙江优纳特科学仪器有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。