【技术实现步骤摘要】
本专利技术涉及人工智能，具体为一种基于视觉识别的换电站机器人异常检测系统及方法。
技术介绍
1、随着电动汽车的普及，换电站作为电动汽车快速补能的重要设施，越来越受到关注。在换电站中，机器人通常负责电池的更换操作，其效率和可靠性直接影响到换电过程的顺利进行。然而，换电过程中可能会出现各种异常情况，如机械故障、操作失误、电气异常等，给换电站的安全和效率带来挑战。因此，如何实现对换电站机器人操作过程的实时监控和异常检测，成为一个亟待解决的问题。
2、现有的异常检测方法多基于固定阈值或简单的规则判断，无法适应复杂多变的实际工况，容易产生误报或漏报。现有系统往往缺乏智能分析能力，无法充分利用大量的历史数据和实时数据进行深度分析和预测，导致异常检测的准确性和及时性不足。在检测到异常后，现有系统的响应速度较慢，往往需要人工干预，难以及时调整和纠正，影响换电效率。
技术实现思路
1、本专利技术的目的在于提供一种基于视觉识别的换电站机器人异常检测系统及方法，以解决上述
技术介绍
中提出的问题。
2、为了解决上述技术问题，本专利技术提供如下技术方案：
3、一种基于视觉识别的换电站机器人异常检测方法，所述方法包括：
4、s100、通过摄像头连续采集换电过程中的视频数据，进行预处理，将预处理后的视频数据传送至本地数据库和云端；
5、s200、使用yolo目标检测算法，识别出视频数据中的机器人及其组件，标注机器人的关键部位；采用openpose，确定机
6、s300、获取历史机器人正常操作的视频数据，结合对应换电站的充电桩参数，训练基于深度学习的行为模型lstm，学习正常操作的时间序列特征；构建一个基于autoencoder的异常检测模型，学习机器人正常操作的低维表示；在运行时，通过比较实际操作与正常操作的重构误差，检测异常；
7、s400、当检测到异常时，采用随机森林算法构建换电站的充电桩与机器人之间的关联模型，根据异常检测结果和关联模型调整换电站的充电桩参数和机器人的操作，直到排除换电过程中的异常情况。
8、根据步骤s100，摄像头在换电站工作期间持续采集视频数据，记录换电机器人的所有操作过程，采集到的视频数据实时传输至本地存储设备；
9、从连续视频流中提取每一帧图像，进行单帧图像处理；使用高斯滤波对图像进行去噪处理；采用直方图均衡化，提高图像的对比度；使用自适应直方图均衡化，防止图像过度增强导致的失真；对摄像头的畸变进行校正，进行色彩校正；
10、预处理后的图像数据存储在本地数据库中，对本地存储的数据进行定期备份；将预处理后的视频数据通过网络传输至云端存储平台，采用传输协议https确保数据传输的安全性。
11、根据步骤s200，使用yolo目标检测算法进行检测，选择yolo的v5模型版本，下载预训练的模型权重和配置文件；利用标注工具对训练数据进行标注，标注内容包括机器人的各个关键部位，所述关键部位包括机械臂、电池接口、机器人摄像头、传感器、显示屏和指示灯；在图像上标注机器人的关键部位，使用不同颜色的边框和标签进行区分；将标注后的图像存储在本地数据库并上传至云端。
12、yolov5是一个广泛使用的目标检测模型，yolov5的核心思想是在单个前向传递过程中预测多个边界框和类别概率，从而实现实时目标检测。
13、根据步骤s200，下载并安装openpose，加载预训练的openpose模型；将预处理后的图像输入openpose模型，openpose输出每一帧图像中机器人的关节位置；
14、openpose是一个用于姿态估计的开源库，能够从图像中提取人体或机器人的关节位置，生成骨架模型；
15、对于每一帧图像，openpose输出关节位置(xi,yi)，其中i表示不同的关节；姿态通过关节位置确定，机械臂有n个关节，关节位置表示为p＝
16、{(x1,y1),(x2,y2),...,(xn,yn)}；对每个关节i，在时间t时刻的位置为(xi(t),yi(t))，运动轨迹表示为关节位置随时间的变化轨迹；运动轨迹的数学表示为ti＝
17、{(xi(t0),yi(t0)),(xi(t1),yi(t1)),...,(xi(tm),yi(tm))}，其中，t0,t1,...,tm是不同时间点，m是时间点的总数；使用卡尔曼滤波器对关节运动轨迹进行平滑处理。
18、根据步骤s200，选择预训练的卷积神经网络模型vgg16提取图像特征；使用sift算法在图像中检测关键点，对于每个关键点ki，计算其位置(xi,yi)和尺度si；
19、对每个关键点，计算其特征描述符di，所述描述符包含了关键点周围区域的局部特征信息，构建所有关键点的描述符集合d：d＝{d1,d2,...,dn}，其中，di是关键点ki的特征描述符；
20、通过计算关键点描述符之间的欧氏距离distance(di,dj)，找到当前帧与上一帧之间的匹配关键点对：distance(di,dj)＝||di-dj||，其中，dj是关键点ki的上一帧的特征描述符；使用最近邻匹配算法，找到每个关键点的匹配点；
21、对于匹配到的关键点对，计算运动向量：
22、δxi＝x′i-xi，δyi＝y′i-yi；
23、其中，δxi和δyi分别是关键点在图像间的移动向量的横坐标和纵坐标，x′i和y′i分别是在上一帧中与关键点ki匹配的关键点的横坐标和纵坐标；更新关键点的位置和描述符，根据运动向量跟踪关键点，形成机器人的操作数据。
24、根据步骤s300，获取历史机器人正常操作的视频数据和充电桩的对应参数数据，对于视频数据逐帧提取，并对每帧图像进行时间戳标注，与充电桩参数数据对应；选择预训练的卷积神经网络模型vgg16提取图像特征，得到图像特征向量，对充电桩参数数据进行归一化处理，将归一化后的充电桩参数数据与对应时间戳的图像特征向量结合，形成时间序列特征；将连续时间戳的图像特征向量和充电桩参数数据组合，构建时间序列特征集，标注时间序列特征集为正常操作的样本；
25、将时间序列特征集划分为训练集和验证集，选择lstm模型作为时间序列特征的学习模型，构建lstm网络，输入为时间序列特征，输出为操作是否正常的预测值；使用训练集进行模型训练，优化lstm模型的参数；损失函数选择均方误差，优化算法选择adam；使用验证集评估模型性能，调整模型参数和超参数，确保模型能够识别机器人正常操作的时间序列特征；
26、lstm是一种特殊的递归神经网络，适用于处理和预测时间序列数据，lstm能够有效解决长序列中梯度消失和梯度爆炸的问题。
27、在换电过程中，实时提取图像特征向量和充电桩参数数据，形成当前时间的特本文档来自技高网...
【技术保护点】
1.一种基于视觉识别的换电站机器人异常检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于：根据步骤S100，摄像头在换电站工作期间持续采集视频数据，记录换电机器人的所有操作过程，采集到的视频数据实时传输至本地存储设备；
3.根据权利要求1所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于：根据步骤S200，使用YOLO目标检测算法进行检测，选择YOLO的v5模型版本，下载预训练的模型权重和配置文件；利用标注工具对训练数据进行标注，标注内容包括机器人的各个关键部位，所述关键部位包括机械臂、电池接口、机器人摄像头、传感器、显示屏和指示灯；在图像上标注机器人的关键部位，使用不同颜色的边框和标签进行区分；将标注后的图像存储在本地数据库并上传至云端。
4.根据权利要求1所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于：根据步骤S200，下载并安装OpenPose，加载预训练的OpenPose模型；将预处理后的图像输入OpenPose模型，OpenPose输出每一帧图像
5.根据权利要求4所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于：根据步骤S200，选择预训练的卷积神经网络模型VGG16提取图像特征；使用SIFT算法在图像中检测关键点，对于每个关键点ki，计算其位置(xi,yi)和尺度si；
6.根据权利要求1所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于：根据步骤S300，获取历史机器人正常操作的视频数据和充电桩的对应参数数据，对于视频数据逐帧提取，并对每帧图像进行时间戳标注，与充电桩参数数据对应；选择预训练的卷积神经网络模型VGG16提取图像特征，得到图像特征向量，对充电桩参数数据进行归一化处理，将归一化后的充电桩参数数据与对应时间戳的图像特征向量结合，形成时间序列特征；将连续时间戳的图像特征向量和充电桩参数数据组合，构建时间序列特征集，标注时间序列特征集为正常操作的样本；
7.根据权利要求6所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于：根据步骤S300，选择Autoencoder模型，所述Autoencoder模型由编码器和解码器组成，用于学习输入数据的低维表示；将输入的高维时间序列特征压缩到低维表示，从低维表示重建原始高维特征，目标是使重建的特征与原始特征相似；使用均方误差衡量重建特征与原始特征之间的差异；使用训练集进行模型训练，优化Autoencoder的参数，使其能够学习正常操作的低维表示；使用验证集评估模型性能，确保模型能够重建正常操作的时间序列特征；
8.根据权利要求1所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于：根据步骤S400，收集充电桩参数和机器人的操作数据，使用相关分析方法确定充电桩参数与机器人操作之间的关联性，采用随机森林算法构建充电桩参数与机器人操作之间的关联模型，关联模型输入为充电桩参数P，输出为机器人操作参数R：R＝f(P)，其中，f为关联模型；
9.根据权利要求8所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于：进行充电桩参数调整时，需要匹配正常操作所需的参数范围，充电桩参数调整算法如下：
10.一种基于视觉识别的换电站机器人异常检测系统，使用权利要求1-9中任一项所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于，包括：
...【技术特征摘要】
1.一种基于视觉识别的换电站机器人异常检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于：根据步骤s100，摄像头在换电站工作期间持续采集视频数据，记录换电机器人的所有操作过程，采集到的视频数据实时传输至本地存储设备；
3.根据权利要求1所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于：根据步骤s200，使用yolo目标检测算法进行检测，选择yolo的v5模型版本，下载预训练的模型权重和配置文件；利用标注工具对训练数据进行标注，标注内容包括机器人的各个关键部位，所述关键部位包括机械臂、电池接口、机器人摄像头、传感器、显示屏和指示灯；在图像上标注机器人的关键部位，使用不同颜色的边框和标签进行区分；将标注后的图像存储在本地数据库并上传至云端。
4.根据权利要求1所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于：根据步骤s200，下载并安装openpose，加载预训练的openpose模型；将预处理后的图像输入openpose模型，openpose输出每一帧图像中机器人的关节位置；
5.根据权利要求4所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于：根据步骤s200，选择预训练的卷积神经网络模型vgg16提取图像特征；使用sift算法在图像中检测关键点，对于每个关键点ki，计算其位置(xi,yi)和尺度si；
6.根据权利要求1所述的一种基于视觉识别的换电站机器人异常检测方法，其特征在于：根据步骤s300，获取历史机器人正常操作的视频数据和充电桩的对应参数数据，对于视频数据逐帧提取，并对每帧图像进行时间戳标注，与充电桩参...
【专利技术属性】
技术研发人员：许国荣，冯君，林志鹏，陈宇飞，李文涛，
申请(专利权)人：江苏智慧优视电子科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。