基于目标追踪和图像分割的风机巡检方法及系统技术方案

本发明专利技术公开了一种基于目标追踪和图像分割的风机巡检方法及系统，风机巡检方法包括：获取无人机在初始位置处拍摄的视频流，其中，初始位置为风机正前方且距离所述风机预设距离；根据视频流对风机中的所有扇叶进行目标追踪；根据所有扇叶的追踪识别结果对相应的视频帧进行图像分割，并根据分割出的扇叶计算扇叶的转动线速度；若转动线速度中的最大值不超过无人机的最大飞行速度，则根据转动线速度规划巡检路线，并按照巡检路线控制无人机对风机的扇叶进行巡检。本发明专利技术的风机巡检方法克服了传统风机巡检中要求风机必须停机或呈现倒Y形状下才巡检的局限性，同时也采用了新的风机诊断算法和图像拼接技术，提升故障缺陷的诊断精度和位置定位精度。和位置定位精度。和位置定位精度。

【技术实现步骤摘要】
基于目标追踪和图像分割的风机巡检方法及系统


[0001]本专利技术涉及风机巡检领域，尤其涉及一种基于目标追踪和图像分割的风机巡检方法及系统。

技术介绍

[0002]相关风机诊断方法都是基于风机停机扇叶静止状态，或者呈现独特的倒Y形态下的诊断,利用视觉算法或者激光雷达测出扇叶角度，然后规划路径，无人机按照规划的路径去对扇叶逐一巡检拍照诊断。然后对诊断的图片进行拼接还原整片扇叶的画面，再对其中的诊断出缺点故障的地方标注出来。该诊断技术局限性太大，风机必须停机扇叶静止甚至扇叶必须呈倒Y形，对于小的缺陷故障现有的诊断技术容易误判或者漏判，同时图像拼接技术也受图像质量或者拍摄角度姿态、风速等因素影响，导致图像还原较差，缺陷故障位置判断不准。

技术实现思路

[0003]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于目标追踪和图像分割的风机巡检方法及系统，克服了传统风机巡检中要求风机必须停机或呈现倒Y形状下才巡检的局限性，同时也采用了新的风机诊断算法和图像拼接技术，提升故障缺陷的诊断精度和位置定位精度。
[0004]为达到上述目的，本专利技术第一方面实施例提出一种基于目标追踪和图像分割的风机巡检方法，所述方法包括：获取无人机在初始位置处拍摄的视频流，其中，所述初始位置为风机正前方且距离所述风机预设距离；根据所述视频流对所述风机中的所有扇叶进行目标追踪；根据所有所述扇叶的追踪识别结果对相应的视频帧进行图像分割，并根据分割出的所述扇叶计算所述扇叶的转动线速度；若所述转动线速度中的最大值不超过所述无人机的最大飞行速度，则根据所述转动线速度规划巡检路线，并按照所述巡检路线控制所述无人机对所述风机的扇叶进行巡检。
[0005]另外，根据本专利技术上述实施例提出的于目标追踪和图像分割的风机巡检方法还可以具有如下附加的技术特征：根据本专利技术的一个实施例，所述根据所述视频流对所述风机中的所有扇叶进行目标追踪，包括：利用所述视频流中的第一视频帧进行目标检测；当检测到所有扇叶时，分别对各所述扇叶进行编号；基于编号和所述视频流中的第二视频帧，对所有所述扇叶进行目标追踪，其中，所述第二视频帧为所述视频流中所述第一视频帧之后的视频帧。
[0006]根据本专利技术的一个实施例，所述基于编号和所述视频流中的第二视频帧，对所有所述扇叶进行目标追踪，包括：利用所述第二视频帧进行目标检测，得到每一编号对应扇叶的目标检测框；针对每一所述扇叶，利用卡尔曼滤波器对该扇叶的轨迹进行预测，得到相应的目标预测框，判断所述目标预测框与对应的目标检测框是否匹配，并根据匹配结果对相应的扇叶进行目标追踪。
[0007]根据本专利技术的一个实施例，所述匹配结果包括扇叶失配个数，所述风机的扇叶个数为3个，所述方法还包括：若所述扇叶失配个数为1，则根据另外两个所述扇叶的编号对失配扇叶进行编号；若所述扇叶失配个数为2，则根据另一个所述扇叶的编号顺时针对失配扇叶进行编号；若所述扇叶失配个数为3，则返回对各所述扇叶进行编号的步骤。
[0008]根据本专利技术的一个实施例，所述匹配结果还包括连续失配次数，所述方法还包括：当所述连续失配次数大于等于预设次数时，剔除当前目标检测框匹配信息。
[0009]根据本专利技术的一个实施例，所述根据所有所述扇叶的追踪识别结果对相应的视频帧进行图像分割，根据分割出的所述扇叶计算所述扇叶的转动线速度，包括：将追踪到所有所述扇叶的多个视频帧分别输入至预先训练好的分割模型，得到各所述视频帧中各所述扇叶的分割结果；根据所述分割结果确定各所述视频帧中各所述扇叶的角度；根据至少两个所述视频帧中各所述扇叶的角度，以及相应视频帧对应的时刻，计算所述扇叶的角速度；根据所述角速度和所述扇叶的形状参数，得到所述转动线速度。
[0010]根据本专利技术的一个实施例，所述转动线速度中的最大值是根据所述角速度和所述扇叶的半径计算得到的。
[0011]根据本专利技术的一个实施例，所述方法还包括：若所述转动线速度中的最大值超过所述无人机的最大飞行速度，则中止巡检任务并控制所述无人机返航。
[0012]根据本专利技术的一个实施例，所述巡检路线为围绕所有所述扇叶的闭合曲线，所述按照所述巡检路线控制所述无人机对所述风机进行巡检，包括：控制所述无人机沿所述巡检路线飞行，并从编号为1的扇叶开始巡检，且在所述扇叶的线速度方向上相对所述扇叶静止。
[0013]本专利技术实施例的基于目标追踪和图像分割的风机巡检方法，利用获取的风机视频流对风机中的所有扇叶进行多目标追踪，并且基于所有扇叶的追踪识别结果对相应的视频帧进行图像分割，根据分割出的扇叶计算扇叶的转动线速度，在转动线速度中的最大值不超过无人机的最大飞行速度的情况下，规划巡检路线，并按照巡检路线控制无人机对风机的扇叶进行巡检拍摄，无人机和扇叶保持相对静止。该风机巡检方法克服了传统风机巡检中要求风机必须停机或呈现倒Y形状下才巡检的局限性，在风机不停机缓动状态下也能进行巡检，同时采用了新的风机诊断算法和图像拼接技术，提升故障缺陷的诊断精度和位置定位精度。
[0014]为达到上述目的，本专利技术第二方面实施例提出了一种风机巡检系统，包括：风机、无人机和终端设备；所述终端设备包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现如上述的基于目标追踪和图像分割的风机巡检方法。
[0015]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0016]图1是本专利技术一个实施例的基于目标追踪和图像分割的风机巡检方法的流程图；图2是本专利技术一个实施例的对风机中的所有扇叶进行目标追踪的流程图；图3是本专利技术一个实施例的对风机扇叶进行编号的示意图；
图4是本专利技术另一个实施例的对风机中的所有扇叶进行目标追踪的流程图；图5是本专利技术一个实施例的对相应的视频帧进行图像分割并计算扇叶的转动线速度的流程图；图6是本专利技术一个实施例的对相应的视频帧进行图像分割结果的示意图；图7是本专利技术一个实施例的无人机巡检路线的示意图；图8是本专利技术一个实施例的风机巡检方法的流程图；图9是本专利技术一个实施例的风机巡检系统的示意图。
具体实施方式
[0017]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0018]下面将结合说明书附图以及具体的实施方式对本专利技术实施例的基于目标追踪和图像分割的风机巡检方法及系统进行详细地说明。
[0019]图1是本专利技术一个实施例的基于目标追踪和图像分割的风机巡检方法的流程图。
[0020]在本专利技术的一个实施例中，如图1所示，基于目标追踪和图像分割的风机巡检方法包括：S1，获取无人机在初始位置处拍摄的视频流，其中，初始位置为风机正前方且距离风机预设距离。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标追踪和图像分割的风机巡检方法，其特征在于，所述方法包括：获取无人机在初始位置处拍摄的视频流，其中，所述初始位置为风机正前方且距离所述风机预设距离；根据所述视频流对所述风机中的所有扇叶进行目标追踪；根据所有所述扇叶的追踪识别结果对相应的视频帧进行图像分割，并根据分割出的所述扇叶计算所述扇叶的转动线速度；若所述转动线速度中的最大值不超过所述无人机的最大飞行速度，则根据所述转动线速度规划巡检路线，并按照所述巡检路线控制所述无人机对所述风机的扇叶进行巡检。2.根据权利要求1所述的方法，其特征在于，所述根据所述视频流对所述风机中的所有扇叶进行目标追踪，包括：利用所述视频流中的第一视频帧进行目标检测；当检测到所有扇叶时，分别对各所述扇叶进行编号；基于编号和所述视频流中的第二视频帧，对所有所述扇叶进行目标追踪，其中，所述第二视频帧为所述视频流中所述第一视频帧之后的视频帧。3.根据权利要求2所述的方法，其特征在于，所述基于编号和所述视频流中的第二视频帧，对所有所述扇叶进行目标追踪，包括：利用所述第二视频帧进行目标检测，得到每一编号对应扇叶的目标检测框；针对每一所述扇叶，利用卡尔曼滤波器对该扇叶的轨迹进行预测，得到相应的目标预测框；判断所述目标预测框与对应的目标检测框是否匹配，并根据匹配结果对相应的扇叶进行目标追踪。4.根据权利要求3所述的方法，其特征在于，所述匹配结果包括扇叶失配个数，所述风机的扇叶个数为3个，所述方法还包括：若所述扇叶失配个数为1，则根据另外两个所述扇叶的编号对失配扇叶进行编号；若所述扇叶失配个数为2，则根据另一个所述扇叶的编号顺时针对失配扇叶进行编号；若所述扇叶失配个数为3，则返回对各所述扇叶进...

【专利技术属性】
技术研发人员：李永军，柴东元，洪流，童铸，
申请(专利权)人：尚特杰电力科技有限公司，
类型：发明
国别省市：