本公开提出一种基于多模态数据的智能放煤控制方法和系统，方法包括：获取多模态数据；其中，多模态数据包括：放顶煤工作面的视频数据、音频数据、振动数据、以及尾梁倾角数据和插板行程数据；根据多模态数据，预测生成放煤核心参数；其中，放煤核心参数至少包括：放煤时间、目标尾梁摆动角度、目标尾梁摆动频率、目标插板伸缩距离和目标插板伸缩频率；以根据放煤核心参数，控制液压支架在放煤时间内，尾梁按照目标尾梁摆动角度和目标尾梁摆动频率进行摆动，以及插板按照目标插板伸缩距离和目标插板伸缩频率进行伸缩，执行放顶煤操作。由此，能够自动识别煤矸状态，并控制放顶煤开采进行自动放煤，安全可靠。安全可靠。安全可靠。
【技术实现步骤摘要】
基于多模态数据的智能放煤控制方法和系统
[0001]本公开涉及煤矿生产智能化控制
，尤其涉及一种基于多模态数据的智能放煤控制方法和系统。
技术介绍
[0002]相关技术中，放顶煤采煤的放煤过程中，采用人工放煤方式，放煤技术人员从液压支架间隙观察后部刮板运输机上煤流，观察矸石是否被放出或者放出的量，进而决定是否停止放煤。这种方法劳动强度大、生产效率低，且容易出现由于工人主观原因发生误操作的情况。
技术实现思路
[0003]本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
[0004]第一方面，提出一种基于多模态数据的智能放煤控制方法，所述方法，包括：获取多模态数据；其中，所述多模态数据包括：放顶煤工作面的视频数据、音频数据、振动数据、以及尾梁倾角数据和插板行程数据；根据所述多模态数据，预测生成放煤核心参数；其中，所述放煤核心参数至少包括：放煤时间、目标尾梁摆动角度、目标尾梁摆动频率、目标插板伸缩距离和目标插板伸缩频率；以根据所述放煤核心参数，控制液压支架在所述放煤时间内，所述尾梁按照所述目标尾梁摆动角度和所述目标尾梁摆动频率进行摆动，以及所述插板按照所述目标插板伸缩距离和所述目标插板伸缩频率进行伸缩，执行放顶煤操作。
[0005]在一些实施例中，所述根据所述多模态数据，预测生成放煤核心参数，包括：对所述多模态数据进行特征提取，获取多模态特征向量；对所述多模态特征向量进行多模态特征融合，分别预测所述放煤时间、所述目标尾梁摆动角度、预测所述目标尾梁摆动频率、所述目标插板伸缩距离和所述目标插板伸缩频率。
[0006]在一些实施例中，所述多模态数据，还包括：采煤机速度、刮板运输机功率、放顶煤工作面压力数据、放顶煤工作面倾向长度、初始煤层平均厚度、初始煤层倾角、初始煤层平均夹矸率、初始煤层可采指数和瓦斯浓度。
[0007]在一些实施例中，所述对所述多模态数据进行特征提取，获取多模态特征向量，包括：
[0008]将所述视频数据输入至训练好的煤矸识别模型，对所述视频数据进行特征提取，获取第一煤矸特征向量；
[0009]将所述音频数据输入至训练好的声纹煤矸识别模型，对所述音频数据进行特征提取，获取第二煤矸特征向量；
[0010]将所述振动数据输入至训练好的振动频率煤矸识别模型，对所述振动数据进行特征提取，获取第三煤矸特征向量；
[0011]将所述尾梁倾角数据、所述插板行程数据、所述采煤机速度、所述刮板运输机功率、所述放顶煤工作面压力数据、所述放顶煤工作面倾向长度、所述初始煤层平均厚度、所
述初始煤层倾角、所述初始煤层平均夹矸率、所述初始煤层可采指数和所述瓦斯浓度分别映射至各自的表示空间，生成尾梁倾角向量、插板行程向量、采煤机速度向量、刮板运输机功率向量、放顶煤工作面压力向量、放顶煤工作面倾向长度向量、初始煤层平均厚度向量、初始煤层倾角向量、初始煤层平均夹矸率向量、初始煤层可采指数向量和瓦斯浓度向量。
[0012]在一些实施例中，所述对所述多模态特征向量进行多模态特征融合，分别预测所述放煤时间、所述目标尾梁摆动角度、预测所述目标尾梁摆动频率、所述目标插板伸缩距离和所述目标插板伸缩频率，包括：
[0013]响应于所述第一煤矸特征向量、所述第二煤矸特征向量和所述第三煤矸特征向量中的至少一个识别煤矸状态为待放煤状态，根据所述尾梁倾角向量、所述插板行程向量、所述采煤机速度向量、所述刮板运输机功率向量、所述放顶煤工作面压力向量、所述放顶煤工作面倾向长度向量、所述初始煤层平均厚度向量、所述初始煤层倾角向量、所述初始煤层平均夹矸率向量、所述初始煤层可采指数向量和所述瓦斯浓度向量，进行多模态特征融合，分别预测所述放煤时间、所述目标尾梁摆动角度、预测所述目标尾梁摆动频率、所述目标插板伸缩距离和所述目标插板伸缩频率。
[0014]在一些实施例中，所述方法，还包括：获取视频样本数据集，对煤矸识别模型进行训练，生成训练好的煤矸识别模型；获取音频样本数据集，对声纹煤矸识别模型进行训练，生成训练好的声纹煤矸识别模型；获取振动样本数据集，对振动频率煤矸识别模型进行训练，生成训练好的振动频率煤矸识别模型。
[0015]本公开第二方面，提出一种基于多模态数据的智能放煤控制系统，所述系统，包括：数据获取单元，用于获取多模态数据；其中，所述多模态数据包括：放顶煤工作面的视频数据、音频数据、振动数据、以及尾梁倾角数据和插板行程数据；参数预测单元，用于根据所述多模态数据，预测生成放煤核心参数；其中，所述放煤核心参数至少包括：放煤时间、目标尾梁摆动角度、目标尾梁摆动频率、目标插板伸缩距离和目标插板伸缩频率；以根据所述放煤核心参数，控制液压支架在所述放煤时间内，所述尾梁按照所述目标尾梁摆动角度和所述目标尾梁摆动频率进行摆动，以及所述插板按照所述目标插板伸缩距离和所述目标插板伸缩频率进行伸缩，执行放顶煤操作。
[0016]在一些实施例中，所述参数预测单元，包括：向量获取模块，用于对所述多模态数据进行特征提取，获取多模态特征向量；处理模块，用于对所述多模态特征向量进行多模态特征融合，分别预测所述放煤时间、所述目标尾梁摆动角度、预测所述目标尾梁摆动频率、所述目标插板伸缩距离和所述目标插板伸缩频率。
[0017]在一些实施例中，所述多模态数据，还包括：采煤机速度、刮板运输机功率、放顶煤工作面压力数据、放顶煤工作面倾向长度、初始煤层平均厚度、初始煤层倾角、初始煤层平均夹矸率、初始煤层可采指数和瓦斯浓度。
[0018]在一些实施例中，所述向量获取模块，具体用于：
[0019]将所述视频数据输入至训练好的煤矸识别模型，对所述视频数据进行特征提取，获取第一煤矸特征向量；
[0020]将所述音频数据输入至训练好的声纹煤矸识别模型，对所述音频数据进行特征提取，获取第二煤矸特征向量；
[0021]将所述振动数据输入至训练好的振动频率煤矸识别模型，对所述振动数据进行特
征提取，获取第三煤矸特征向量；
[0022]将所述尾梁倾角数据、所述插板行程数据、所述采煤机速度、所述刮板运输机功率、所述放顶煤工作面压力数据、所述放顶煤工作面倾向长度、所述初始煤层平均厚度、所述初始煤层倾角、所述初始煤层平均夹矸率、所述初始煤层可采指数和所述瓦斯浓度分别映射至各自的表示空间，生成尾梁倾角向量、插板行程向量、采煤机速度向量、刮板运输机功率向量、放顶煤工作面压力向量、放顶煤工作面倾向长度向量、初始煤层平均厚度向量、初始煤层倾角向量、初始煤层平均夹矸率向量、初始煤层可采指数向量和瓦斯浓度向量。
[0023]在一些实施例中，所述参数预测单元，具体用于：响应于所述第一煤矸特征向量、所述第二煤矸特征向量和所述第三煤矸特征向量中的至少一个识别煤矸状态为待放煤状态，根据所述尾梁倾角向量、所述插板行程向量、所述采煤机速度向量、所述刮板运输机功率向量、所述放顶煤工作面压力向量、所述放顶煤工作面倾向长度向量、所述初始煤层平均厚度向量、所述初始煤层倾角向量、所述初始煤层平均夹本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多模态数据的智能放煤控制方法，其特征在于，包括：获取多模态数据；其中，所述多模态数据包括：放顶煤工作面的视频数据、音频数据、振动数据、以及尾梁倾角数据和插板行程数据；根据所述多模态数据，预测生成放煤核心参数；其中，所述放煤核心参数至少包括：放煤时间、目标尾梁摆动角度、目标尾梁摆动频率、目标插板伸缩距离和目标插板伸缩频率；以根据所述放煤核心参数，控制液压支架在所述放煤时间内，所述尾梁按照所述目标尾梁摆动角度和所述目标尾梁摆动频率进行摆动，以及所述插板按照所述目标插板伸缩距离和所述目标插板伸缩频率进行伸缩，执行放顶煤操作。2.根据权利要求1所述的方法，其特征在于，所述根据所述多模态数据，预测生成放煤核心参数，包括：对所述多模态数据进行特征提取，获取多模态特征向量；对所述多模态特征向量进行多模态特征融合，分别预测所述放煤时间、所述目标尾梁摆动角度、预测所述目标尾梁摆动频率、所述目标插板伸缩距离和所述目标插板伸缩频率。3.根据权利要求2所述的方法，其特征在于，所述多模态数据，还包括：采煤机速度、刮板运输机功率、放顶煤工作面压力数据、放顶煤工作面倾向长度、初始煤层平均厚度、初始煤层倾角、初始煤层平均夹矸率、初始煤层可采指数和瓦斯浓度。4.根据权利要求3所述的方法，其特征在于，所述对所述多模态数据进行特征提取，获取多模态特征向量，包括：将所述视频数据输入至训练好的煤矸识别模型，对所述视频数据进行特征提取，获取第一煤矸特征向量；将所述音频数据输入至训练好的声纹煤矸识别模型，对所述音频数据进行特征提取，获取第二煤矸特征向量；将所述振动数据输入至训练好的振动频率煤矸识别模型，对所述振动数据进行特征提取，获取第三煤矸特征向量；将所述尾梁倾角数据、所述插板行程数据、所述采煤机速度、所述刮板运输机功率、所述放顶煤工作面压力数据、所述放顶煤工作面倾向长度、所述初始煤层平均厚度、所述初始煤层倾角、所述初始煤层平均夹矸率、所述初始煤层可采指数和所述瓦斯浓度分别映射至各自的表示空间，生成尾梁倾角向量、插板行程向量、采煤机速度向量、刮板运输机功率向量、放顶煤工作面压力向量、放顶煤工作面倾向长度向量、初始煤层平均厚度向量、初始煤层倾角向量、初始煤层平均夹矸率向量、初始煤层可采指数向量和瓦斯浓度向量。5.根据权利要求4所述的方法，其特征在于，所述对所述多模态特征向量进行多模态特征融合，分别预测所述放煤时间、所述目标尾梁摆动角度、预测所述目标尾梁摆动频率、所述目标插板伸缩距离和所述目标插板伸缩频率，包括：响应于所述第一煤矸特征向量、所述第二煤矸特征向量和所述第三煤矸特征向量中的至少一个识别煤矸状态为待放煤状态，根据所述尾梁倾角向量、所述插板行程向量、所述采煤机速度向量、所述刮板运输机功率向量、所述放顶煤工作面压力向量、所述放顶煤工作面倾向长度向量、所述初始煤层平均厚度向量、所述初始煤层倾角向量、所述初始煤层平均夹矸率...
【专利技术属性】
技术研发人员：崔耀，李森，李首滨，秦泽宇，叶壮，夏杰，
申请(专利权)人：北京煤科天玛自动化科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。