【技术实现步骤摘要】
本专利技术涉及多传感器数据融合、深度学习神经网络算法识别分析、无人机缓冲降落，特别涉及一种数据融合式巡检和自适应降落的无人机及使用方法。
技术介绍
1、随着无人机技术的飞速发展，其在农业领域的应用日益广泛。特别是在草原牧场管理中，无人机因其灵活性和高效性而成为一种极具潜力的工具。然而，传统的无人机巡检系统在面对复杂地形和多变环境时，往往收到场地和牧草的影响，无法实现平稳的降落、保持机身的稳定状态，这限制了其在草原牧场中的应用效果。同时，无人机技术与人工智能技术的结合已成为推动多个行业进步的关键力量。无人机搭载的热红外、多光谱传感器和高性能上位机，实现实时数据获取与分析，为精准农业和监测提供了前所未有的可能性。
2、在传统的草原牧场管理中，羊群放养是一个依赖于自然环境和牧民经验的过程。然而，这一过程中常常会出现羊只走散或新出生羊羔因各种原因未能及时被发现的情况。走散的羊只可能因为迷路、疾病或其他因素而无法返回羊群，而新出生的羊羔则可能因为母羊的忽视或恶劣天气而面临生存威胁。这些情况不仅对羊只本身构成风险，也对牧场的经济效益和生态平衡造成影响。
3、因此，面对复杂多变的自然环境和无法预料的生命威胁，如何有效地融合多源传感器数据，并利用深度学习神经网络技术进行高效准确的分析，提升无人机对草原牧场中走散羊只和新出生羊羔检测识别的准确性和鲁棒性、复杂环境下自适应平稳降落的稳定性，仍是当前技术发展中亟待解决的问题。
技术实现思路
1、本专利技术的目的在于提供一种数据融合
2、为实现上述目的，本申请提供如下技术方案:
3、一种数据融合式巡检和自适应降落的无人机，包括：
4、机身、降落支撑架、rgb相机、缓冲仿生爪，所述机身通过转动轴分别与四个降落支撑架连接，所述机身内部装有锂电池、jetson orin nx工控机、stm32f427iih6核心控制板；所述机身底部的前中后分别装rgb相机、多目热红外相机、多光谱相机；所述机身底部有大散热孔、侧散热孔、圆形散热孔；
5、降落支撑架由高速电机、主动齿轮、传动齿轮、超声波传感器、多级伸缩支架和强磁块组成，其中高速电机通过内部数据线分别连接到stm32f427iih6核心控制板和锂电池，实现电源和控制连接；所述高速电机转动后通过齿轮啮合传动至传动齿轮，进而实现无人机旋翼转动；所属四个超声波传感器可实时检测其距离地面的高度，并将数据返还给给stm32f427iih6核心控制板，并进一步传输给jetson orin nx工控机进行数据分析；所述多级伸缩支架的状态由内部的弹簧控制，弹簧的压缩与伸展受伺服电机控制，stm32f427iih6核心控制板通过数据线控制伺服电机转动；所述伺服电机前端有绕线外壳，伺服电机转动时会通过拉线绳拽动弹簧，使得弹簧压缩，进而使得多级伸缩支架收缩，从而实现对降落支撑架升降和缓冲控制。
6、缓冲仿生爪由万向球、支撑座和四个支撑抓组成，所述万向球可以实现多角度的旋转，所述支撑抓可实现开合，共同作用下可以为无人机降落提供更多稳定的支撑点。
7、rgb相机通过转动轴固定在机身前下方，能够拍摄5280×3956分辨率的rgb图片；多目热红外相机固定于机身底部中间位置，并使用透明防护罩保护，具有三个独立的探测镜头，可以同时工作，提供更广泛的视野和更详细的目标分析，通过分析不同视角下的红外图像来重建目标的三维形状，且三个探测镜头可实现数据相互校验，提高热红外图片的稳定性和可靠性。
8、多光谱相机通过磁吸盘附着于机身的底部后方，具有五个镜头，分别为红色波段镜头、绿色波段镜头、红边波段镜头、蓝色波段镜头、近红外波段镜头，这些镜头可以区分和分析物体在不同波长上的反射特性，获取五种特定光谱范围的影像，并通过数据线将数据快速传递给jetson orin nx工控机进行分析。
9、伺服电机的转动受stm32f427iih6核心控制板控制，无人机在降落时，首先由仿生爪的四个支撑抓首先接触地面，支撑抓缓慢张开，提供第一级缓冲，之后由超声波传感器实时监测对地高度，并将数据传输给stm32f427iih6核心控制板，计算得出使机身保持绝对水平的四个多级伸缩支架（长度，并将此数据经过结算后转换成伺服电机转动角度，使无人机在不平整地面降落时提供第二级缓冲，在降落完成时仍可保持机身的绝对水平，保护其内部的控制模块。
10、一种基于数据融合式巡检和自适应降落的无人机的使用方法，包括
11、jetson orin nx工控机内配置有多传感器数据的实时融合分析算法，融合语义分割算法mask r-cnn和目标检测算法faster r-cnn形成mf r-cnn算法模型，融合rgb相机、多目热红外相机和多光谱相机的数据进行实时监测分析，确定走散羊只和新出生羊羔的准确地理位置，并分割出牧场草地上羊的形状，并根据深度信息构建出其三维模型。
12、融合的mf r-cnn算法模型在特征提取时，使用faster r-cnn进行目标检测，它包括一个区域提议网络（rpn）和一个分类与边界框回归网络，使用mask r-cnn进行实例分割，它在faster r-cnn的基础上增加了一个额外的分支来预测每个提议区域的像素级掩码；
13、融合的mf r-cnn算法模型在数据融合时，使用共享的resnet特征提取器从多源输入图像中提取特征，并被faster r-cnn和mask r-cnn模型和共享，以减少计算冗余；
14、使用faster r-cnn的rpn生成候选区域，并用于faster r-cnn的分类和边界框回归，同时也作为mask r-cnn的输入；
15、在模型训练时，使用标注的边界框数据训练faster r-cnn，以识别羊只和羊羔的边界框，使用标注的边界框和分割掩码数据训练mask r-cnn，以生成更精确的实例分割，并在训练过程中优化分类、边界框回归和分割掩码的损失函数；
16、在输出融合时，结合faster r-cnn的分类置信度和mask r-cnn的分割质量，设计融合策略，使用加权平均来综合考虑两种模型的输出占比，最终使用iou（交并比）来选择最优的边界框；
17、在后处理时，使用nms来去除重叠的检测结果，确保每个目标检测框的对准程度，并设置合适的iou阈值来控制nms的执行，同时对mask r-cnn生成的分割掩码进行除小噪声区域、填充孔洞处理，确保分割掩码的准确性和完整性。
18、在实时处理优化时，首先对mf r-cnn模型进行剪枝和量化，以减少模型大小和推理时间，并使用专门的硬件加速器gpu来提高实时性能，设计并行处理策略，利用多核cpu并行处理多个候选区域，优化数据流和计算流程，减少延迟，最终实现高精度的框选和定位，并将画面传输至用户pc界面。
19、与现有技术相比，本专利技术的有益效果是：...
【技术保护点】
1.一种数据融合式巡检和自适应降落的无人机，其特征在于，包括：机身（1）、降落支撑架（2）、RGB相机（3）和缓冲仿生爪（4），所述机身（1）通过转动轴（1-1）分别与四个降落支撑架（2）连接，所述机身（1）内部装有锂电池（1-2）、Jetson Orin NX工控机（1-3）、STM32F427IIH6核心控制板（1-4）；所述机身（1）底部的前中后分别装RGB相机（3）、多目热红外相机（1-7）、多光谱相机（1-5）；所述机身（1）底部有大散热孔（1-6）、侧散热孔（1-9）、圆形散热孔（1-8）。
2.根据权利要求1所述的一种数据融合式巡检和自适应降落的无人机，其特征在于，降落支撑架（2）由高速电机（2-7）、主动齿轮（2-2）、传动齿轮（2-3）、超声波传感器（2-4）、多级伸缩支架（2-5）和强磁块（2-6）组成，其中高速电机（2-7）通过内部数据线分别连接到STM32F427IIH6核心控制板（1-4）和锂电池（1-2），实现电源和控制连接；所述高速电机（2-7）转动后通过齿轮啮合传动至传动齿轮（2-3），进而实现无人机旋翼转动；所属四个超声波传感器（2-
3.根据权利要求2所述的一种数据融合式巡检和自适应降落的无人机，其特征在于，所述缓冲仿生爪（4）由万向球（4-1）、支撑座（4-2）和四个支撑抓（4-3）组成，所述万向球（4-1）能够实现多角度的旋转，所述支撑抓（4-3）能够实现开合，为无人机降落提供更多稳定的支撑点。
4.根据权利要求3所述的一种数据融合式巡检和自适应降落的无人机，其特征在于，所述RGB相机（3）通过转动轴固定在机身（1）前下方，能够拍摄5280×3956分辨率的RGB图片；多目热红外相机（1-7）固定于机身（1）底部中间位置，并使用透明防护罩保护，具有三个独立的探测镜头，提供更广泛的视野和更详细的目标分析，通过分析不同视角下的红外图像来重建目标的三维形状，且三个探测镜头能够实现数据相互校验，提高热红外图片的的稳定性和可靠性。
5.根据权利要求4所述的一种数据融合式巡检和自适应降落的无人机，其特征在于，所述多光谱相机（1-5）通过磁吸盘（1-5-4）附着于机身（1）的底部后方，具有五个镜头，分别为红色波段镜头（1-5-1）、绿色波段镜头（1-5-5）、红边波段镜头（1-5-3）、蓝色波段镜头（1-5-6）、近红外波段镜头（1-5-2），通过多个镜头区分和分析物体在不同波长上的反射特性，获取五种特定光谱范围的影像，并通过数据线将数据快速传递给Jetson Orin NX工控机（1-3）进行分析。
6.根据权利要求5所述的一种数据融合式巡检和自适应降落的无人机，其特征在于，无人机在降落时，首先由仿生爪（4）的四个支撑抓（4-3）首先接触地面，支撑抓（4-3）缓慢张开，提供第一级缓冲，之后由超声波传感器（2-4）实时监测对地高度，并将数据传输给STM32F427IIH6核心控制板（1-4），计算得出使机身（1）保持绝对水平的四个多级伸缩支架（2-5）长度，并将此数据经过结算后转换成伺服电机（2-8）转动角度，使无人机在不平整地面降落时提供第二级缓冲，在降落完成时仍可保持机身（1）的绝对水平，保护其内部的控制模块。
7.一种基于根据权利要求6所述的数据融合式巡检和自适应降落的无人机的使用方法，其特征在于，所述Jetson Orin NX工控机（1-3）内配置有多传感器数据的实时融合分析算法，融合语义分割算法Mask R-CNN和目标检测算法Faster R-CNN形成MF R-CNN算法模型，融合RGB相机（3）、多目热红外相机（1-7）和多光谱相机（1-5）的数据进行实时监测分析，确定走散羊只和新出生羊羔的准确地理位置，并分割出牧场草地上羊的形状，并根据深度信息构建出其三维模型。
8.根据权利要求7所述的方法，其特征在于，所述MF R-CNN算法模型在特征提取时，在不同时间和天气条件下拍摄草原牧场的热红外相机数据、多光谱相机数据和高清RGB图像数...
【技术特征摘要】
1.一种数据融合式巡检和自适应降落的无人机，其特征在于，包括：机身（1）、降落支撑架（2）、rgb相机（3）和缓冲仿生爪（4），所述机身（1）通过转动轴（1-1）分别与四个降落支撑架（2）连接，所述机身（1）内部装有锂电池（1-2）、jetson orin nx工控机（1-3）、stm32f427iih6核心控制板（1-4）；所述机身（1）底部的前中后分别装rgb相机（3）、多目热红外相机（1-7）、多光谱相机（1-5）；所述机身（1）底部有大散热孔（1-6）、侧散热孔（1-9）、圆形散热孔（1-8）。
2.根据权利要求1所述的一种数据融合式巡检和自适应降落的无人机，其特征在于，降落支撑架（2）由高速电机（2-7）、主动齿轮（2-2）、传动齿轮（2-3）、超声波传感器（2-4）、多级伸缩支架（2-5）和强磁块（2-6）组成，其中高速电机（2-7）通过内部数据线分别连接到stm32f427iih6核心控制板（1-4）和锂电池（1-2），实现电源和控制连接；所述高速电机（2-7）转动后通过齿轮啮合传动至传动齿轮（2-3），进而实现无人机旋翼转动；所属四个超声波传感器（2-4）实时检测其距离地面的高度，并将数据返还给stm32f427iih6核心控制板（1-4），并进一步传输给jetson orin nx工控机（1-3）进行数据分析；所述多级伸缩支架（2-5）的状态由内部的弹簧控制，弹簧（2-11）的压缩与伸展受伺服电机（2-8）控制，stm32f427iih6核心控制板（1-4）通过数据线控制伺服电机（2-8）转动；所述伺服电机（2-8）前端有绕线外壳（2-9），伺服电机（2-8）转动时会通过拉线绳（2-10）拽动弹簧（2-11），使得弹簧（2-11）压缩，进而使得多级伸缩支架（2-5）收缩，从而实现对降落支撑架（2）的升降和缓冲控制。
3.根据权利要求2所述的一种数据融合式巡检和自适应降落的无人机，其特征在于，所述缓冲仿生爪（4）由万向球（4-1）、支撑座（4-2）和四个支撑抓（4-3）组成，所述万向球（4-1）能够实现多角度的旋转，所述支撑抓（4-3）能够实现开合，为无人机降落提供更多稳定的支撑点。
4.根据权利要求3所述的一种数据融合式巡检和自适应降落的无人机，其特征在于，所述rgb相机（3）通过转动轴固定在机身（1）前下方，能够拍摄5280×3956分辨率的rgb图片；多目热红外相机（1-7）固定于机身（1）底部中间位置，并使用透明防护罩保护，具有三个独立的探测镜头，提供更广...
【专利技术属性】
技术研发人员：王天一，路梦源，惠云婷，尤泳，王德成，张星山，胡欣越，姬脉山，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。