【技术实现步骤摘要】
本专利技术涉及目标检测与跟踪，具体为多移动智能体防抖动自动瞄准方法、系统、设备及介质。
技术介绍
1、自动化瞄准是一种基于机器视觉的人工智能应用技术，它利用高精度摄像机对目标场景进行实时捕捉，然后将获取的视频流送入目标检测模型进行推理， 再根据模型输出的检测结果对目标结果进行自动化瞄准以及跟踪，从而实现从识别到瞄准的全流程操作。
2、基于机器视觉的自动化瞄准方案同时具有高效率、低成本以及高自主性的优势，现有的一些研究将自动化瞄准方案划分为目标检测、瞄准位置选择以及自动瞄准三个部分，通过yolov5目标检测器进行二维平面的目标识别操作，但在面对极其复杂的现实场景时，当前大部分自动化瞄准技术只针对于单目标跟踪，当画面中同时出现多个目标时，算法难以快速准确地做出决策，这会导致准星在多个目标之间大幅度摆动，为此，我们提出多移动智能体防抖动自动瞄准方法、系统、设备及介质。
技术实现思路
1、本专利技术的目的在于提供多移动智能体防抖动自动瞄准方法、系统、设备及介质，能够解决多个高速位移目标时存在跟踪延时与准星抖动的问题。
2、根据本专利技术的第一方面，为实现上述目的，本专利技术提供如下技术方案：多移动智能体防抖动自动瞄准方法，包括以下步骤：
3、接收摄像机场景图像画面帧，并将其输入yolov8-pose检测器中，得到目标点位置信息记作，其中中的第个元素表示时刻对应的画面中第个跟踪目标点在摄像机二维平面中的坐标位置；
4、采用多目标跟踪算法对多个目
5、计算出二维画面中相对于准星的偏移量，根据摄像机的水平及垂直视场角大小，对偏移量的各维度做三维视角变换，从而得到摄像机的转动向量；
6、定义原始执行量为，针对准星在跟踪目标的过程中出现的“准星追逐”与“准星过速”两种状态对转动向量进行自适应位置式pid控制，从而实现原始执行量自适应调整得到实际执行量；
7、将实际执行量输入外部控制设备，使摄像机的视角转动向量与实际执行量相等。
8、进一步地，所述摄像机场景图像画面帧通过摄像机实时图像截取得到，截取画面的长宽比为，边长为。
9、进一步地，所述摄像机的视场角记作，其中和代表摄像机在横纵方向上的视野范围。
10、进一步地，采用多目标跟踪算法对多个目标点进行预测、匹配及筛选，得到新的跟踪点，具体包括如下：
11、（41）预测阶段：定义卡尔曼滤波器的均值为，其中代表点坐标的估计值，代表点在横纵维度上移动速度估计值的归一化结果；
12、在时刻，卡尔曼滤波器基于前一时刻某点的均值预测出该点在当前时刻的后验均值，得到后验分布；取出中所有元素的前两个分量，得到预测点集，其中，是对应的预测点，记作；
13、（42）匹配阶段，用于匹配点集与中的点：
14、（421）首先计算两个点集内部不同点之间的带权马氏距离，其中，，为两点集间协方差矩阵；
15、（422）为确保上一时刻的跟踪点被优先匹配，定义权重系数向量，表示点对应的权重系数，计算公式如下：
16、（1）
17、（2）
18、（3）
19、式中，负责提升预测点的匹配权重；表示点距离画面中心的偏移量，点的坐标表示为；为偏移量分量系数，用来控制权重系数中偏移量的作用效果，通常取，其中为正方形摄像机画面边长；在匹配过程中，即便没有匹配到适合的检测点，程序也能够优先选取距离中心点较近的检测点作为新的跟踪点，实现小范围的跟踪过渡；
20、（423）定义代价矩阵，其元素为归一化处理后的带权马氏距离，经匈牙利匹配后，得到有序对集合，其中表示与相匹配；
21、（43）筛选阶段：匹配完成后时刻的跟踪点被定义为，定义相对于准星的偏移量。
22、进一步地，由于三维场景被摄像机截取后降维至二维，场景深度信息被丢弃，因此需要对偏移量进行视角场优化，得到，计算公式如下：
23、(4)
24、(5)
25、式中，表示画面边长，即。
26、进一步地，在进行pid控制前，首先需要对比例系数进行参数整定，计算公式如下：
27、(6)
28、式中，表示硬件设备的可动范围，表示摄像机的视野范围，确定后，根据跟踪情况从开始微调积分系数和微分系数，前者能够弥补过小的情况，后者负责预判并抑制过大的情况；
29、将视为偏差量，受位置式pid的启发，定义执行量的计算公式如下：
30、(7)
31、(8)(9)
32、式中，表示转动向量，表示转动向量相对于时间的导数；为被限制的偏差量积分值，与表示偏差量积分值的上下限；为条件系数，表示积分微调起作用时的合法上限，为了防止高实时跟踪过程中准星长时间滞后导致积分大幅累加，使用积分限幅与条件积分对积分项进行限制。
33、进一步地，针对准星在跟踪目标的过程中出现的“准星追逐”与“准星过速”两种状态对转动向量进行自适应位置式pid控制，具体如下：
34、（71）首先判断当前跟踪点是否为新跟踪点，如果是，即刻执行全量控制以加速瞄准，即；若否，则进入状态细分控制：
35、（711）当目标高速位移且与准星同向时，由于模型推理存在延时，准星始终会滞后于目标，即“准星追逐”状态，此时执行全量控制，即；
36、（712）当目标突然减速或者移动方向发生大幅度改变时，准星会超出目标，即“准星过速”状态，此时定义力度缩放因子向量以削减执行量的影响，并使用冻结帧数以控制力度削减的作用帧数，即，其中与跟踪点的运动状态有关，计算公式如下：
37、(10)
38、式中，e表示自然对数的底数,定义了横纵方向上的力度缩放因子，其中和用来控制各方向上力度缩放的强度，与偏移量分量占的比率有关，偏移量越大，力度缩放越显著,表示时刻k点i的后验均值,,分别表示点i在时刻k时在横纵方向上的移动速度估计值的归一化结果。
39、根据本专利技术的第二方面，本专利技术提供一种多移动智能体防抖动自动瞄准系统，包括：
40、第一输入模块，用于接收摄像机场景图像画面帧，并将其输入yolov8-pose检测器中，得到目标点位置信息记作，其中中的第个元素表示时刻对应的画面中第个跟踪目标点在摄像机二维平面中的坐标位置；
41、目标点处理模块，用于采用多目标跟踪算法对多个目标点的位置信息进行预测、匹配及筛选，得到新的跟踪点；
42、计算模块，用于计算出二维画面中相对于准星的偏移量，根据摄像机的水平及垂直视场角大小，对的各维度做三维视角变换，从而得到摄像机的转动向量；
43、pid控制模块，用于定义原始执行量为，针对准星在跟踪目标的过程中出现的“准星追逐”与“准星过速”两种状态对转动向量进行自适应位置式pid控制，从而实现原始执行量自适本文档来自技高网...
【技术保护点】
1.多移动智能体防抖动自动瞄准方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多移动智能体防抖动自动瞄准方法，其特征在于：所述摄像机场景图像画面帧通过摄像机实时图像截取得到，截取画面的长宽比为，边长为。
3.根据权利要求2所述的多移动智能体防抖动自动瞄准方法，其特征在于：所述摄像机的视场角记作，其中和代表摄像机在横纵方向上的视野范围。
4.根据权利要求3所述的多移动智能体防抖动自动瞄准方法，其特征在于：采用多目标跟踪算法对多个目标点进行预测、匹配及筛选，得到新的跟踪点，具体包括如下：
5.根据权利要求4所述的多移动智能体防抖动自动瞄准方法，其特征在于：对偏移量进行视角场优化，得到，计算公式如下：
6.根据权利要求1所述的多移动智能体防抖动自动瞄准方法，其特征在于：在进行PID控制前，首先需要对比例系数进行参数整定，计算公式如下：
7.根据权利要求6所述的多移动智能体防抖动自动瞄准方法，其特征在于：针对准星在跟踪目标的过程中出现的“准星追逐”与“准星过速”两种状态对转动向量进行自适应位置式PID控制，
8.多移动智能体防抖动自动瞄准系统，用于实现权利要求1至7中任一项所述的多移动智能体防抖动自动瞄准方法，其特征在于，包括：
9.一种终端设备，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，其特征在于，所述存储器中存储有能够在处理器上运行的计算机程序，所述处理器加载并执行计算机程序时，采用了权利要求1至7中任一项所述的多移动智能体防抖动自动瞄准方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1至7中任一项所述的多移动智能体防抖动自动瞄准方法。
...【技术特征摘要】
1.多移动智能体防抖动自动瞄准方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多移动智能体防抖动自动瞄准方法，其特征在于：所述摄像机场景图像画面帧通过摄像机实时图像截取得到，截取画面的长宽比为，边长为。
3.根据权利要求2所述的多移动智能体防抖动自动瞄准方法，其特征在于：所述摄像机的视场角记作，其中和代表摄像机在横纵方向上的视野范围。
4.根据权利要求3所述的多移动智能体防抖动自动瞄准方法，其特征在于：采用多目标跟踪算法对多个目标点进行预测、匹配及筛选，得到新的跟踪点，具体包括如下：
5.根据权利要求4所述的多移动智能体防抖动自动瞄准方法，其特征在于：对偏移量进行视角场优化，得到，计算公式如下：
6.根据权利要求1所述的多移动智能体防抖动自动瞄准方法，其特征在于：在进行pid控制前，首先需要对比例系数进行参数整定...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。