一种基于深度学习的制造技术

本发明专利技术涉及一种基于深度学习的

【技术实现步骤摘要】
一种基于深度学习的Cell
‑
SORT细胞跟踪方法和装置


[0001]本专利技术属于视觉目标跟踪领域，涉及一种基于深度学习的
Cell
‑
SORT
细胞跟踪方法和装置
。

技术介绍

[0002]研究细胞活动对生物医学领域具有重要的意义
。
细胞是生物体的基本结构和功能单位，了解细胞的活动可以深入了解生物体的正常功能和疾病发生的机制，从而推动医学领域的发展和进步
。
研究细胞活动对于疾病诊断和治疗至关重要
。
通过观察细胞的异常变化，可以提供疾病的诊断和治疗线索，如癌症的早期标志物发现
。
此外，细胞是药物研发的重要目标和模型，通过评估药物对细胞的影响，可以为新药的开发提供基础
。
了解细胞活动对于器官和组织的形成和功能恢复至关重要，通过控制细胞活动，可以推动组织工程和人工器官的发展
。
研究细胞的基因调控网络和信号通路也为基因治疗提供理论基础，通过修正或调节细胞的基因表达，可以纠正疾病发生过程中的异常
。
总的来说，研究细胞活动可深化对生物体结构和功能的理解，为疾病的诊断
、
治疗和预防提供科学依据，推动药物研发
、
器官和组织工程以及基因治疗等领域的发展具有重要意义
。
为了进一步分析细胞在其生命周期内的活动，研究人员记录活细胞的图像视频并对其进行分析，即随着时间的推移准确的记录细胞位置和运动轨迹，也称为细胞跟踪任务
。
[0003]细胞跟踪是一种应用于生物医学领域的多目标跟踪任务，但与主流的多目标跟踪任务相比，细胞跟踪任务则更具有挑战性，具体表现在三个方面
。
[0004](1)
细胞外观特征少
。
[0005](2)
细胞在整个视频中形变明显
。
[0006](3)
背景复杂
。
[0007]因此，亟需一种既能对噪声
、
细胞形变以及细胞事件具有鲁棒性，又有优异的跟踪性能的方法来进行细胞跟踪
。

技术实现思路

[0008]本专利技术针对细胞跟踪中，目标外观特征少
、
分辨率低的难点，选择当前主流目标检测模型
YOLO
系列中的最优模型
YOLOv7
‑
X
作为细胞检测模型，并修改其特征融合模块，提出高分辨率的
YOLOv7
‑
X
‑
A
细胞检测模型
。
针对细胞跟踪中，目标形变明显，且背景噪声复杂多变的挑战，基于
SORT
数据关联架构，采用优化后的卡尔曼滤波器
(KF+)
以便更好的预测目标的位置，同时引入
BYTE
匹配机制对目标检测框进行两次匹配，并引入轨迹插值后处理方法对轨迹进行填充
。
最后将改进的
YOLOv7
‑
X
‑
A
细胞检测模型与重建的
SORT
数据关联方法相结合，提出一种基于深度学习的
Cell
‑
SORT
细胞跟踪方法，实现鲁棒性强，准确性更高的细胞跟踪
。
[0009]本专利技术提供一种基于深度学习的
Cell
‑
SORT
细胞跟踪方法，具体包括如下步骤：
[0010](1)
将视频帧送入训练好的目标检测模型中，并获得检测目标框置信度分数
bb
Pred
；
[0011](2)
使用卡尔曼滤波器预测上一帧轨迹在该帧中的位置；如果是第一帧，则根据
bb
pred
新建轨迹，如果不是第一帧，则根据之前帧所建立的轨迹使用卡尔曼滤波器预测细胞在该帧的位置；
[0012](3)
利用
BYTE
机制对
bb
pred
和轨迹使用
IOU
作为相似度度量指标并使用匈牙利算法进行最小代价匹配，首先根据置信度阈值
μ
high
和
μ
low
，将
bb
pred
划分为高分检测框
D
high
和低分检测框
D
low
，然后使用匈牙利算法将高分检测框
D
high
与轨迹进行第一次匹配，第一次匹配完成后，使用匈牙利算法对低分检测框
D
low
与未匹配的轨迹进行第二次匹配；在两次匹配结束后，为
D
high
中仍未匹配的目标框建立新的轨迹并更新到轨迹集合中；
[0013](4)
返回步骤
(2)
，处理下一帧，直到处理完所有视频帧；
[0014](5)
处理完所有视频帧后得到轨迹集合
T
，然后对
T
使用轨迹插值后处理方法进行轨迹的填充，获得最终跟踪结果
Tracks。
[0015]进一步的，所述目标检测模型采用原始
YOLOv7
‑
X
模型，所述
YOLOv7
‑
X
由三部分构成：
Backbone、Neck
以及
Head
，其中
Backbone
由多个
CBS、ELAN、MPConv
模块组成，用来提取图像的特征，其中
CBS
是具有不同尺度的一组卷积操作，包括一个卷积层，一个批数据归一化层以及激活函数
SiLU
层，
ELAN
是由多个
CBS
和连接操作组合而成，
MPConv
则是由
CBS
卷积操作和
MaxPooling
层组合而成，增强了模型对特征的融合提取能力；
Neck
部分则用来融合不同维度的特征以获得更丰富的语义信息；
Head
则根据特征信息预测目标物体的位置和类别
。
[0016]进一步的，所述目标检测模型采用
YOLOv7
‑
X
‑
A
，
YOLOv7
‑
X
‑
A
是在原始
YOLOv7
‑
X
的基础上修改了
Neck
部分的融合路径，
[0017]在原始
YOLOv7
‑
X
模型中，
Neck
融合的特征图分别来自
Backbone
中的
28
...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习的
Cell
‑
SORT
细胞跟踪方法，其特征在于，包括以下步骤：
(1)
将视频帧送入训练好的目标检测模型中，并获得检测目标框置信度分数
bb
Pred
；
(2)
使用卡尔曼滤波器预测上一帧轨迹在该帧中的位置；如果是第一帧，则根据
bb
pred
新建轨迹，如果不是第一帧，则根据之前帧所建立的轨迹使用卡尔曼滤波器预测细胞在该帧的位置；
(3)
利用
BYTE
机制对
bb
pred
和轨迹使用
IOU
作为相似度度量指标并使用匈牙利算法进行最小代价匹配，首先根据置信度阈值
μ
high
和
μ
low
，将
bb
pred
划分为高分检测框
D
high
和低分检测框
D
low
，然后使用匈牙利算法将高分检测框
D
high
与轨迹进行第一次匹配，第一次匹配完成后，使用匈牙利算法对低分检测框
D
low
与未匹配的轨迹进行第二次匹配；在两次匹配结束后，为
D
high
中仍未匹配的目标框建立新的轨迹并更新到轨迹集合中；
(4)
返回步骤
(2)
，处理下一帧，直到处理完所有视频帧；
(5)
处理完所有视频帧后得到轨迹集合
T
，然后对
T
使用轨迹插值后处理方法进行轨迹的填充，获得最终跟踪结果
Tracks。2.
如权利要求1所述的一种基于深度学习的
Cell
‑
SORT
细胞跟踪方法，其特征在于：所述目标检测模型采用原始
YOLOv7
‑
X
模型，所述
YOLOv7
‑
X
由三部分构成：
Backbone、Neck
以及
Head
，其中
Backbone
由多个
CBS、ELAN、MPConv
模块组成，用来提取图像的特征，其中
CBS
是具有不同尺度的一组卷积操作，包括一个卷积层，一个批数据归一化层以及激活函数
SiLU
层，
ELAN
是由多个
CBS
和连接操作组合而成，
MPConv
则是由
CBS
卷积操作和
MaxPooling
层组合而成，增强了模型对特征的融合提取能力；
Neck
部分则用来融合不同维度的特征以获得更丰富的语义信息；
Head
则根据特征信息预测目标物体的位置和类别
。3.
如权利要求1所述的一种基于深度学习的
Cell
‑
SORT
细胞跟踪方法，其特征在于：所述目标检测模型采用
YOLOv7
‑
X
‑
A
，
YOLOv7
‑
X
‑
A
是在原始
YOLOv7
‑
X
的基础上修改了
Neck
部分的融合路径，在原始
YOLOv7
‑
X
模型中，
Neck
融合的特征图分别来自
Backbone
中的
28
层，
43
层以及
59
层，其中
28
层的特征图输入到
76
层再输入到
77
层进行融合，
43
层的特征图输入到
62
层的再输入到
63
层进行融合，
59
层的特征图则输入到
107
层进行融合；而在
YOLOv7
‑
X
‑
A
中，
Neck
融合的特征图分别来自
Backbone
中的
13
层，
28
层以及
43
层，即
13
层的特征图输入到
76
层再输入到
77
层进行融合，
28
层的特征图输入到
62
层的再输入到
63
层进行融合，在
43
层的融合路径中，增加一个
3*3
卷积模块，此处为
107
层，原本的
107
层变为
108
层，后续层序号均加一，即
43
层特征图输出到
107
层后再输入到
108
层进行融合，并将原模型中
76
层与
62
层的
1*1
卷积模块替换为
3*3
的卷积模块，其余部分与原模型相同
。4.
如权利要求1所述的一种基于深度学习的
Cell
‑
SORT
细胞跟踪方法，其特征在于：步骤
(2)
中使用卡尔曼滤波器
KF+
包括两个步骤：预测和更新，预测阶段则是预测细胞的状态以及协方差，细胞的状态即中心坐标以及宽高，更新步骤则是利用目标检测模型得到的细胞状态和预测阶段得到的状态估计更新系统的后验估计并更新协方差矩阵；经过不断的预测和更新后，卡尔曼滤波可以精确的预测细胞在下一时刻的位置；预测的目标状态向量表示为一个八元组，如公式
(1)
所示，如公式
(1)
所示，其中
(x
c
,y
c
)
代表某个目标在图像平面上目标的中心坐标，
(w,h)
代表目标框的宽高，后面四个参数代表前四个参数的变化率，观测向量如公式
(2)
所示，代表传感器即检测模型得到的某个目标的
中心坐标以及宽
z
w
和高
z
h
；根据修改后的卡尔曼滤波状态向量以及观测向量，即公式
(1)
和公式
(2)
，其过程噪声矩阵
Q
k
和观测噪声矩阵
R
k
也相应的被修改，如公式
(3)
和
(4)
所示，所示，所示，此处，
σ
p
与
σ
v
代表噪声因子，与分别代表
k
‑1时刻更新阶段获得的...

【专利技术属性】
技术研发人员：邵佳，冯贤伟，张健，张家睿，秦静怡，
申请(专利权)人：华中农业大学，
类型：发明
国别省市：