一种自由运动样本的自动化搜索成像方法及系统技术方案

本发明专利技术公开了一种自由运动样本的自动化搜索成像方法及系统。所述方法包括搜索线程和跟踪线程；当显微镜视野图像中未检测到样本时，进入搜索线程，按照搜索算法的计算结果，改变下一时刻处于显微镜视野中心的样本平台坐标，直至显微镜视野图像中检测到样本，进入跟踪线程；当显微镜视野中检测到样本时，进入跟踪线程，按照样本质心的位置，改变下一时刻处于显微镜视野中心的样本平台坐标，直至显微镜视野中未检测到样本，进入搜索线程。本发明专利技术通过在搜索初始和跟踪中断时按照预先设置的搜索线程解决传统自由运动样本实时追踪策略在样本逸出视野时的采集中断问题。应用所述方法的系统，简化光路为单路的高倍行为

【技术实现步骤摘要】
一种自由运动样本的自动化搜索成像方法及系统


[0001]本专利技术属于活体显微成像领域，更具体地，涉及一种自由运动样本的自动化搜索成像方法及系统。

技术介绍

[0002]对各种活体生物的生命动态变化过程及其实时行为的联系探究是当前神经科学研究领域所关注的一项重要课题，如活体线虫、果蝇、斑马鱼的神经元信号的显微观测与其在自由运动状态下的行为表现的控制模式的采集分析。这些样本的结构通常分布在三维空间中且具有较高的运动速度与较大的活动范围，因此对于这些活体样本的观测必须在三维空间里对变化信息进行高分辨率以及高速率的动态捕捉并时刻保持样本在视野内，这对现今光学显微镜的时空性能提出了极大的挑战。
[0003]目前的相关研究中为了保证活体样本在长时间的采集时间内均位于成像视野内，方法其一是将样本通过麻醉、粘黏、腔室限制等方式固定在成像视野内，然后对其进行三维扫描；另一种是通过虚拟环境的展示使样本自身错误性地认为自身处在动态运动之中，从而产生近似真实的神经活动和相应的实时行为，然而上述两种方法由于样本个体本身并未进行实际的自由运动，因而在这些状态下的神经活动与真实自由运动状态下的神经回路动态变化存在着不可预知的影响，以至对在该状态下得出的生物学结论产生误导。目前最被普遍接受的方式是通过电动位移台及控制软件实时对样本进行跟踪，从而得到其真实的自由运动行为和相关联的神经活动动态。
[0004]目前主流的自由运动样本跟踪结合实时荧光显微成像的硬件设计通常设计为双路的探测通道，分别为行为探测通道和荧光探测通道。在行为探测通道中，光源通过采用近红外LED照明，探测端采用低倍物镜(如4倍物镜)结合探测相机进行运动样本行为的实时捕捉。在荧光探测通道中，高功率宽谱光源以及滤色片产生激发光，用于激发特定荧光标记蛋白，探测端通过高倍显微物镜(如20倍物镜)结合高量子效率的sCMOS探测器采集形成样本的高分辨荧光图像，以进行后续的神经活动分析。上述光路设计中的行为探测通道采用低倍探测物镜的原因来自在进行自由运动样本的成像时，若行为探测通道和荧光探测通道采用同样高倍率的物镜探测时，由于高倍物镜本身的视野相比于低倍探测物镜会大大减小，因此运动样本极易逸出探测视野。传统的跟踪算法对行为通道探测相机采集到的图像默认其含有运动样本的轮廓信息，通过中心线提取算法进一步提取出样本的中心位置坐标以进行后续的运动控制，因此在运动样本逸出视野的情况下，传统的跟踪策略无法做出正确的反应，进而造成错误定位以致跟丢样本。考虑到上述原因，传统的跟踪算法中需要行为通道的探测相机始终探测到样本的轮廓信息，因而需要样本始终保持在成像视野中，进而在硬件设计上需要使用低倍探测物镜实现较大的成像视野。因此在这类传统的基于行为通道捕捉样本轮廓信息的自由运动样本跟踪设计中，探测端需要独立的分别由高倍探测物镜构成的荧光探测通道和低倍物镜构成的行为探测通道，这与商业显微镜的单物镜探测模式显然格格不入，因此在实际搭建成像系统的过程中引入了额外的复杂度；更重要的是，在这种探
测模式下，需手动在初始跟踪时将运动样本放置在成像视野中，以及在跟踪过程中若某一时刻样本运动过快逸出视野，则算法无法做出正确反应，需要人为的及时干预。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种自由运动样本的自动化搜索成像系统，其目的在于通过利用结合运动搜索策略的自由运动样本跟踪算法，实现了在常规商业显微镜单高倍探测物镜成像模态下的自动化样本搜索和同时自由运动样本行为姿势捕捉和荧光数据采集，降低了硬件系统的整体复杂度，提升了实时跟踪算法的稳定性，更进一步减少了人为干预的成本，提高了应用的自动化特性。由此解决现有技术人工干预初始化、跟踪断点以及需要低倍物镜导致光路设计复杂的技术问题。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种自由运动样本的自动化搜索成像方法，包括搜索线程和跟踪线程；
[0007]当显微镜视野图像中未检测到样本时，进入搜索线程，按照搜索算法的计算结果，改变下一时刻处于显微镜视野中心的样本平台坐标，直至显微镜视野图像中检测到样本，进入跟踪线程；
[0008]当显微镜视野中检测到样本时，进入跟踪线程，按照样本质心的位置，改变下一时刻处于显微镜视野中心的样本平台坐标，直至显微镜视野中未检测到样本，进入搜索线程。
[0009]优选地，所述自由运动样本的自动化搜索成像方法，其所述搜索线程包括以下步骤：
[0010](1)确定搜索视野运动路线：根据当前时刻处于显微镜视野中心的样本平台坐标，采用运动搜索算法搜索，获取下一时刻处于显微镜视野中心的样本平台的目标坐标；
[0011](2)采集搜索视野内图像：使步骤(1)获得的样本平台的目标坐标运动到显微镜视野中心，获取当前视野内的照明光成像图像用于样本检测；
[0012](3)样本检测：对步骤(2)获得的当前视野内的照明光成像图像进行样本轮廓识别，判断视野内是否存在样本，当判断存在样本时，计算样本当前的质心坐标用于初始化跟踪线程，跳出搜索线程，进入跟踪线程；否则重复步骤(1)。
[0013]优选地，所述自由运动样本的自动化搜索成像方法，其所述运动搜索算法，选自全局搜索算法、三步搜索算法、菱形搜索算法或六边形搜索算法。
[0014]优选地，所述自由运动样本的自动化搜索成像方法，其步骤(3)所述判断视野内是否存在样本，具体包括以下子步骤：
[0015](3
‑
1)计数判断：获取识别到的样本轮廓数量，当识别到的轮廓数量为0时，判断视野内不存在样本；当识别到的轮廓数量大于等于1时，进入步骤(3
‑
2)；
[0016](3
‑
2)差分判别：等待预设的时间，保持处于显微镜视野中心的样本平台坐标不变，获取与当前视野内的照明光成像图像具有预设时间差的照明光成像差分图像，判断当前视野内的照明光成像图像与照明光成像差分图像的差异程度，当所述差异程度超过预设阈值时，判断视野内存在样本；否则判断视野内不存在样本。
[0017]优选地，所述自由运动样本的自动化搜索成像方法，其步骤(3)所述计算当前样本质心坐标具体为：
[0018](3
‑
3)计算样本质心：将照明光成像差分图像进行样本轮廓识别方法识别到的处
于照明光成像差分图像与当前视野内的图像差异部分的轮廓，作为样本轮廓，计算其质心作为当前样本质心坐标；
[0019]优选地，所述自由运动样本的自动化搜索成像方法，其所述跟踪线程包括以下步骤：
[0020]S1、将所述当前样本质心坐标作为下一时刻显微镜视野的中心，使得所述当前样本质心坐标运动至显微镜视野中心，获取当前视野内的照明光成像图像用于样本检测；
[0021]S2、样本检测：对步骤S1获得的当前视野内的照明光成像图像进行样本轮廓识别，判断视野内是否存在样本，当判断存在样本时，更新样本当前的质心坐标并重复步骤S1；否则以当前样本质心坐标为下一时刻显微镜视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自由运动样本的自动化搜索成像方法，其特征在于，包括搜索线程和跟踪线程；当显微镜视野图像中未检测到样本时，进入搜索线程，按照搜索算法的计算结果，改变下一时刻处于显微镜视野中心的样本平台坐标，直至显微镜视野图像中检测到样本，进入跟踪线程；当显微镜视野中检测到样本时，进入跟踪线程，按照样本质心的位置，改变下一时刻处于显微镜视野中心的样本平台坐标，直至显微镜视野中未检测到样本，进入搜索线程。2.如权利要求1所述的自由运动样本的自动化搜索成像方法，其特征在于，所述搜索线程包括以下步骤：(1)确定搜索视野运动路线：根据当前时刻处于显微镜视野中心的样本平台坐标，采用运动搜索算法搜索，获取下一时刻处于显微镜视野中心的样本平台的目标坐标；(2)采集搜索视野内图像：使步骤(1)获得的样本平台的目标坐标运动到显微镜视野中心，获取当前视野内的照明光成像图像用于样本检测；(3)样本检测：对步骤(2)获得的当前视野内的照明光成像图像进行样本轮廓识别，判断视野内是否存在样本，当判断存在样本时，计算样本当前的质心坐标用于初始化跟踪线程，跳出搜索线程，进入跟踪线程；否则重复步骤(1)。3.如权利要求2所述的自由运动样本的自动化搜索成像方法，其特征在于，所述运动搜索算法，选自全局搜索算法、三步搜索算法、菱形搜索算法或六边形搜索算法。4.如权利要求2所述的自由运动样本的自动化搜索成像方法，其特征在于，步骤(3)所述判断视野内是否存在样本，具体包括以下子步骤：(3
‑
1)计数判断：获取识别到的样本轮廓数量，当识别到的轮廓数量为0时，判断视野内不存在样本；当识别到的轮廓数量大于等于1时，进入步骤(3
‑
2)；(3
‑
2)差分判别：等待预设的时间，保持处于显微镜视野中心的样本平台坐标不变，获取与当前视野内的照明光成像图像具有预设时间差的照明光成像差分图像，判断当前视野内的照明光成像图像与照明光成像差分图像的差异程度，当所述差异程度超过预设阈值时，判断视野内存在样本；否则判断视野内不存在样本。5.如权利要求2所述的自由运动样本的自动化搜索成像方法，其特征在于，步骤(3)所述计算当前样本质心坐标具体为：(3
‑
3)计算样本质心：将照明光成像差分图像进行样本轮廓识别方法识别到的处于照明光成像差分图像与当前视野内的图像差异部分的轮廓，作为样本轮廓，计算其质心作为当前样本质心坐标。6.如权利要求1所述的自由运动样本的自动化搜索成像方法，其特征在于，所述跟踪线程包括以下步骤：S1、将所述当前样本质心坐标作为下一时刻显微镜视野的中心，使得所述当前样本质心坐标运动至显微镜视野中心，获取当前视野内的照明光成像图像用于样本检测；S2、样本检测：对步骤S1获得的当前视野内的照明光成像图像进行样本轮廓识别，判断视野内是...

【专利技术属性】
技术研发人员：李果，张博涵，费鹏，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：