使用基于图像的处理进行相位检测和校正制造技术

一种计算机实现的方法，包括：接收表示样本图像的原始数据集；通过使用度量算法分析所述原始数据集，识别第一极值集；通过分析所述第一极值集，识别第二极值集；和基于所述第二极值集，生成所述样本的重建图像。相位校正扫描仪包括一个或多个处理器；一个或多个扫描仪，其适于对对象进行顺序采样以生成代表利萨如图案中的所述对象的原始数据的矢量；以及存储指令的存储器，当所述指令由所述一个或多个处理器执行时使计算系统接收所述原始数据的矢量，通过使用度量算法分析原始数据集，识别第一极值集，并通过分析第一极值集识别第二极值集。

【技术实现步骤摘要】
【国外来华专利技术】使用基于图像的处理进行相位检测和校正政府权益声明本专利技术是在国家科学基金(NationalScienceFoundation)授予的CMMI-1334340和在国立卫生研究院(NationalInstitutesofHealth)授予的EB020644下由政府支持进行的。政府拥有本专利技术的某些权利。
本公开总体上涉及用于在使用光学仪器的二维(2D)和/或三维(3D)扫描期间跟踪和/或校正相移的系统和方法。更具体地，提出了用于在利用两轴微机电系统微镜的扫描(例如，利萨如(Lissajous)扫描)期间检测和/或校正相移的方法和系统。
技术介绍
本文中提供的
技术介绍
描述是为了大体上呈现本公开的上下文。在此
技术介绍
部分中描述的范围内，当前署名的专利技术人的作品以及在提交时可能未以其它方式具有作为现有技术的资格的描述的各方面既不明确地也不隐含地被认作是针对本公开的现有技术。使用光束控制的成像具有许多应用，包括生物医学成像、扫描探针显微镜、3D打印、单像素相机、扫描电子显微镜、光检测和测距(LiDAR)等。各种光束控制模式，例如光栅、螺旋和利萨如(Lissajous)，可以取决于成像应用和执行器功能进行选择。扫描模式可能对图像分辨率、视野(FOV)和帧速率(FR)产生直接影响。例如，当两个运动轴都以恒定的正弦输入(可能具有不同的频率和/或相位)运行时，就会获得利萨如扫描。对于许多扫描执行器，可以通过在共振频率附近操作扫描仪来实现较大的FOV。通过仔细设计扫描仪的共振频率和在这些频率下的位移，也可以实现高FR。利萨如扫描是成像应用中的一种流行选择，因为它可以使用一个或多个反射镜检流计、基于微型微机电系统(MEMS)的扫描仪等轻松实现。与光栅扫描不同，利萨如不需要两个工作频率即可相距足够远，简化了MEMS设计。利萨如扫描具有许多光学应用，包括生物医学成像、扫描探针显微镜，单像素相机等。在典型应用中，使用扫描仪(例如MEMS微镜、反射镜检流计、多光子光学探头等)对在对象平面上的点进行顺序采样。来自对象平面上不同点的光强度被记录为时间序列数据，称为原始数据。采样轨迹可以由利萨如图案确定，该利萨如图案又取决于在相应的运动轴(例如x和y轴)的扫描频率(fx,fy)、位移幅度(θx,θy)和相位延迟通过将原始数据以与在对象平面上被扫描的顺序和位置相同的顺序和位置放置在图像中，可以获得对象平面的图像。因此，为了从原始数据重建图像，可能需要对扫描轨迹有准确的了解。但是，当使用MEMS扫描仪时，实际的扫描轨迹可能会偏离图像重建中用作相位漂移的扫描轨迹。MEMS扫描仪可以在具有自然振荡的设备的谐振频率下工作。当将扫描仪放置在仪器(例如，内窥镜)中时，以及当将内窥镜放置在生物体内时，这种振荡可能会发生。振荡可能很小，但可能足以引起图像配准问题。图像可能是模糊的并且可能具有双重图像效果，因为一旦在内窥镜和/或生物体内部，镜子的属性就会微妙地改变。相位漂移可归因于许多因素，例如环境条件、扫描仪属性随时间变化等。即使小的相位漂移也会导致扫描轨迹出现大偏差，从而导致图像质量较差。如果漂移足够大，则图像将无法识别。因此，李沙如扫描的有效性和图像重建的准确性可能会受到轴之间的相位差的影响。在诸如MEMS扫描镜的小型化设备中，由于环境扰动，扫描仪(即，共振微镜)的共振频率可能漂移数度。该漂移继而可能导致镜运动与周期性的输入驱动信号之间的相位延迟变化。补偿谐振设备中相移的先前方法包括基于温度的校准、片上电容感测、尝试设计稳健的动力学以及限制温度灵敏度的设计。然而，这些常规方法具有差的可重复性、差的信噪比和材料限制，尤其是在严重受限于空间的应用(例如内窥镜检查)中使用小型MEMS设备时。已经提出了各种反馈控制器，但是这些控制器在小型体内仪器中也容易受到感测限制，并且这些控制器增加了系统的复杂性。此外，某些设备(例如内窥镜)可能需要小型化的基于MEMS的扫描仪，以实现紧凑包装。如上所述，这样的扫描的相位可能易于漂移。相的漂移可归因于许多因素，例如环境条件(例如温度)的变化，材料特性随时间的变化等。因此，相位可能是时间的缓慢函数，给图像重建带来困难。可以在受控环境(例如实验室)中通过实验确定相位，以重建图像。但是，在实际应用中，在实验室启动时确定的相位不会无限期保持恒定。可以手动调整相位以补偿稀疏图像的漂移，但是手动调整需要大量的用户体验，并且对于具有未知结构的复杂图像，几乎不可能调整相位。通常，基于清晰度的自动聚焦过程是已知技术。然而，本领域不包括用于跟踪和/或校正由MEMS扫描镜和/或可能用于产生利萨如图案的其他紧凑型扫描仪的动力学引起的相位延迟的漂移的基于清晰度的自动聚焦过程。因此，需要在利萨如扫描期间以规则的时间间隔跟踪和/或克服相位漂移的方法和系统。
技术实现思路
提供本
技术实现思路
以按简化的形式介绍概念的选择，所述概念将在下面的具体实施方式中进一步描述。本
技术实现思路
不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在用以限制所要求保护的主题的范围。在一个方面，一种预测和/或校正相位漂移的计算机实现的方法包括：接收表示样本的图像的原始数据集；通过使用度量算法分析所述原始数据集，识别第一极值集；通过分析所述第一极值集，识别第二极值集；和基于所述第二极值集，生成所述样本的重建图像。相位校正扫描仪包括一个或多个处理器；一个或多个扫描仪，其适于对对象进行顺序采样以生成代表利萨如图案中的所述对象的原始数据的矢量；以及存储指令的存储器，当所述指令由所述一个或多个处理器执行时使计算系统接收所述原始数据的矢量，通过使用度量算法分析原始数据集，识别第一极值集，并通过分析第一极值集识别第二极值集。附图说明图1A描绘了根据一个实施例的展示相位漂移效应的一系列示例图像，图1B描绘了根据一个实施例的用于图像重建的数据流程图，图1C描绘了二值化图像集，显示了相位漂移效应的阈值度量背后的直觉，图1D描绘了根据一个实施例和场景，根据全局搜索和围绕全局搜索给出的初始逼近的局部搜索的阈值度量相对于相位x和相位y的图，图1E描绘了根据一个实施例和场景，根据全局搜索和围绕全局搜索给出的初始逼近的局部搜索的清晰度(方差)相对于相位x和相位y的图，图1F描绘了根据一些实施例的阈值和清晰度度量的组合图，图2A描绘了代表人结肠组织样本的图像质量的改善，图2B描绘了根据一些实施例的用于验证模糊性能和清晰度度量的测试图像，图2C描绘了对图2B的测试图像进行全局搜索的图，图3A描绘了重建图像302，其包含真实相位的缺失像素，图3B描绘了缺失像素对模糊度量的影响的图和缺失像素对清晰度度量的影响的图，图4描绘了示例性的图像序列，显示了直接对原始数据进行二值化处理和对灰度图像进行二值化处理，图5描绘了由扫描仪生成的图像的密度的示例图，图6示出了根据一个实施例的用于扫描(例如，内窥镜扫描)的系统图；和图7描绘了根据一个实施例本文档来自技高网...

【技术保护点】
1.一种计算机实现的预测和/或校正相位漂移的方法，所述方法包括/n通过处理器接收表示样本图像的原始数据集，/n通过使用度量算法分析所述原始数据集识别第一极值集，/n通过分析所述第一极值集识别第二极值集，以及/n基于所述第二极值集，生成所述样本的重建图像。/n

【技术特征摘要】
【国外来华专利技术】20181026 US 62/751,2641.一种计算机实现的预测和/或校正相位漂移的方法，所述方法包括
通过处理器接收表示样本图像的原始数据集，
通过使用度量算法分析所述原始数据集识别第一极值集，
通过分析所述第一极值集识别第二极值集，以及
基于所述第二极值集，生成所述样本的重建图像。


2.根据权利要求1所述的计算机实现的方法，其进一步包括：
使用单轴共聚焦内窥镜获得所述原始数据集。


3.根据权利要求1所述的计算机实现的方法，其进一步包括：
使用双轴共焦内窥镜获得所述原始数据集。


4.根据权利要求1所述的计算机实现的方法，其中接收表示样本图像的原始数据集包括使用微机电系统镜或振镜。


5.根据权利要求1所述的计算机实现的方法，其中所述样本是组织样本。


6.根据权利要求1所述的计算机实现的方法，
其中识别第一极值集包括在受控环境中实验确定初始极值集，并且
其中通过分析第一极值集识别第二极值集包括在第一极值集附近执行局部搜索。


7.根据权利要求1所述的计算机实现的方法，
其中识别第一极值集包括使用预定域上的全局搜索确定近似的初始极值集，并且
其中通过分析第一极值集识别第二极值集包括在所述近似的初始极值集附近执行局部搜索。


8.根据权利要求1所述的计算机实现的方法，其中识别第一极值集包括使用梯度搜索算法或斐波那契搜索算法。


9.根据权利要求1所述的计算机实现的方法，
其中所述度量算法是模糊度量，并且
其中通过使用模糊度量分析原始数据集识别第一极值集包括通过使用预定阈值对所述原始数据进行二值化来生成二值化数据集。


10.根据权利要求9所述的计算机实现的方法，其中所述预定阈值大约是所述原始数据中的值集合的平均值。


11.根据权利要求1所述的计算机实现的方法，
其中所述度量算法为清晰度度量，并且
其中通过使用清晰度度量分析原始数据集识别第一极值集包括计算像素强度的方差。


12.一种计算系统，包括：
相位校正扫描仪，
一个或多个处理器，
显示设备，

【专利技术属性】
技术研发人员：肯·奥尔德姆，托马斯·D·王，马尤尔·布尚·伯尔勒，段西雨，
申请(专利权)人：密歇根大学董事会，
类型：发明
国别省市：美国;US