一种基于深度学习的无透镜显微成像系统及方法技术方案

本发明专利技术提供一种基于深度学习的无透镜显微成像系统及方法，涉及无透镜显微成像领域，包括：无透镜显微成像模块，包括样品微腔，用于装载细胞样品，样品微腔的底部紧贴图像传感器芯片的表面，图像传感器芯片用于记录细胞样品的投影显微图像；光源模块，用于在细胞样品成像时提供光源；微流控模块，用于向样品微腔中定量注入细胞样品；明场显微镜，用于记录细胞样品的明场显微图像；图像处理与显示模块，用于将相同视场下的投影显微图像和明场显微图像一一对应生成图像对，并根据各图像对训练得到深度学习网络模型，并显示模型训练结果。有益效果是在保持无透镜显微的大视场优势的同时提高了成像分辨率，也能在成像风格上更接近于显微镜的效果。

【技术实现步骤摘要】
一种基于深度学习的无透镜显微成像系统及方法
本专利技术涉及无透镜显微成像
，尤其涉及一种基于深度学习的无透镜显微成像系统及方法。
技术介绍
深度学习是当今的一个热门研究方向，其技术广泛运用于科技发展的各个领域，并取得了更好的效果。神经网络是深度学习的主要实现方法，而神经网络中的生成对抗网络(GAN)，更是在图像处理、计算机视觉等领域有着十分重要的作用。生成对抗网络由生成器和判别器两部分的网络组成，生成器G用于生成样本，判别器D用于判断这个样本是否为真实样本。在图像处理方面，G用于产生随机噪声并生成假图，D则根据真假图进行二分类的训练。D根据输入的图像生成相应的分数，分数表示G生成的图像是否接近真实图像，进而进一步的训练G生成更好的图像。无透镜显微成像是一种在不利用透镜的情况下，使用图像传感器芯片进行显微成像的技术。相比于传统光学显微镜，无透镜显微不仅可以满足大视场、高分辨率的要求，同时因其体积小、操作容易、价格低廉、简易便携等特点，成为了当下热门的研发领域。可以预见，无透镜显微技术未来在医疗普及、细胞检测、医疗救援及远程医疗等方面将会有十分广泛的应用前景。无透镜投影显微技术是无透镜显微技术中的一种特殊情况。其特殊性在于该技术仅分析样本的投影强度，无需进行重建或相位恢复，就可以实现样本识别和计数等功能。投影成像可以被看作是最小化样本-传感器距离的同轴光路，从而可以将图像传感器采集到的原始强度图像直接作为样本的二维投影，从而最小化设备体积和重量，缩短时间，减轻计算平台负担，成为最成熟的无透镜显微成像方法。然而当前的无透镜显微成像设备与光学明场显微镜相比，在分辨率和成像风格上还存在着一定的差距。成像分辨率较低会使观测结果产生误差，成像风格不同会背离观测人员的观察习惯。
技术实现思路
针对现有技术中存在的问题，本专利技术提供一种基于深度学习的无透镜显微成像系统，具体包括：一无透镜显微成像模块，包括样品微腔和图像传感器芯片，所述样品微腔用于装载细胞样品，所述样品微腔的底部紧贴所述图像传感器芯片的表面，所述图像传感器芯片用于记录所述细胞样品的投影显微图像；一光源模块，设置于所述无透镜显微成像模块的正上方，且所述光源模块的发光面覆盖整个所述图像传感器芯片，所述光源模块用于在所述细胞样品成像时提供光源；一微流控模块，连接所述样品微腔，所述微流控模块用于向所述样品微腔中定量注入所述细胞样品；一明场显微镜，用于记录所述细胞样品的明场显微图像；一图像处理与显示模块，分别连接所述图像传感器芯片和所述明场显微镜，用于将相同视场下的所述投影显微图像和所述明场显微图像一一对应生成图像对，并根据各所述图像对训练得到深度学习网络模型，并显示模型训练结果。优选的，还包括一时序控制模块，分别连接所述图像传感器芯片、所述光源模块、所述明场显微镜和所述图像处理与显示模块，用于控制所述图像传感器芯片、所述光源模块、所述明场显微镜和所述图像处理与显示模块的工作时序。优选的，所述样品微腔包括顶板、底板以及所述位于所述顶板和所述底板之间的腔体，所述底板紧贴所述图像传感器芯片的表面。优选的，所述顶板的厚度≥50μm，所述底板的厚度为5μm～100μm，所述腔体的高度为50μm～100μm。优选的，所述底板为长方形且所述底板完全覆盖所述图像传感器芯片的表面。优选的，所述腔体的两端分别设有一进样口和一出样口，所述进样口和所述出样口分别与所述底板垂直。优选的，所述微流控模块包括注射器和橡胶导管，所述橡胶导管分别连接所述注射器和所述进样口，所述注射器通过所述橡胶导管向所述进样口定量注入所述细胞样品。优选的，所述出样口通过所述橡胶导管连接一废液池，所述样品微腔中的所述细胞样品通过所述出样口并经由所述橡胶导管排出至所述废液池。优选的，所述光源模块为LED点光源。优选的，所述图像传感器芯片为COMS图像传感器结构，或半浮栅晶体管结构，或复合介质栅光敏探测器阵列结构。优选的，所述图像传感器芯片的像素数目≥1000万。优选的，所述图像处理与显示模块包括：图像预处理单元，用于将相同视场下的所述投影显微图像和所述明场显微图像一一对应生成图像对，将各所述图像对加入一数据集并对所述数据集进行扩充；模型训练单元，连接所述图像预处理单元，用于构建生成对抗网络的网络结构和相应的损失函数，根据扩充后的所述数据集训练得到深度学习网络模型，并显示模型训练结果。优选的，所述图像处理与显示模块还包括：图像处理单元，连接所述模型训练单元，用于获取单幅所述投影显微图像，并将所述投影显微图像输入所述深度学习网络模型进行处理得到具有所述明场显微图像的成像分辨率和成像风格的图像。优选的，所述生成对抗网络包括生成器网络，所述生成器网络包括一下采样过程和一上采样过程；所述下采样过程包括一第一卷积块，所述第一卷积块的输出作为一第二卷积块的输入，所述第二卷积块的输出作为一第三卷积块的输入，所述第三卷积块的输出作为一第四卷积块的输入，所述第四卷积块的输出作为一第五卷积块的输入；所述上采样过程包括一第六卷积块，所述第五卷积块的输出和所述第四卷积块的输出特征融合后作为所述第六卷积块的输入，所述第六卷积块的输出和所述第三卷积块的输出特征融合后作为一第七卷积块的输入，所述第七卷积块的输出和所述第二卷积块的输出特征融合后作为一第八卷积块的输入，所述第八卷积块的输出和所述第一卷积块的输出特征融合后作为一第九卷积块的输入，所述第九卷积块的输出为所述生成器网络的输出。优选的，所述生成器网络采用的损失函数为LG，其计算公式如下：LG＝[D(G(x))-1]2+αMAE(x,y)其中，其中，x表示所述投影显微图像；y表示所述明场显微图像；G(x)表示所述生成器网络输出的图像；D(G(x))表示判别器网络判断所述生成器网络输出的图像是否真实的概率；α表示调节参数；MAE表示平均绝对误差；L表示图像尺寸；m表示图像的行数；n表示图像的列数。优选的，所述生成对抗网络包括判别器网络，所述判别器网络包括依次连接的六个卷积块、一展平层、一平均池化层和两个全连接层，最后一个所述全连接层的输出为所述判别器网络的输出。优选的，所述判别器网络采用的损失函数为LD，其计算公式如下：LD＝[D(G(x))]2+[D(y)-1]2其中，y表示所述明场显微图像；D(y)表示所述判别器网络判断所述明场显示图像是否真实的概率；G(x)表示所述生成器网络输出的图像；D(G(x))表示判别器网络判断所述生成器网络输出的图像是否真实的概率。优选的，所述判别器网络的训练过程中采用Adam优化器对所述损失函数进行优化。一种基于深度学习的无透镜显微成像方法，应用于上述任意一项所述的无透镜显微成像系统，所述无透镜显微成像方法包括：步骤S1，所述微流控模块向所述样品微腔内注入定量的所述细胞样品；步骤S2，所述光源模块在本文档来自技高网...

【技术保护点】
1.一种基于深度学习的无透镜显微成像系统，其特征在于，具体包括：/n一无透镜显微成像模块，包括样品微腔和图像传感器芯片，所述样品微腔用于装载细胞样品，所述样品微腔的底部紧贴所述图像传感器芯片的表面，所述图像传感器芯片用于记录所述细胞样品的投影显微图像；/n一光源模块，设置于所述无透镜显微成像模块的正上方，且所述光源模块的发光面覆盖整个所述图像传感器芯片，所述光源模块用于在所述细胞样品成像时提供光源；/n一微流控模块，连接所述样品微腔，所述微流控模块用于向所述样品微腔中定量注入所述细胞样品；/n一明场显微镜，用于记录所述细胞样品的明场显微图像；/n一图像处理与显示模块，分别连接所述图像传感器芯片和所述明场显微镜，用于将相同视场下的所述投影显微图像和所述明场显微图像一一对应生成图像对，并根据各所述图像对训练得到深度学习网络模型，并显示模型训练结果。/n

【技术特征摘要】
1.一种基于深度学习的无透镜显微成像系统，其特征在于，具体包括：
一无透镜显微成像模块，包括样品微腔和图像传感器芯片，所述样品微腔用于装载细胞样品，所述样品微腔的底部紧贴所述图像传感器芯片的表面，所述图像传感器芯片用于记录所述细胞样品的投影显微图像；
一光源模块，设置于所述无透镜显微成像模块的正上方，且所述光源模块的发光面覆盖整个所述图像传感器芯片，所述光源模块用于在所述细胞样品成像时提供光源；
一微流控模块，连接所述样品微腔，所述微流控模块用于向所述样品微腔中定量注入所述细胞样品；
一明场显微镜，用于记录所述细胞样品的明场显微图像；
一图像处理与显示模块，分别连接所述图像传感器芯片和所述明场显微镜，用于将相同视场下的所述投影显微图像和所述明场显微图像一一对应生成图像对，并根据各所述图像对训练得到深度学习网络模型，并显示模型训练结果。


2.根据权利要求1所述的无透镜显微成像系统，其特征在于，还包括一时序控制模块，分别连接所述图像传感器芯片、所述光源模块、所述明场显微镜和所述图像处理与显示模块，用于控制所述图像传感器芯片、所述光源模块、所述明场显微镜和所述图像处理与显示模块的工作时序。


3.根据权利要求1所述的无透镜显微成像系统，其特征在于，所述样品微腔包括顶板、底板以及所述位于所述顶板和所述底板之间的腔体，所述底板紧贴所述图像传感器芯片的表面。


4.根据权利要求3所述的无透镜显微成像系统，其特征在于，所述顶板的厚度≥50μm，所述底板的厚度为5μm～100μm，所述腔体的高度为50μm～100μm。


5.根据权利要求3所述的无透镜显微成像系统，其特征在于，所述底板为长方形且所述底板完全覆盖所述图像传感器芯片的表面。


6.根据权利要求3所述的无透镜显微成像系统，其特征在于，所述腔体的两端分别设有一进样口和一出样口，所述进样口和所述出样口分别与所述底板垂直。


7.根据权利要求6所述的无透镜显微成像系统，其特征在于，所述微流控模块包括注射器和橡胶导管，所述橡胶导管分别连接所述注射器和所述进样口，所述注射器通过所述橡胶导管向所述进样口定量注入所述细胞样品。


8.根据权利要求7所述的无透镜显微成像系统，其特征在于，所述出样口通过所述橡胶导管连接一废液池，所述样品微腔中的所述细胞样品通过所述出样口并经由所述橡胶导管排出至所述废液池。


9.根据权利要求1所述的无透镜显微成像系统，其特征在于，所述光源模块为LED点光源。


10.根据权利要求1所述的无透镜显微成像系统，其特征在于，所述图像传感器芯片为COMS图像传感器结构，或半浮栅晶体管结构，或复合介质栅光敏探测器阵列结构。


11.根据权利要求10所述的无透镜显微成像系统，其特征在于，所述图像传感器芯片的像素数目≥1000万。


12.根据权利要求1所述的无透镜显微成像系统，其特征在于，所述图像处理与显示模块包括：
图像预处理单元，用于将相同视场下的所述投影显微图像和所述明场显微图像一一对应生成图像对，将各所述图像对加入一数据集并对所述数据集进行扩充；
模型训练单元，连接所述图像预处理单元，用于构建生成对抗网络的网络结构和相应的损失函数，根据扩充后的所述数据集训练得到得到深度学习网络模型，并显示模型训练结果。


13.根据权利要求12所述的无透镜显微成像系统，其特征在于，所述图像处理与显示模块还包括：
图像处理单元，连接所述模型训练单元，用于获取单幅所述投影显微图像，并将所述投影显微图像输入所述深度学习网络模型进行处理得到具有所述明场显微图像的成像分辨率和成像风格的图像。


14.根据权利要求12所述的无透镜显微成像系统，其特征在于，...

【专利技术属性】
技术研发人员：杨程，沈心雨，闫锋，曹雪芸，林岚昆，孟云龙，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32