显微图像的显示方法、显示装置及包含该装置的成像系统制造方法及图纸

本发明专利技术涉及显微图像的显示方法、显示装置及包含该显示装置的成像系统；其中，显示方法包括采集经显微镜对样本曝光得到的多个不同视角的低分辨率样本图像；将低分辨率样本图像映射到高分辨率网格图上；对各高分辨率样本图像进行三维重构；显示装置包括图像采集模块、映射模块和三维重构模块，可以用于执行所述显示方法。与现有技术相比，本发明专利技术提供的显示方法和显示装置能够对显微图像进行高分辨率显示，成像系统具有较高的空间分辨率和景深值。

Display method of microscopic image, display device and imaging system including the same

The present invention relates to a display method, image display device and display device comprising the imaging system; wherein, the display method includes collection of samples through a microscope exposure obtained a plurality of different perspectives of the low resolution image; low resolution sample image is mapped to a high resolution grid map; three-dimensional reconstruction of the high resolution sample image; the display device comprises an image acquisition module, mapping module and 3D reconstruction module, can be used to execute the display method. Compared with the prior art, the display method and the display device provided by the invention can display micro images with high resolution, and the imaging system has high spatial resolution and depth of field values.

【技术实现步骤摘要】
显微图像的显示方法、显示装置及包含该装置的成像系统
本专利技术涉及显微光学
，具体涉及一种显微图像的显示方法、显示装置及包含该显示装置的成像系统。
技术介绍
三维显微镜相较于传统显微镜可以获取样本的三维信息，因此在医学、生物学、精密工业检测和神经科学等领域发挥着重要作用。三维显微镜的图像采集方式主要包括侵入式图像采集方式和非侵入式图像采集方式。其中，侵入式图像采集方式，如扫描式图像采集方式，虽然可以获得较高的图像分辨率，但是难以获取样本的实时动态信息，而且强光照射还会对样本产生漂白。非侵入式图像采集方式，如基于光场理论技术的光场显微镜技术，通过采集样本的空间-角度数据，并采用三维重构算法对样本数据进行计算，实现样本的三维重建，并不会影响样本的原本形态，同时还可以获得样本的实时动态信息。光场显微镜(LightFieldMicroscopy,LFM)，基于光场显微镜技术，在传统显微镜的中间像平面处设置微透镜阵列，能够一次曝光得到多个视角的平面图像，从而得到大景深的显微图像，并可进行三维重建。但是，光场显微镜LFM所获得的各视角子图像的空间分辨率受微透镜阵列中透镜个数的限制，如果采用小尺寸的微透镜阵列提高各视角子图像的空间分辨率，又会降低光场显微镜LFM的景深值，进而影响样本的显示效果。
技术实现思路
为了解决现有技术中的上述问题，即为了解决光场显微镜难以显示高空间分辨率图像的技术问题，本专利技术提供了一种显微图像的显示方法、显示装置及包含该装置的成像系统。第一方面，本专利技术中显微图像的显示方法的技术方案是：采集经显微镜对样本曝光得到的多个不同视角的低分辨率样本图像；依据所述各低分辨率样本图像的视差偏移量，依次将所述各低分辨率样本图像映射到与各自的视差偏移量对应的高分辨率网格图上，进而得到所述的多个不同视角的高分辨率样本图像；对所述各高分辨率样本图像进行三维重构，得到所述样本的三维面型。进一步地，本专利技术提供的一个优选技术方案为：所述将各低分辨率样本图像映射到与各自的视差偏移量对应的高分辨率网格图上，具体包括：获取各非参考图像中与参考图像的参考点像素对应的各对应点像素；计算所述参考点像素与各对应点像素的RGB值偏差，并按照所述RGB值偏差由小到大的顺序，选取映射到高分辨率网格图上的n-1个对应点像素；将所述参考点像素和所述的n-1个对应点像素映射到所述参考图像的高分辨率网格图上；其中，所述参考图像为所述低分辨率样本图像中进行映射的目标图像，非参考图像为所述低分辨率样本图像中参考图像以外的图像；所述参考点像素为所述参考图像中进行映射的目标像素；所述n为高分辨率网格图的像素数量相对于低分辨率样本图像的像素数量的倍数，n＜N，N为所述非参考图像的总数。进一步地，本专利技术提供的一个优选技术方案为：所述将各低分辨率样本图像映射到与各自的视差偏移量对应的高分辨率网格图上之前包括：采用光流法获取所述低分辨率样本图像的视差偏移量；所述对各高分辨率样本图像进行三维重构之前包括：对所述高分辨率样本图像进行滤波。第二方面，本专利技术中显微图像的显示装置的技术方案是：所述装置包括：图像采集模块，用于采集经显微镜对样本曝光得到的多个不同视角的低分辨率样本图像；映射模块，用于依据所述各低分辨率样本图像的视差偏移量，依次将所述各低分辨率样本图像映射到与各自的视差偏移量对应的高分辨率网格图上，进而得到所述的多个不同视角的高分辨率样本图像；三维重构模块，用于对所述各高分辨率样本图像进行三维重构，得到所述样本的三维面型。进一步地，本专利技术提供的一个优选技术方案为：所述映射模块包括采集单元、计算单元和映射单元；所述采集单元，用于获取各非参考图像中与参考图像的参考点像素对应的各对应点像素；所述计算单元，用于计算所述参考点像素与各对应点像素的RGB值偏差，并按照所述RGB值偏差由小到大的顺序，选取映射到高分辨率网格图上的n-1个对应点像素；所述映射单元，用于将所述参考点像素和所述的n-1个对应点像素映射到所述参考图像的高分辨率网格图上；其中，所述参考图像为所述低分辨率样本图像中进行映射的目标图像，非参考图像为所述低分辨率样本图像中参考图以外的图像；所述n为高分辨率网格图的像素数量相对于低分辨率样本图像的像素数量的倍数n，n＜N，N为所述非参考图像的总数。进一步地，本专利技术提供的一个优选技术方案为：所述映射模块包括视差计算单元；所述视差计算单元，用于采用光流法获取所述低分辨率样本图像的视差偏移量；所述三维重构模块包括滤波单元；所述滤波单元，用于对所述高分辨率样本图像进行滤波。第三方面，本专利技术中成像系统的技术方案是：所述成像系统包括上述技术方案所述的显微图像的显示装置；进一步地，所述成像系统还包括显微镜、光阑放大模块和透镜阵列模块；其中，所述显微镜的光轴、光阑放大模块的光轴和透镜阵列模块的中心处于同一光轴上；所述光阑放大模块设置在经所述显微镜得到的样本的中间成像面处，用于对所述显微镜的物镜光阑产生的共轭像进行放大，形成共轭光阑面；所述透镜阵列模块设置在所述共轭光阑面处，用于获取多个不同视角的低分辨率样本图像。进一步地，本专利技术提供的一个优选技术方案为：所述透镜阵列模块包括按照蜂窝状排布的多个透镜，且所述透镜的数量至少为7；或者，所述透镜阵列模块包括按照NM×NM阵列式排布的多个透镜，且所述NM≥3。进一步地，本专利技术提供的一个优选技术方案为：所述成像系统还包括用于确定所述NM×NM阵列式的数值NM的确定模块；所述确定模块包括如下式所示的确定模型：其中，所述p为所述显示装置中图像采集模块采集到的低分辨率样本图像的单个像素值；所述M为所述显微镜的放大倍数；所述NAobjective为所述显微镜中物镜的数值孔径；所述λ为光波长。进一步地，本专利技术提供的一个优选技术方案为：所述成像系统中透镜阵列模块的透镜包括胶合透镜；所述成像系统中光阑放大模块包括胶合透镜。与现有技术相比，上述技术方案至少具有以下有益效果：1、本专利技术提供的一种显微图像的显示方法，通过将经显微镜曝光得到的不同视角的低分辨率样本图像，映射到高分辨率网格图上，然后对不同视角的高分辨率样本图像进行三维重构得到高分辨率的样本三维面型，可以获得样本的瞬时图像，同时样本显示图像的分辨率直接由低分辨率样本图像的图像采集装置的分辨率决定，不需要对显微镜进行较大的结构改动即可获得高分辨率的样本显示图像；2、本专利技术提供的一种显微图像的显示装置，其图像采集模块可以采集将经显微镜曝光得到的不同视角的低分辨率样本图像，映射模块可以将低分辨率样本图像映射到高分辨率网格图上，三维重构模块可以对不同视角的高分辨率样本图像进行三维重构得到高分辨率的样本三维面型；该显示装置可以获得样本的瞬时图像，同时样本显示图像的分辨率直接由图像采集模块的分辨率决定，不需要对显微镜进行较大的结构改动即可获得高分辨率的样本显示图像。3、本专利技术提供的一种成像系统，其包括上述技术方案所述的显示装置，使得该成像系统兼具高空间分辨率和大景深，从而实现了对样本进行高分辨率图像显示。附图说明图1是本专利技术实施例中一种显微图像的显示方法实施流程图；图2是本专利技术实施例中一种成像系统结构示意图；图3是本专利技术实施例中成像系统的光路仿真示意图；图4是本专利技术实施例中透镜阵列模块结构示意本文档来自技高网...

【技术保护点】
一种显微图像的显示方法，其特征在于，所述方法包括：采集经显微镜对样本曝光得到的多个不同视角的低分辨率样本图像；依据所述各低分辨率样本图像的视差偏移量，依次将所述各低分辨率样本图像映射到与各自的视差偏移量对应的高分辨率网格图上，进而得到所述的多个不同视角的高分辨率样本图像；对所述各高分辨率样本图像进行三维重构，得到所述样本的三维面型。

【技术特征摘要】
1.一种显微图像的显示方法，其特征在于，所述方法包括：采集经显微镜对样本曝光得到的多个不同视角的低分辨率样本图像；依据所述各低分辨率样本图像的视差偏移量，依次将所述各低分辨率样本图像映射到与各自的视差偏移量对应的高分辨率网格图上，进而得到所述的多个不同视角的高分辨率样本图像；对所述各高分辨率样本图像进行三维重构，得到所述样本的三维面型。2.根据权利要求1所述的显微图像的显示方法，其特征在于，所述将各低分辨率样本图像映射到与各自的视差偏移量对应的高分辨率网格图上，具体包括：获取各非参考图像中与参考图像的参考点像素对应的各对应点像素；计算所述参考点像素与各对应点像素的RGB值偏差，并按照所述RGB值偏差由小到大的顺序，选取映射到高分辨率网格图上的n-1个对应点像素；将所述参考点像素和所述的n-1个对应点像素映射到所述参考图像的高分辨率网格图上；其中，所述参考图像为所述低分辨率样本图像中进行映射的目标图像，非参考图像为所述低分辨率样本图像中参考图像以外的图像；所述参考点像素为所述参考图像中进行映射的目标像素；所述n为高分辨率网格图的像素数量相对于低分辨率样本图像的像素数量的倍数，n＜N，N为所述非参考图像的总数。3.根据权利要求1或2所述的显微图像的显示方法，其特征在于，所述将各低分辨率样本图像映射到与各自的视差偏移量对应的高分辨率网格图上之前包括：采用光流法获取所述低分辨率样本图像的视差偏移量；所述对各高分辨率样本图像进行三维重构之前包括：对所述高分辨率样本图像进行滤波。4.一种显微图像的显示装置，其特征在于，所述装置包括：图像采集模块，用于采集经显微镜对样本曝光得到的多个不同视角的低分辨率样本图像；映射模块，用于依据所述各低分辨率样本图像的视差偏移量，依次将所述各低分辨率样本图像映射到与各自的视差偏移量对应的高分辨率网格图上，进而得到所述的多个不同视角的高分辨率样本图像；三维重构模块，用于对所述各高分辨率样本图像进行三维重构，得到所述样本的三维面型。5.根据权利要求4所述的显微图像的显示装置，其特征在于，所述映射模块包括采集单元、计算单元和映射单元；所述采集单元，用于获取各非参考图像中与参考图像的参考点像素对应的各...

【专利技术属性】
技术研发人员：张梅，耿征，裴仁静，曹煊，张赵行，孟祥冰，王蓉，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11