图像处理装置、摄像系统、图像处理装置的工作方法以及图像处理装置的工作程序制造方法及图纸

图像处理装置具备：荧光量估计部，其估计在通过荧光显微镜拍摄组织组而得到的荧光图像所包含的各像素中由荧光色素组的各荧光色素发出的荧光的光量，其中，所述荧光色素组包含1个以上的荧光色素，所述组织组包含使用所述荧光色素组进行染色而得到的1个以上的组织；组织量估计部，其基于所述荧光量估计部估计出的光量，来估计所述组织组的各组织的组织量；色素量估计部，其基于所述组织量估计部估计出的组织量，来估计通过透射型显微镜拍摄了使用明场色素组进行染色而得到的所述组织组的情况下的所述明场色素组的各色素的假想的色素量，其中，所述明场色素组包含1个以上的色素；以及透射光图像生成部，其根据所述色素量估计部估计出的色素量，生成假想的透射光图像。由此，提供通过对荧光图像实施图像处理而能够生成精度高的透射光图像的图像处理装置。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、摄像系统、图像处理装置的工作方法以及图像处理装置的工作程序
本专利技术涉及图像处理装置、摄像系统、图像处理装置的工作方法以及图像处理装置的工作程序。
技术介绍
在病理诊断中，对从患者摘出的检体实施切出、固定、包埋、薄切、染色、封入等处理，制作病理标本。然后，利用显微镜对病理标本进行观察，根据组织形状和染色状态来诊断有无疾病或疾病的程度。作为基于显微镜的观察而使用透射光观察，在该透射光观察中，对病理标本照射光，对透射过病理标本的光进行放大观察。此外，通过对HE(HematoxylinEosin)染色后的病理标本进行透射光观察而进行初始诊断。在HE染色中，细胞核或骨组织等组织被染色为蓝紫色，细胞质、结合组织、红血球等组织被染色为红色。然后，通过对染色后的组织的形状进行观察，能够从形态上诊断有无疾病。另外，透射光观察是对光的衰减进行观察，因此，不适合于厚标本的观察。此外，作为基于显微镜的观察而使用荧光观察，在该荧光观察中，对通过荧光色素染色后的标本照射激励光，通过荧光显微镜对标本发出的荧光进行放大观察。荧光观察是对光的发光进行观察，因此，能够观察比透射光观察中的标本厚的标本。通过将照相机连接于显微镜而进行拍摄，能够将病理标本图像化。此外，在虚拟显微镜系统(虚拟幻灯片系统)中，能够将病理标本整体图像化。通过将病理标本图像化，能够在教育、远程病理等中利用图像。此外，开发出通过对病理标本图像实施图像处理来辅助诊断的方法。为了辅助诊断，具有通过图像处理来模仿病理医生的诊断的方法、以及使用大量的示教数据来进行机器学习的方法。在机器学习中，使用线性判别、深度学习等。在病理诊断中，由于病理医生的不足等，导致病理医生的负担变大。因此，通过诊断辅助，期待减轻病理医生的负担。作为针对病理标本图像的图像处理，例如在专利文献1中提出了如下的方法：通过对HE染色图像实施图像处理，假想地生成特殊染色等不同的染色图像。如上所述，厚标本不适合于透射光观察，但能够通过荧光观察进行观察。因此，如果能够通过对荧光图像实施图像处理而生成假想的透射光图像，则能够对厚标本假想地进行透射光观察。例如，在非专利文献1中提出了如下的方法：通过对拍摄厚标本而得到的荧光图像实施图像处理，从而生成假想的透射光图像。现有技术文献专利文献专利文献1：日本特表2014-526700号公报非专利文献非专利文献1：”MicroscopywithUVSurfaceExcitation(MUSE)forslide-freehistologyandpathologyimaging”，FarzadFereidouni，AnanyaDatta-Mitra，StavrosDemosandRichardLevenson，SPIEVol.9318
技术实现思路
专利技术要解决的问题但是，实际上即便对荧光图像在颜色空间内实施图像处理而生成假想的透射光图像，也无法生成精度高的透射光图像。本专利技术是鉴于上述情况而完成的，其目的在于，提供一种通过对荧光图像实施图像处理而能够生成精度高的透射光图像的图像处理装置、摄像系统、图像处理装置的工作方法、以及图像处理装置的工作程序。用于解决问题的手段为了解决上述问题，实现目的，本专利技术的一方案的图像处理装置具备：荧光量估计部，其估计在通过荧光显微镜拍摄组织组而得到的荧光图像所包含的各像素中由荧光色素组的各荧光色素发出的荧光的光量，其中，所述荧光色素组包含1个以上的荧光色素，所述组织组包含使用所述荧光色素组进行染色而得到的1个以上的组织；组织量估计部，其基于所述荧光量估计部估计出的光量，来估计所述组织组的各组织的组织量；色素量估计部，其基于所述组织量估计部估计出的组织量，来估计通过透射型显微镜拍摄了使用明场色素组进行染色而得到的所述组织组的情况下的所述明场色素组的各色素的假想的色素量，其中，所述明场色素组包含1个以上的色素；以及透射光图像生成部，其根据所述色素量估计部估计出的色素量，生成假想的透射光图像。此外，本专利技术的一方案的图像处理装置还具备图像校正部，该图像校正部校正所述荧光图像、基于所述荧光量估计部估计出的光量而生成的荧光量图像、基于所述组织量估计部估计出的组织量而生成的组织量图像、基于所述色素量估计部估计出的色素量而生成的色素量图像、以及所述透射光图像中的任意图像。此外，在本专利技术的一方案的图像处理装置中，所述组织量估计部根据各像素来估计多个组织的组织量，所述色素量估计部根据各组织来估计多个色素的色素量，所述透射光图像生成部将所述色素量估计部估计出的多个色素的色素量合成而生成所述透射光图像。此外，在本专利技术的一方案的图像处理装置中，所述荧光量估计部使用伪逆矩阵Pf，通过以下的式(2)来估计所述荧光色素组发出的荧光的光量Af，其中，所述伪逆矩阵Pf是利用矩阵Bf并通过以下的式(1)而计算的，所述矩阵Bf是基于所述荧光色素组的各荧光色素的基准光谱而计算的矩阵。[数式1]At(x,y)＝Pf·Sf(x,y)…(1)[数式2]此外，在本专利技术的一方案的图像处理装置中，所述组织量估计部将所述荧光量估计部估计出的所述荧光色素组的各荧光色素发出的荧光的光量与根据荧光色素而决定的系数相乘，并取各乘积的总和，由此计算所述组织组的各组织量。此外，在本专利技术的一方案的图像处理装置中，所述色素量估计部将所述组织量估计部估计出的所述组织组的各组织量与根据组织而决定的系数相乘，并取各乘积的总和，由此计算所述明场色素组的各色素量。此外，在本专利技术的一方案的图像处理装置中，所述色素量估计部使用基于所述明场色素组的各色素的基准光谱而计算的吸光度光谱sa，通过以下的式(3)，估计所述明场色素组的假想的透射率st，基于所述透射率st而生成所述透射光图像。[数式3]此外，本专利技术的一方案的摄像系统具备：图像处理装置；照明部，其产生向标本照射的激励光；照明光学系统，其向所述标本照射由所述照明部产生的所述激励光；成像光学系统，其使来自所述标本的所述荧光成像；以及摄像部，其拍摄由所述成像光学系统成像的所述荧光。此外，在本专利技术的一方案的图像处理装置的工作方法中，荧光量估计部估计在通过荧光显微镜拍摄组织组而得到的荧光图像所包含的各像素中由荧光色素组的各荧光色素发出的荧光的光量，其中，所述荧光色素组包含1个以上的荧光色素，所述组织组包含使用所述荧光色素组进行染色而得到的1个以上的组织，组织量估计部基于所述荧光量估计部估计出的光量，来估计所述组织组的各组织的组织量，色素量估计部基于所述组织量估计部估计出的组织量，来估计通过透射型显微镜拍摄了使用明场色素组进行染色而得到的所述组织组的情况下的所述明场色素组的各色素的假想的色素量，其中，所述明场色素组包含1个以上的色素，透射光图像生成部根据所述色素量估计部估计出的色素量，生成假想的透射光图像。此外，本专利技术的一方案的图像处理装置的工作程序使图像处理装置执本文档来自技高网...

【技术保护点】
1.一种图像处理装置，其中，/n所述图像处理装置具备：/n荧光量估计部，其估计在通过荧光显微镜拍摄组织组而得到的荧光图像所包含的各像素中由荧光色素组的各荧光色素发出的荧光的光量，其中，所述荧光色素组包含1个以上的荧光色素，所述组织组包含使用所述荧光色素组进行染色而得到的1个以上的组织；/n组织量估计部，其基于所述荧光量估计部估计出的光量，来估计所述组织组的各组织的组织量；/n色素量估计部，其基于所述组织量估计部估计出的组织量，来估计通过透射型显微镜拍摄了使用明场色素组进行染色而得到的所述组织组的情况下的所述明场色素组的各色素的假想的色素量，其中，所述明场色素组包含1个以上的色素；以及/n透射光图像生成部，其根据所述色素量估计部估计出的色素量，生成假想的透射光图像。/n

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，其中，
所述图像处理装置具备：
荧光量估计部，其估计在通过荧光显微镜拍摄组织组而得到的荧光图像所包含的各像素中由荧光色素组的各荧光色素发出的荧光的光量，其中，所述荧光色素组包含1个以上的荧光色素，所述组织组包含使用所述荧光色素组进行染色而得到的1个以上的组织；
组织量估计部，其基于所述荧光量估计部估计出的光量，来估计所述组织组的各组织的组织量；
色素量估计部，其基于所述组织量估计部估计出的组织量，来估计通过透射型显微镜拍摄了使用明场色素组进行染色而得到的所述组织组的情况下的所述明场色素组的各色素的假想的色素量，其中，所述明场色素组包含1个以上的色素；以及
透射光图像生成部，其根据所述色素量估计部估计出的色素量，生成假想的透射光图像。


2.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置还具备图像校正部，该图像校正部校正所述荧光图像、基于所述荧光量估计部估计出的光量而生成的荧光量图像、基于所述组织量估计部估计出的组织量而生成的组织量图像、基于所述色素量估计部估计出的色素量而生成的色素量图像、以及所述透射光图像中的任意图像。


3.根据权利要求1或2所述的图像处理装置，其中，
所述组织量估计部根据各像素来估计多个组织的组织量，
所述色素量估计部根据各组织来估计多个色素的色素量，
所述透射光图像生成部将所述色素量估计部估计出的多个色素的色素量合成而生成所述透射光图像。


4.根据权利要求1至3中的任意一项所述的图像处理装置，其中，
所述荧光量估计部使用伪逆矩阵Pf，通过以下的式(2)来估计所述荧光色素组发出的荧光的光量Af，其中，所述伪逆矩阵Pf是利用矩阵Bf并通过以下的式(1)而计算的，所述矩阵Bf是基于所述荧光色素组的各荧光色素的基准光谱而计算的矩阵，
[数式1]
Af(x，y)＝Pf·Sf(x，y)…(1)
[数式2]





5.根据权利要求1至4中的任意一项所述的图像处理装置，其中，
所述组织量估计部将所述荧光量估计部估计出的所述荧光色素组的各荧光色素发出的荧光的光量与根据荧光色素而决定的系数相乘，并取各乘积的总和，由此计算所述组织组的各组织量。


6.根据权利要求1至5中的任意一项所述的图像处理装置，其中，
所述色素量估计部将所述组织量估计部估计出的所述组织组的各组织...

【专利技术属性】
技术研发人员：大塚武，堀邦夫，
申请(专利权)人：奥林巴斯株式会社，
类型：发明
国别省市：日本;JP