胶囊内镜肠道图像的拼接方法、装置、存储介质和设备制造方法及图纸

本发明专利技术公开了一种胶囊内镜肠道图像的拼接方法、装置、存储介质和设备。该方法包括：对各幅原始肠道图像分别进行裁剪处理，获得圆形肠道图像；对圆形肠道图像集中具有景深区域的图像进行旋转校正处理，获得校正图像集；将校正图像集中的各幅图像进行极坐标变换并展开为矩形肠道图像；计算矩形肠道图像集中每一当前幅矩形肠道图像与时序上相邻的前一幅矩形肠道图像的轴向旋转偏差值，并根据轴向旋转偏差值进行裁剪拼接处理，形成肠道拼接图像；获取肠道拼接图像的新增片段图像，将新增片段图像拼接形成肠道全景图像。减少了镜头倾斜导致的图像视角偏差和校正了胶囊内镜自身旋转导致的图像角度偏差，使得肠道全景图像更加吻合肠道的实际轮廓。肠道的实际轮廓。肠道的实际轮廓。

【技术实现步骤摘要】
胶囊内镜肠道图像的拼接方法、装置、存储介质和设备


[0001]本专利技术属于医疗设备成像
，具体地讲，涉及一种胶囊内镜肠道图像的拼接方法、装置、计算机可读存储介质、计算机设备。

技术介绍

[0002]胶囊内镜是一种内置了微型照相机的智能胶囊，大小接近普通的感冒胶囊，外壳光滑，易于吞服。受检者吞下胶囊内镜后，随着消化道蠕动前进，一面拍摄消化道内部的图像，一面通过无线方式将信号传送到受检者随身佩戴的数据记录仪中，整个检查过程不影响受检者日常活动。最后医生会取下记录仪并将其所储存的数据在电脑中下载并分析，做出诊断，而胶囊会自然排出体外。
[0003]由于胶囊内镜一般会在体内流动八个小时以后排出体外，而这期间会拍摄几万张甚至更多的图像。由于直接对这几万张的图像进行病情诊断的话，会使得医生在观看图像时产生视觉疲劳，进而增加漏诊甚至误诊的可能性。于是，本领域的研究者们提出了将得到的图像进行拼接，以得到一张或几张全景图像便于进行识别观察。
[0004]但是由于胶囊内镜中拍摄过程中存在不同方向的不规律运动，例如胶囊内镜发生偏转导致拍摄方向发生倾斜，胶囊内镜自身发生轴向旋转导致拍摄到的图片之间存在视角偏差等，在这种情况下，如果将拍摄到的原始图像直接进行拼接，那么得到的全景图像跟肠道实际轮廓会存在较大区别，不利于进行后续的识别观察。

技术实现思路

[0005](一)本专利技术所要解决的技术问题
[0006]本专利技术解决的技术问题是：如何纠正由于胶囊内镜的不规律运动导致拍摄到的肠道图像偏差，以使得拼接得到的全景图像更加吻合肠道实际轮廓。
[0007](二)本专利技术所采用的技术方案
[0008]一种胶囊内镜肠道图像的拼接方法，所述拼接方法包括：
[0009]对胶囊内镜拍摄到的各幅原始肠道图像分别进行裁剪处理，获得圆形肠道图像，构成圆形肠道图像集；
[0010]对所述圆形肠道图像集中具有景深区域的图像进行旋转校正处理，获得校正图像集，其中具有景深区域的图像在旋转校正处理后处于相同拍摄视角；
[0011]将所述校正图像集中的各幅图像进行极坐标变换并展开为矩形肠道图像，构成矩形肠道图像集；
[0012]计算所述矩形肠道图像集中每一当前幅矩形肠道图像与时序上相邻的前一幅矩形肠道图像的轴向旋转偏差值，并根据轴向旋转偏差值对当前幅矩形肠道图像进行裁剪拼接处理，形成肠道拼接图像，对各幅矩形肠道图像进行裁剪拼接处理后，构成肠道拼接图像集；
[0013]获取所述肠道拼接图像集中每一幅图像相对于时序上相邻的前一幅图像的新增
片段图像，形成新增片段图像集；
[0014]将所述新增片段图像集中的各幅图像按照时序先后顺序进行拼接形成肠道全景图像。
[0015]优选地，对所述圆形肠道图像集中具有景深区域的图像进行旋转校正处理的方法包括：
[0016]判断所述圆形肠道图像集中每幅图像是否存在景深方向；
[0017]若是则筛选出存在景深方向的图像，并将筛选出的各幅图像进行旋转，以使所述各幅图像在景深方向上的最远点处于同一角度。
[0018]优选地，计算所述矩形肠道图像集中每一当前幅矩形肠道图像与时序上相邻的前一幅矩形肠道图像的轴向旋转偏差值的方法包括：
[0019]获取所述当前幅矩形肠道图像上的第一匹配关键点集合和所述前一幅矩形肠道图像上的第二匹配关键点集合，其中，所述第一匹配关键点集合中的各点与所述第二匹配关键点集合中的各点一一匹配；
[0020]获取所述第一匹配关键点集合的第一中心点和所述第二匹配关键点集合的第二中心点；
[0021]计算所述第一中心点与所述第二中心点在矩形肠道图像的长度所在方向上坐标差值，将所述坐标差值作为轴向旋转偏差值，其中矩形肠道图像的长度所在方向与宽度所在方向垂直，矩形肠道图像的宽度所在方向与胶囊内镜运动方向平行。
[0022]优选地，根据轴向旋转偏差值对当前幅矩形肠道图像进行裁剪拼接处理，形成肠道拼接图像的方法包括：
[0023]沿着宽度所在方向从当前幅矩形肠道图像的第一侧裁剪出矩形拼接图像，其中所述矩形拼接图像的宽度与当前幅矩形肠道图像的宽度相同，且所述矩形拼接图像的长度等于轴向旋转偏差值；
[0024]将所述当前幅矩形肠道图像在裁剪后的剩余图像沿长度所在方向移动，以使所述第一中心点与所述第二中心点在长度所在方向上坐标值相同；
[0025]将所述矩形拼接图像拼接于所述当前幅矩形肠道图像的第二侧，形成肠道拼接图像，其中所述第一侧与所述第二侧相对。
[0026]优选地，获取所述肠道拼接图像集中每一图像相对于时序上相邻的前一幅肠道拼接图像的新增片段图像的方法包括：
[0027]分别从当前幅肠道拼接图像和时序上相邻的前一幅矩形肠道图像中选取连续若干个匹配关键点，形成两个匹配关键点组；
[0028]计算两个所述匹配关键点组中对应点之间的仿射变换；
[0029]将当前幅肠道拼接图像和前一幅矩形肠道图像按照两个所述匹配关键点组中对应点之间的仿射变换、匹配点位进行对齐粘贴，在对齐粘贴之后，将当前幅肠道拼接图像相对于前一幅矩形肠道图像的多余片段图像作为新增片段图像。
[0030]优选地，在获取新增片段图像之前，所述拼接方法还包括去除顺序不一致的关键点的步骤：
[0031]将当前幅肠道拼接图像与时序上相邻的前一幅矩形肠道图像进行关键点匹配；
[0032]依次判断每一对相匹配的两个关键点在各自所在图像中沿长度所在方向上的排
序是否相同；
[0033]若相同则保留所述两个关键点，若不相同则去除所述两个关键点。
[0034]优选地，将所述新增片段图像集中的各幅图像按照时序先后进行拼接形成肠道全景图像的方法包括：
[0035]确定所述新增片段图像集中各幅新增片段图像对应的原始肠道图像的拍摄方向，其中所述拍摄方向包括胶囊内镜前进方向和胶囊内镜后退方向；
[0036]在新增片段图像集中拍摄方向不同且相邻的两张新增片段图像之间插入片段连接图像，形成更新后的新增片段图像集，其中所述片段连接图像由所述两张新增片段图像中时序在先的新增片段图像镜像变换得到，镜像变换的对称轴垂直于新增片段图像的宽度所在方向；
[0037]将更新后的新增片段图像集中的各幅图像按照时序先后顺序沿着新增片段图像的宽度所在方向依序拼接形成肠道全景图像。
[0038]本申请还公开了一种胶囊内镜肠道图像的拼接装置，所述拼接装置包括：
[0039]预处理单元，用于对胶囊内镜拍摄到的各幅原始肠道图像分别进行裁剪处理，获得圆形肠道图像，构成圆形肠道图像集；
[0040]旋转校正单元，用于对所述圆形肠道图像集中具有景深区域的图像进行旋转校正处理，获得校正图像集，其中具有景深区域的图像在旋转校正处理后处于相同拍摄视角；
[0041]图像展开单元，用于将所述校正图像集中的各幅图像进行极坐标变换并展开为矩形肠道图像，构成矩形肠道图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种胶囊内镜肠道图像的拼接方法，其特征在于，所述拼接方法包括：对胶囊内镜拍摄到的各幅原始肠道图像分别进行裁剪处理，获得圆形肠道图像，构成圆形肠道图像集；对所述圆形肠道图像集中具有景深区域的图像进行旋转校正处理，获得校正图像集，其中具有景深区域的图像在旋转校正处理后处于相同拍摄视角；将所述校正图像集中的各幅图像进行极坐标变换并展开为矩形肠道图像，构成矩形肠道图像集；计算所述矩形肠道图像集中每一当前幅矩形肠道图像与时序上相邻的前一幅矩形肠道图像的轴向旋转偏差值，并根据轴向旋转偏差值对当前幅矩形肠道图像进行裁剪拼接处理，形成肠道拼接图像，对各幅矩形肠道图像进行裁剪拼接处理后，构成肠道拼接图像集；获取所述肠道拼接图像集中每一幅图像相对于时序上相邻的前一幅图像的新增片段图像，形成新增片段图像集；将所述新增片段图像集中的各幅图像按照时序先后顺序进行拼接形成肠道全景图像。2.根据权利要求1所述的胶囊内镜肠道图像的拼接方法，其特征在于，对所述圆形肠道图像集中具有景深区域的图像进行旋转校正处理的方法包括：判断所述圆形肠道图像集中每幅图像是否存在景深方向；若是则筛选出存在景深方向的图像，并将筛选出的各幅图像进行旋转，以使所述各幅图像在景深方向上的最远点处于同一角度。3.根据权利要求1所述的胶囊内镜肠道图像的拼接方法，其特征在于，计算所述矩形肠道图像集中每一当前幅矩形肠道图像与时序上相邻的前一幅矩形肠道图像的轴向旋转偏差值的方法包括：获取所述当前幅矩形肠道图像上的第一匹配关键点集合和所述前一幅矩形肠道图像上的第二匹配关键点集合，其中，所述第一匹配关键点集合中的各点与所述第二匹配关键点集合中的各点一一匹配；获取所述第一匹配关键点集合的第一中心点和所述第二匹配关键点集合的第二中心点；计算所述第一中心点与所述第二中心点在矩形肠道图像的长度所在方向上坐标差值，将所述坐标差值作为轴向旋转偏差值，其中矩形肠道图像的长度所在方向与宽度所在方向垂直，矩形肠道图像的宽度所在方向与胶囊内镜运动方向平行。4.根据权利要求3所述的胶囊内镜肠道图像的拼接方法，其特征在于，根据轴向旋转偏差值对当前幅矩形肠道图像进行裁剪拼接处理，形成肠道拼接图像的方法包括：沿着宽度所在方向从当前幅矩形肠道图像的第一侧裁剪出矩形拼接图像，其中所述矩形拼接图像的宽度与当前幅矩形肠道图像的宽度相同，且所述矩形拼接图像的长度等于轴向旋转偏差值；将所述当前幅矩形肠道图像在裁剪后的剩余图像沿长度所在方向移动，以使所述第一中心点与所述第二中心点在长度所在方向上坐标值相同；将所述矩形拼接图像拼接于所述当前幅矩形肠道图像的第二侧，形成肠道拼接图像，其中所述第一侧与所述第二侧相对。5.根据权利要求4所述的胶囊内镜肠道图像的拼接方法，其特征在于，获取所述肠道拼
接图像集中每一图像相对于时序上相邻的前一幅图像的新增片段图像的方法包括：分别从当前幅肠道拼接图像和时序上相邻的前一幅矩形肠道图像中选取连续若干个匹配关键点，形成两个匹配关键点组；计算两个所述匹配关键点组...

【专利技术属性】
技术研发人员：马婷，吴建芳，刘一君，刘揆亮，胡峰，
申请(专利权)人：江苏势通生物科技有限公司，
类型：发明
国别省市：