用于视觉假体的双目图像采集方法及系统技术方案

本发明专利技术公开了一种用于视觉假体的双目图像采集方法，首先通过安装在眼镜架左、右眼镜框内角度和位置可调的两个CMOS图像传感器摄像头进行视频图像采集，然后将所述两个CMOS图像传感器摄像头实时采集的视频图像进行处理，获得符合人眼视角范围的全景图像。本发明专利技术优点在于采用两个视角范围≤90度的CMOS图像传感器摄像头对视频信息的采集，采用基于固定间隔的比值匹配法，对双路数字图像信息进行快速配准，有效提高了算法的运算速度，进而采用渐入渐出的线性融合实现了双路图像信息的无缝融合；微型摄像头的安装位置与安装角度可调，能够有效扩大视角，达到充分模拟甚至优于人眼双眼极限视角的目的。

【技术实现步骤摘要】

本专利技术涉及生物医学领域中的视觉假体，尤其是涉及用于视觉假体的双目图像采集方法及系统。
技术介绍
视觉是人类日常生活中获取外界信息的主要途径，在人类的正常生活和学习中起着重要的作用。由于各种原因导致的人类视觉残缺或者视觉丧失，给病人的生活和工作带来了极大的不便。近年来，随着生物医学工程技术中电刺激神经系统的快速发展，以及人们对大脑视觉通路的深刻认识和对人眼视觉处理机制的研究，使用外界的辅助工具帮助患者建立视觉认知成为一种可能，该辅助工具类似于耳聋患者佩戴的电子耳蜗，称之为人工视觉假体。人工视觉假体是一种利用外界电刺激来替代生物电刺激来传递视觉信息以恢复失明病人视力的设备。人工视觉假体包括体外与体内两大部分：体外部分主要完成图像信息采集和预处理，然后将其转换成相应的编码信息,最后通过有线或无线传输将编码信息送到体内假体。体内部分主要负责接收编码信息和产生微电流驱动刺激电极阵列。人工视觉假体的具体工作过程是：1、由图像采集模块将获取的图像信息转换数字信息；2、将上一步获得的图像的数字信息进行处理,并转换为满足要求的相应的编码信息并输出给体内的假体；3、由植入的假体接收体外相应的编码信息后，转换成为生物电信号刺激并激活该部位的神经元细胞，从而使患者产生基本的视觉感光，达到修复视觉功能的目的。无论是视网膜假体、视皮层假体、还是视神经假体，都需要包含图像采集系统。采集图像的数字图像传感器、图像处理器和图像处理方法构成了视觉假体的图像采集系统。它的作用是对采集到的外界场景信息转化为二维图像信息，并完成预处理，然后传输到图像编码模块，进而转化为视觉神经系统能够接受的电信号，送到刺激电极阵列使人产生基本的视觉感光。所以，图像采集系统的优劣直接影响后续的图像编码信息的生成，它采集的图像信息的质量、视角范围和信息量也制约着视觉系统所能感知到的图像信息。因此，视觉假体图像采集系统是人工视觉假体中不可缺少也是非常重要的组成部分。中国专利技术专利公开号：CN101239008A、公开日为2008年8月13日,公开了一种“视觉假体图像处理装置及方法”，其技术方案是：通过一个CMOS图像传感器采集外部图像信息，然后通过无线传输方式输出给体内的图像处理模块，体内的图像处理模块将采集到的原始图像进行图像信息预校正，改善图像质量。现有的视频图像采集系统大多使用单个数字图像传感器，为了不产生较大畸变，单个数字图像传感器的视角通常≤90°，因此不能充分模拟人的视觉范围。为了达到此效果，需要采用两个数字图像传感器进行视频图像采集，并实现两路视频图像信息的快速配准与融合，以满足视觉假体实时性的应用需求。2016年6月发表的硕士论文《基于初级视皮层的人工视觉假体总体设计与前端实现》设计的视觉假体采用两个数字图像传感器采集图像信息，并对图像进行实时融合，但是将摄像头安装在了特定的角度和位置，未给出充分模拟甚至超越人眼极限视角的方案。
技术实现思路
本专利技术目的在于提供一种用于视觉假体的双目图像采集方法；本专利技术另一目的是提供采用该方法的专用系统。为实现上述目的，本专利技术采取下述技术方案：本专利技术所述用于视觉假体的双目图像采集方法，首先通过安装在眼镜架左、右眼镜框内的两个CMOS图像传感器摄像头进行视频图像采集，然后将所述两个CMOS图像传感器摄像头实时采集的视频图像进行处理，获得符合甚至超越人眼视角范围的全景图像；所述图像处理过程按照下述步骤进行：S1、图像畸变校正：采用模板法对所述左、右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数。图像畸变校正是图像融合的第一步，处理出来的效果好坏直接影响到图像配准和图像融合的结果；在图像噪声多、图像畸变等多种导致图像质量较差的情况下，如果不经相应的校正操作，直接进行下一步的操作容易出现配准结果不准确，导致融合失败的情况发生。利用摄像头进行图像采集，主要的畸变就是镜头产生的畸变，图像畸变实际上就是图像的退化；图像退化是因为像素点位置发生变化而产生的扭曲变形；本专利技术使用模板法进行图像畸变校正，分三步完成：模板制定、特征点提取和求解镜头畸变系数。S11、棋盘格模板制作：首先根据要求制作一个棋盘格；该棋盘格由大小相等的黑色和白色正方形格交错排列组成，每四个相邻的正方形格相交成一交点，该交点即为所述特征点；S12、特征点提取：计算理想点(x,y)：忽略图像中心小范围的畸变，将中心四邻域的交点做为理想点，采用二元二次多项式来拟合解析曲面，公式如下：（1）其中，p代表曲面上所述交点的灰度值；对该曲面进行求导，得到极值点的纵、横坐标如下：（2）S13、求解镜头畸变系数：由于采集的图像几何畸变是非线性的，故用多项式的方法求解，畸变图像校正前的交点与图像校正后的交点之间的关系为：（3）其中，n是多项式的次数，本专利技术n=3；用最小二乘法拟合误差平方和最小，即：（4）结果最小，则需要：（5）由此得到（6）同理求出：（7）公式（7）中，k代表特征点对的个数，s=0,1,2，…，n；t=0,1,…，n-s；s+t<n；对公式（6）和（7）进行求解，到和；其中，表示横坐标的畸变系数；表示纵坐标的畸变系数；i=0,1,2；j=0,1,2。S2、图像配准：鉴于视觉假体的实际应用需求，对图像处理的实时性要求较高，采用基于固定间隔的比值匹配法进行两路视频图像的配准，能够有效提高算法的运算速度；因此,所述步骤S2中的比值匹配法采用如下步骤实现图像的快速配准：S21、读取所述左微型摄像头所采集图像最右侧一列像素点和每间隔5个像素点对应位置处的像素点，共取n列像素点，n为大于1的自然数，设每列像素点个数为m，m为大于1的自然数；S22、计算所述每列像素点相邻行之间的比值，即得到（m-1）×n个比值，将所述比值结果直接存放在数组P中；S23、读取所述右微型摄像头采集的图像中任意每间隔5个像素点的n列像素点，取k组，k为大于1的自然数；S24、计算所述k组像素点每一列相邻行像素点之间的比值，将所述比值结果直接存放在数组Q中；S25、根据左微型摄像头所采集的图像中的特征集模板，即数组P，在右微型摄像头所采集图像的特征集合中寻找相应的匹配，得出配准区域。S3、图像融合：图像融合是为了解决图像匹配结束后所述左、右摄像头相邻视角拼接的交界处问题，这里采用渐入渐出的线性融合方法实现双路视频图像的融合；即：将左右摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重。本专利技术所述专用于视觉假体的双目图像采集系统，包括双目图像采集装置和图像预处理器；所述双目图像采集装置包括分别安装在眼镜架左、右眼镜框内的两个微型摄像头；所述图像预处理器安装所述左、右眼镜框的连接架上；所述两个微型摄像头将各自同步实时采集的视频信息，分别通过USB接口输出给所述图像预处理器，图像预处理器将接收的两路所述视频信息进行预处理并拼接融合成一幅全视野图像，用于输出给外部的图像编码器。所述左、右微型摄像头均为CMOS图像传感器摄像头，所述左、右微型摄像头在左、右眼镜框内的安装位置与安装角度可调，融合后的全视野图像的视角θ优于人的双眼最大极限视角，计算公式如下：式中，α为左微型摄像头的左极限视界与正前方的夹角，等同于本文档来自技高网...

【技术保护点】
一种用于视觉假体的双目图像采集方法，其特征在于：首先通过安装在眼镜架左、右眼镜框内的两个CMOS图像传感器摄像头进行视频图像采集，然后将所述两个CMOS图像传感器摄像头实时采集的视频图像进行预处理，获得符合甚至超越人眼视角范围的全景图像；其中，所述图像预处理过程按照下述步骤进行：S1、图像校正采用模板法对所述左右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；S2、图像配准采用比值匹配法对所述左右微型摄像头传输来的实时视频图像进行快速配准；S3、图像融合图像融合是为了解决图像匹配结束后所述左右摄像头相邻视角拼接的交界处问题，这里采用渐入渐出的线性融合方法实现双路视频图像的融合；即：将左右摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重。

【技术特征摘要】
1.一种用于视觉假体的双目图像采集方法，其特征在于：首先通过安装在眼镜架左、右眼镜框内的两个CMOS图像传感器摄像头进行视频图像采集，然后将所述两个CMOS图像传感器摄像头实时采集的视频图像进行预处理，获得符合甚至超越人眼视角范围的全景图像；其中，所述图像预处理过程按照下述步骤进行：S1、图像校正采用模板法对所述左右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；S2、图像配准采用比值匹配法对所述左右微型摄像头传输来的实时视频图像进行快速配准；S3、图像融合图像融合是为了解决图像匹配结束后所述左右摄像头相邻视角拼接的交界处问题，这里采用渐入渐出的线性融合方法实现双路视频图像的融合；即：将左右摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重。2.根据权利要求1所述用于视觉假体的双目图像采集方法，其特征在于：所述步骤S2中的比值匹配法采用如下步骤实现图像的快速配准：S21、读取所述左微型摄像头所采集图像最右侧一列像素点和每间隔5个像素点对应位置处的像素点，共取n列像素点，n为大于1的自然数，设每列像素点个数为m，m为大于1的自然数；S22、计算所述每列像素点相邻行之间的比值，即得到（m-1）×n个比值，将所述比值结果直接存放在数组P中；S23、读取所述右微型摄像头采集的图像中任意每间隔5个像素点的n列像素点，取k组，k为大于1的自然数；S24、计算所述k组像素点每一列相邻行像素点之间的比值，将所述比值结果直接存放在数组Q中；S25、根据左微型摄像头所采集的图像中的特征集模板，即数组P，在右微型摄像头所采集图像的特征集合中寻找相应的匹配，得出配准区域。3.一种专用于视觉假体的双目图像采集系统，包括左右微型摄像头和图像预处理器；其特征在于：所述左、右微型摄像头分别安装在所述左、右眼镜框内，所述图像预处理器安装在左、右眼镜框连接架上；两个微型摄像头将各自同步实时采集的视频信息，分别通过USB接口输出给所述图像预处理器,图像预处理器将接收的两路所述视频信息进行预处理...

【专利技术属性】
技术研发人员：师丽，牛晓可，王治忠，王松伟，王江涛，刘丽君，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11