影像修补系统及其方法技术方案

一种影像修补系统及其方法，该影像修补方法的步骤包含有：噪点分割，撷取多个影像，并将该多个影像分割为含有噪点像素影像与未含有噪点像素影像；以及针对含噪点像素影像进行修补，找出该含有噪点像素影像与对应噪点像素的未受噪点影响且具最小视差的像素对应关系的偏移地图或几何关系，利用该偏移地图或几何关系，以抽取未受噪点影响的对应像素，并修补并取代该多个影像中的噪点像素，而产生至少一不含噪点的合成影像。本发明专利技术还公开了一种影像修补系统，包含摄影模块和修补模块。

【技术实现步骤摘要】

本专利技术涉及一种影像修补系统及其方法，特别是一种能够消除影像中的噪点，以提升行车安全的影像修补系统及其方法。
技术介绍
现有的机动车辆，如汽车或机车，其广泛地应用于人们的日常生活中。机动车辆的驾驶人以肉眼判断车前/车旁的其他物体，但肉眼会有误判，或者反应不及的问题。现有的安全警示系统能够克服上述的误判或反应不及的问题。举例而言，现有的安全警示系统装设于车辆的前挡风玻璃之后，以拍摄车辆前方的影像，并辨识该影像中的障碍物或危险物，藉以提醒驾驶人保持安全距离，或避免危险的驾驶行为。然于恶劣天气，如雨天，现有的安全警示系统的辨识率可能会大幅下降，因为影像中的噪点，如往复摆动的雨刷、雨滴或泥水，其可能遮蔽现有的安全警示系统的辨识标的。该辨识标的为行人、车辆或交通号志。因前述的遮蔽有可能使得现有的安全警示系统产生误判，驾驶者于此行车情境下行驶，其充满着危险性。常见的技术使用单一摄影机将前方影像中雨刷的周期性噪点利用不同时段的无雨刷影像予以修补，以产生一雨刷透明化的影像。虽上述的方法使用多个时段的影像进行修补，但可能会产生所欲修补的影像具有行人，而所抽取修补参考影像未具有行人，故修补后的影像反而显示为无行人的影像。另一技术使用多通道全景摄影机系统，其所撷取的影像以图形处理器(GraphicsProcessingUnit，GPU)高速平行处理，以实现即时高清影像的拼接、校正、调光、压码及传输功能，但此另一技术亦无影像重叠区域的噪点修补的功能。又一技术提出不同焦距摄影机的影像中选取清晰影像，以计算物件距离，提升测距效果，然该又一技术无法处理输入影像含有噪点的问题。专利技术内容本专利技术所要解决的技术问题是针对现有技术的上述问题，提供一种影像修补系统及其方法，能够消除影像中的噪点，以提升行车安全。为了实现上述目的，本专利技术提供了一种影像修补系统，其包含有：一摄影模块，其撷取多个影像；以及一修补模块，其耦接该摄影模块，以接收来自该摄影模块的多个影像，并对该多个影像进行一噪点检测，该多个影像分割为含有噪点像素影像与未含有噪点像素影像，确认该噪点像素影像的各噪点像素的位置，找出该含有噪点像素影像与对应该噪点像素的未受噪点影响且具最小视差的像素对应关系的偏移地图或几何关系，利用该偏移地图或几何关系，以抽取未受噪点影响的对应像素，并修补并取代该多个影像中的噪点像素，而产生至少一不含噪点的合成影像。为了更好地实现上述目的，本专利技术还提供了一种影像修补方法，其步骤包含有：噪点分割，撷取多个影像，并将该多个影像分割为含有噪点像素影像与未含有噪点像素影像；以及针对含噪点像素影像进行修补，找出该含有噪点像素影像与对应噪点像素的未受噪点影响且具最小视差的像素对应关系的偏移地图或几何关系，利用该偏移地图或几何关系，以抽取未受噪点影响的对应像素，并修补并取代该多个影像中的噪点像素，而产生至少一不含噪点的合成影像。本专利技术的技术效果在于：本专利技术可去除影像中的噪点(如雨滴)，即便在雨天的情况中，各类安全警示系统的辨识率仍可维持，因而得以提升驾驶者的安全性。本专利技术可使得多个影像虽有视角差异但其影像的时间为相同，因此影像修补时能使用同一时间点的多个影像，所以修补后的真实性可以得到保证，也因此能够保证影像安全警示系统的真实性。本专利技术亦可通过接收实体雨刷信号或是雨滴信号，以决定本实施例的多个影像交互修补方法是否需开始执行，如此的话，可降低系统运算负荷，并降低误判率。于有噪点干扰时，本专利技术以影像分割技术及影像修补技术，检测并修补噪点像素群，即修补被噪点所遮挡住的影像，使得障碍物辨识不受如雨滴等噪点的影响，因而得以提升障碍物的辨识率。以下结合附图和具体实施例对本专利技术进行详细描述，但不作为对本专利技术的限定。附图说明图1为装设有本专利技术的一种影像修补系统的机动车辆的示意图；图2为本专利技术的一种影像修补系统位于一视窗的示意图；图3为本专利技术的一种影像修补系统的示意图；图4为一修补模块的示意图；图5为本专利技术的一种影像修补方法的流程示意图；图6为本专利技术的影像分割的第一实施例的脏污噪点影像分割方法的流程示意图；图7为本专利技术的影像分割的第二实施例的雨滴噪点影像分割方法的流程示意图；图8为本专利技术的影像分割的第三实施例的雨刷噪点影像分割方法的流程示意图；图9为本专利技术的一使用偏移地图与修补影像的方法的流程示意图；图10为本专利技术的一雨刷修补的示意图；图11为本专利技术的一脏污修补的示意图；图12为本专利技术的一雨滴修补的示意图；图13为一贝兹曲线的取样点的示意图；图14为又一贝兹曲线的取样点的示意图；图15为一贝兹曲线的取样的示意图；图16为一贝兹曲线的垂直坐标与强度的示意图。其中，附图标记1机动车辆10视窗100设置面11摄影模块110摄影单元12修补模块120接收单元121演算单元122储存单元123雨滴感测器S1～S11步骤SA～SQ步骤13A修补影像对影像13A1噪点13A2修补后影像14A脏污影像14A1噪点14A2修补后影像15A雨滴影像15A1噪点15A2修补后影像具体实施方式下面结合附图对本专利技术的结构原理和工作原理作具体的描述：请配合参考图1至图3所示，本专利技术为一种影像修补系统，其应用于一机动车辆1，机动车辆1具有至少一视窗10，视窗10具有一设置面100，设置面100位于机动车辆1的内部。该影像修补系统包含有一摄影模块11与一修补模块12。如图1所示，于本实施例中的该视窗10为机动车辆1的挡风玻璃，然本专利技术除了可装置于如图1的位置外，亦可装设于机动车辆1的前端、后端、左侧或右侧，或者各侧的视窗，于本实施例中仅为了便于论述，而非将本专利技术限制于本实施例中，特此说明。请再配合参考图2所示，摄影模块11设于设置面100。摄影模块11具有至少二摄影单元110。至少二摄影单元110以一阵列方式排列。摄影单元110能够为一影像感测器、一红外线影像撷取装置、一光电耦合元件或一互补式金氧半导体的光学感测元件的其中之一或至少任意两个的组合。此处所述与后所提及的摄影单元110能够被视为至少一摄影机。摄影模块11用以撷取不同来源的多个影像。请配合参考图3与图4所示，修补模块12信号连接摄影模块11。修补模块12具有一接收单元120、一演算单元121与一储存单元122。修补模块12能够为可程序化集成电路微控制器或元件可编程逻辑闸阵列(FieldProgrammableGateArray，FPGA)。修补模块12接收来自摄影模块11的多个影像，对该多个影像中每张影像均单独进行一噪点检测，以得到多个影像中哪几张影像含噪点，且得知各张含噪点影像中的噪点像素位置。对于每张含噪点影像中的噪点像素位置，在其它影像中利用近似最邻近叠代法找出代表对应关系的偏移地图，其中偏移地图分别对应：噪点像素位置与未受噪点影响且具最小视差的像素位置。最后利用此偏移地图抽取未受噪点影响的对应像素以修补受噪点干扰的像素，产生至少一合成影像。若更进一步说明，修补模块12为下述的影像修补方法、安全警示系统或下述的演算单元121能够使用于任何具有运算功能的装置中。接收单元120信号连接摄影单元110，以接收摄影单元110于多个时段所撷取的影像。演算单元121能够为车道偏离警示系统(LaneDepartureWarningSystem，LDW本文档来自技高网...

【技术保护点】
一种影像修补系统，其特征在于，包含有：一摄影模块，其撷取多个影像；以及一修补模块，其耦接该摄影模块，以接收来自该摄影模块的多个影像，并对该多个影像进行一噪点检测，该多个影像分割为含有噪点像素影像与未含有噪点像素影像，确认该噪点像素影像的各噪点像素的位置，找出该含有该噪点像素影像与对应噪点像素的未受噪点影响且具最小视差的像素对应关系的偏移地图或几何关系，利用该偏移地图或几何关系，以抽取未受噪点影响的对应像素，并修补并取代该多个影像中的噪点像素，而产生至少一不含噪点的合成影像。

【技术特征摘要】
2015.11.06 TW 1041367091.一种影像修补系统，其特征在于，包含有：一摄影模块，其撷取多个影像；以及一修补模块，其耦接该摄影模块，以接收来自该摄影模块的多个影像，并对该多个影像进行一噪点检测，该多个影像分割为含有噪点像素影像与未含有噪点像素影像，确认该噪点像素影像的各噪点像素的位置，找出该含有该噪点像素影像与对应噪点像素的未受噪点影响且具最小视差的像素对应关系的偏移地图或几何关系，利用该偏移地图或几何关系，以抽取未受噪点影响的对应像素，并修补并取代该多个影像中的噪点像素，而产生至少一不含噪点的合成影像。2.如权利要求1所述的影像修补系统，其特征在于，该摄影模块具有至少二摄影单元，该至少二摄影单元以一阵列方式排列。3.如权利要求2所述的影像修补系统，其特征在于，该摄影单元为一影像感测器、一红外线影像撷取装置、一光电耦合元件或一互补式金氧半导体的光学感测元件其中之一或至少任意两个的组合。4.如权利要求1所述的影像修补系统，其特征在于，该修补模块具有一接收单元、一演算单元与一储存单元，该接收单元信号连接该摄影模块，该演算单元信号连接该接收单元，该储存单元信号连接该演算单元。5.如权利要求1所述的影像修补系统，其特征在于，该修补模块对该多个影像进行一噪点像素检测，噪点像素为雨刷像素、雨滴像素或脏污像素其中之一或至少任意两个的组合。6.一种影像修补方法，其特征在于，包含如下步骤：影像分割，撷取多个影像，并将该多个影像分割为含有噪点像素影像与未含有噪点像素影像，并确认该噪点像素影像的各噪点像素的位置；以及针对含该噪点像素影像进行修补，找出该含有噪点像素影像与对应噪点像素的未受噪点影响且具最小视差的像素对应关系的偏移地图或几何关系，利用该偏移地图或几何关系，以抽取未受噪点影响的对应像素，并修补并取代该多个影像中的噪点像素，而产生至少一不含噪点的合成影像。7.如权利要求6所述的影像修补方法，其特征在于，该噪点像素为雨刷像素、雨滴像素或脏污像素其中之一或至少任意两个的组合。8.如权利要求6所述的影像修补方法，其特征在于，于该影像分割的步骤中，其含有一脏污影像分割方法，其步骤为：抽取单色影像，以一颜色滤波器将该多个影像中的单色影像抽取出来；单色影像平滑化，将该单色影像以一中值滤波器平滑化；形成贝兹曲线，将平滑化的单色影像形成为一贝兹曲线图；影像相减，将该平滑化的单色影像与该贝兹曲线图相减，以取得至少一初步影像脏污噪点所占像素图；直方均化，使用一直方均化将该初步影像脏污噪点所占像素图的对比予以增强；修补像素群，将该增强后的初步影像脏污噪点所占像素图，以侵蚀或膨胀演算方式进行修正；以及以区域阀值区分脏污区域，将该已修正的初步影像脏污噪点所占像素图进行二值化，以分割影像。9.如权利要求8所述的影像修补方法，其特征在于，该单色影像为绿色影像、红色影像或蓝色影像。10.如权利要求8所述的影像修补方法，其特征在于，于该以区域阀值区分脏污区域的步骤中，对该初步影像脏污噪点所占像素图中的所有的亮像素群二值化为1，其为可能的脏污像素群；对不含脏污噪点的像素群二值化为0，藉此区分影像中脏污区域，以分割影像。11.如权利要求8所述的影像修补方法，其特征在于，于该修补像素群的步骤中，若该初步影像脏污噪点所占像素图中的亮像像素较为完整，则将该亮像素群的外型修正的更为完整；假若该亮像素群较为破碎，则将破碎的亮像素群消除。12.如权利要求8所述的影像修补方法，其特征在于，于该直方均化的步骤中，于该增强后的初步影像脏污噪点所占像素图中的亮像素群，视为脏污噪点的可能成分之一。13.如权利要求6所述的影像修补方法，其特征在于，于该影像分割的步骤中，其含有一雨滴噪点影像分割方法，其步骤包含有：判定所撷取的影像为白天或夜晚，若为夜晚，则进行一滤除干扰光源的步骤...

【专利技术属性】
技术研发人员：詹圣玮，林哲聪，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：中国台湾;71