影像处理系统及方法技术方案

本发明专利技术提供一种影像处理系统及方法，该系统包含

【技术实现步骤摘要】
影像处理系统及方法


[0001]本专利技术有关于影像处理，特别地，尤有关于一种产生具有感兴趣区域
(region of interest
，
ROI)
的影像处理系统及方法
。

技术介绍

[0002]一部具多镜头的照相机
(camera)
捕捉到的一个视野，涵盖
360
度水平视域
(field of view
，
FOV)
以及高达
180
度的垂直视域
。
举例而言，如图
1A
所示，一公知照相机包含四个镜头且分别架设在一立方体架构
11
的四个工作面
(
右面
、
左面
、
正面
、
背面
)
上，该四个工作面的任两个邻近面实质上正交，例如该四个工作面分别朝向虚拟球体
12
的经度
(longitude)0
度
、90
度
、180
度及
270
度，以同时捕捉到一个具有
360
度水平
FOV
及
90
度垂直
FOV
的视野，以产生四个镜头影像
。
请参考图
1B
，区域
A(1)
～
A(4)
内的像素是由两个相邻的镜头
/
纹理影像重叠而成，而区域
15
内的像素则来自于单一镜头
/
纹理影像
。
因此，须对所述多个重叠区域
A(1)
～
A(4)
进行拼接
(stitch)
操作，以形成一全景影像
。
[0003]美国专利号码第
10,810,700B2
号
(
上述专利的内容在此被整体引用作为本说明书内容的一部分
)
公开一种公知的全景影像的拼接方法，用来极小化因影像撷取模块的镜头中心偏移而造成的不匹配影像缺陷，例如：图
4C
中，影像撷取模块
21
的一镜头中心
46
相对于该系统中心
43
有一个偏移量
ofs。
然而，当一个人脸出现在一重叠区
A(2)
且伴随一个盆栽
(
如图
1B
所示
)
时，以上述公知全景影像拼接方法所产生的全景影像中，会显示出一个明显的缺陷：当该人脸为一远物且该盆栽为一近物时，全景影像的重叠区
A(2)
很可能显示：缺角的盆栽以及二张重叠的人脸；而当该人脸为一近物且该盆栽为一远物时，全景影像的重叠区
A(2)
很可能显示：两个重叠的盆栽以及缺角的人脸
。
上述缺陷以下称之为“重叠
/
缺角
(OL)
现象”。
因此，业界亟需一种影像处理系统及方法来改善上述
OL
现象下的影像品质
。

技术实现思路

[0004]有鉴于上述问题，本专利技术的目的之一是提供一种影像处理系统，当一
ROI
与一重叠区的至少一测量区重叠时，可避免上述
OL
现象并改善影像品质
。
[0005]根据本专利技术的一实施例，提供一种影像处理系统，包含
:
一部具多镜头的相机
、
一顶点列表产生器以及一影像处理装置
。
该具多镜头的相机，用以捕捉一个涵盖
X
度水平视域以及
Y
度垂直视域的视野，以产生多个镜头影像，其中
X<
＝
360
，
Y<
＝
180。
该顶点列表产生器，用来执行一组第一操作，包含：
(a)
根据一对应表，产生一第一主顶点列表；以及，
(b)
当一感兴趣区域
(ROI)
与一投影影像的一重叠区内的至少一测量区重叠时，根据该第一主顶点列表及该
ROI
的一位置信息，产生一第一
ROI
顶点列表
。
该影像处理装置，在一显像模式下，用以根据所述多个镜头影像及与该第一主顶点列表有关的该第二主顶点列表，产生该投影影像
。
其中，该第一主顶点列表包含多个第一顶点，以及所述多个第一顶点形成一个多边形网格，用以模型化该投影影像；以及，其中，该第一
ROI
顶点列表包含多个第二顶点，以及所述多个第二顶点形成一横切段，有关于该
ROI
以及该至少一测量区的交集
。
[0006]本专利技术的另一实施例，提供一种影像处理方法，适用于一影像处理系统，该系统包含一部具多镜头的相机，用以捕捉一个涵盖
X
度水平视域以及
Y
度垂直视域的视野，以产生多个镜头影像，该方法包含：根据一对应表，得到一第一主顶点列表；当一感兴趣区域
(ROI)
与一投影影像的一重叠区内的至少一测量区重叠时，根据该第一主顶点列表及该
ROI
的一位置信息，得到一第一
ROI
顶点列表；以及，根据所述多个镜头影像及一第二主顶点列表，产生该投影影像；其中，该第二主顶点列表与该第一主顶点列表有关；其中，该第一主顶点列表包含多个第一顶点，以及所述多个第一顶点形成一个多边形网格，用以模型化该投影影像；其中，该第一
ROI
顶点列表包含多个第二顶点，以及所述多个第二顶点形成一横切段，有关于该
ROI
以及该至少一测量区的交集；以及，其中，
X<
＝
360
，
Y<
＝
180。
[0007]兹配合下列图示
、
实施例的详细说明及权利要求保护范围，将上述及本专利技术的其他目的与优点详述于后
。
附图说明
[0008]图
1A
显示一立方体架构与一球体之间的关系
。
[0009]图
1B
显示一等距长方全景影像，源自于一影像撷取模块
21
的四个镜头影像
(
背面
、
左面
、
右面
、
正面
)
的等距长方投影，以及重叠区
A(2)
产生上述
OL
现象
。
[0010]图2根据本专利技术一实施例，显示投影影像处理系统的方块图
。
[0011]图
3A
显示一个三角形网格，用以模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种影像处理系统，其特征在于，包含：一部具多镜头的相机，用以捕捉一个涵盖
X
度水平视域以及
Y
度垂直视域的视野，以产生多个镜头影像，其中
X<
＝
360
，
Y<
＝
180
；一顶点列表产生器，用来执行多个第一操作，包含：
(a)
根据一对应表，产生一第一主顶点列表；以及
(b)
当一感兴趣区域与一投影影像的一重叠区内的至少一测量区重叠时，根据所述第一主顶点列表及所述感兴趣区域的一位置信息，产生一第一感兴趣区域顶点列表；以及一影像处理装置，在一显像模式下，用以根据所述多个镜头影像及一第二主顶点列表，产生所述投影影像；其中，所述第二主顶点列表与所述第一主顶点列表有关；其中，所述第一主顶点列表包含多个第一顶点，以及所述多个第一顶点形成一个多边形网格，用以模型化所述投影影像；以及其中，所述第一感兴趣区域顶点列表包含多个第二顶点，以及所述多个第二顶点形成一横切段，与所述感兴趣区域以及所述至少一测量区的交集有关
。2.
根据权利要求1所述的系统，其特征在于，还包含：一人工智能模块，利用一受训模型对所述投影影像进行人形检测
、
人脸检测以及人头检测的至少其一，以产生所述感兴趣区域的位置信息
。3.
根据权利要求2所述的系统，其特征在于，所述人工智能模块是用一人工智能芯片来实施，以及所述人工智能芯片是用一图形处理单元
、
一特殊应用集成电路或其组合来实施
。4.
根据权利要求1所述的系统，其特征在于，还包含：一对应性产生器，用以对所述多个第一顶点进行校正，以产生所述对应表，其中所述对应表包含所述多个第一顶点，且各第一顶点提供所述投影影像及所述多个镜头影像之间的映射
。5.
根据权利要求1所述的系统，其特征在于，所述第一操作的
(b)
包含：根据所述多个第二顶点附近的多个第一顶点的第一目的坐标以及所述多个第二顶点的第二目的坐标，对所述多个第一顶点于各镜头影像的第一纹理坐标进行内插，以产生各第二顶点于各镜头影像的第二纹理坐标；其中，各第一顶点具有一第一数据结构以及各第二顶点具有一第二数据结构，其中各第一数据结构包含一对应第一顶点于所述投影影像的第一目的坐标以及于各镜头影像的第一纹理坐标，以及其中各第二数据结构包含一对应第二顶点于所述投影影像的第二目的坐标以及于各镜头影像的第二纹理坐标
。6.
根据权利要求5所述的系统，其特征在于，所述第一操作的
(b)
还包含：根据各第二顶点于各镜头影像的第二纹理坐标，计算各第二顶点于各镜头影像中最邻近两个控制点的索引值以及一系数混和权值，以产生所述第一感兴趣区域顶点列表；其中，各第二数据结构还包含所述对应第二顶点于各镜头影像中最邻近两个控制点的索引值以及所述系数混和权值
。7.
根据权利要求1所述的系统，其特征在于，还包含：一拼接决策装置，用来执行多个第二操作，包含：根据一组测试接合系数以及所有测量区与所述横切段的累积像素值误差量，产生所有
测量区的控制点的一组最佳接合系数；其中，所述投影影像包含至少一重叠区，各重叠区包含多个测量区；以及其中，所述第二主顶点列表还与所述组最佳接合系数有关
。8.
根据权利要求7所述的系统，其特征在于，还包含：一顶点处理装置，在一测量模式下，根据所述第一主顶点列表及所述组测试接合系数，产生一第三主顶点列表，以及，根据所述第一感兴趣区域顶点列表及所述组测试接合系数，产生一第二感兴趣区域顶点列表
。9.
根据权利要求8所述的系统，其特征在于，在所述测量模式下，所述影像处理装置，还根据所述多个镜头影像
、
所述第三主顶点列表以及所述第二感兴趣区域顶点列表，测量所有测量区与所述横切段的累积像素值误差量
。10.
根据权利要求7所述的系统，其特征在于，所述多个第二操作还包含：根据一选定控制点，决定一选定决策群组；以及根据所述组测试接合系数以及所述选定决策群组中各控制点的所述累积像素值误差量间的局部最小值，决定所述选定控制点的暂时接合系数，其中，所述选定决策群组包含所述选定控制点及一个或两个邻近控制点
。11.
根据权利要求
10
所述的系统，其特征在于，所述产生所有测量区的控制点的所述组最佳接合系数的第二操作还包含：当所述横切段是单一区块时，将所述横切段的累积像素值误差量的整体最小值所对应的测试接合系数定义为所述横切段的暂时接合系数；以及当所述横切段与一第一测量区重叠或占据一第二测量区超过一半以上的面积时，以所述横切段的暂时接合系数取代位于所述第一测量区内的控制点的暂时接合系数；其中，所述第二测量区邻近所述第一测量区
。12.
根据权利要求
10
所述的系统，其特征在于，所述产生所有测量区的控制点的所述组最佳接合系数的第二操作还包含：当所述横切段被分割成多个分段且所述多个分段与多个测量区重叠时，根据一选定分段，决定一选定决策群组；以及根据所述组测试接合系数以及所述选定决策群组中各分段的所述累积像素值误差量间的局部最小值，决定所述选定分段的暂时接合系数，其中，所述选定决策群组包含所述选定分段及一个或两个邻近分段
。13.
根据权利要求
12
所述的系统，其特征在于，所述产生所有测量区的控制点的所述组最佳接合系数的第二操作还包含：当所述横切段被分割成多个分段且所述多个分段与多个测量区重叠时，于所述决定所述选定分段的暂时接合系数的第二操作之后，当所述多个分段的其一与一第一测量区重叠或占据一第二测量区超过一半以上的面积时，以所述多个分段的所述其一的暂时接合系数取代位于所述第一测量区内的控制点的暂时接合系数；其中，所述第二测量区邻近所述第一测量区
。14.
根据权利要求7所述的系统，其特征在于，所...

【专利技术属性】
技术研发人员：吕忠晏，
申请(专利权)人：信骅科技股份有限公司，
类型：发明
国别省市：