一种基于光场的场景语义分割系统及方法技术方案

本发明专利技术涉及一种基于光场的场景语义分割系统及方法，由光场图像预处理模块、图像特征提取模块、场景语义分割模块、数据存储模块、显示模块和系统管理模块组成。本发明专利技术利用光场图像在场景三维信息提取的优势，实现高准确性的场景语义分割。

【技术实现步骤摘要】
一种基于光场的场景语义分割系统及方法
本专利技术属于图像
，具体涉及一种基于光场的场景语义分割系统及方法。
技术介绍
场景语义分割技术在自动驾驶、人机交互、图像搜索等领域被广泛应用，准确的场景语义分割方法对场景理解及其应用有着重要意义。当前的语义分割方法大体上分为两类。一类是仅依靠单图像进行语义分割，例如Zhang等人提出的基于上下文编码模块的单图像语义分割方法[1]，采用扩张卷积策略，在结构简单的图像上可以实现比较好的语义分割效果，但这些基于单图像的语义分割算法普遍难以在存在遮挡、高光、透明物体等特殊情况的复杂场景中取得良好的语义分割效果；另一类则是基于单图像和准确深度信息的语义分割算法，例如Qian等人提出了一个统一而有效的跨模态引导的编码器[2]，并利用它来融合单图像的图像信息和深度信息，从而实现更加准确的语义分割，但实际应用中通常难以获得单图像准确的深度信息，因此这类方法具有较强的局限性。面对这一现状，基于光场实现图像特征引导的场景语义分割方法成为一个可能选项。本专利技术通过设计一种基于光场的场景语义分割系统，充分利用光场图像在场景三维信息提取的优势，实现高准确性的场景语义分割。[1]ZhangH,DanaK,ShiJ,etal.Contextencodingforsemanticsegmentation[C]//ProceedingsoftheIEEEconferenceonComputerVisionandPatternRecognition.2018:7151-7160.[2]QianC,LiH,ZengG.Bi-directionalCross-ModalityFeaturePropagationwithSeparation-and-AggregationGateforRGB-DSemanticSegmentation[J].2020.
技术实现思路
为了克服现有场景语义分割系统准确率不足的问题，本专利技术提供了一种基于光场的场景语义分割系统及方法，充分利用光场图像在场景三维信息提取的优势，实现高准确性的场景语义分割。本专利技术采用如下的技术方案：一种基于光场的场景语义分割系统，其特征在于包括：光场图像采集模块、光场图像预处理模块、图像特征提取模块、场景语义分割模块、数据存储模块、显示模块和系统管理模块。光场图像采集模块，负责采集需要进行语义分割的光场图像；该模块由包含9×9个分布在规则网格上且镜头光轴平行排列的相机组成相机阵列，根据用户设置的目标场景位置，对9行9列的相机阵列进行同步曝光控制，获取某一时刻的角度分辨率为9×9的光场图像，用于语义分割。光场图像预处理模块，将不同格式的光场图像转换为图像特征提取模块和场景语义分割模块支持的图像格式；本系统支持外部输入的光场图像，这类图像格式不同于使用光场图像采集模块直接获取的图像，需要经光场图像预处理模块进行图像格式转换，转换为视角图像方式来表示光场图像；对于角度分辨率大于9×9的光场图像，只取其中心9×9个视角图像；对于角度分辨率小于9×9的光场图像，则无法通过本系统获得准确的光场图像语义分割结果；本系统通过光场图像采集模块直接获取的光场图像，则无需进行预处理。图像特征提取模块，采用一种独创的光场图像中心视角特征提取卷积神经网络，利用光场9×9个不同视角图像，获取其中最中心的一个视角图像中的场景特征信息，用于语义分割。光场图像中心视角特征提取卷积神经网络实现如下：(1)光场图像中心视角特征提取卷积神经网络，采用多路网络结构分别从每个输入视角提取图像信息；其中，中心视角为特征提取的基础视角，综合使用全局残差结构与局部残差结构，其余80个视角为辅助视角，均只使用局部残差结构；卷积神经网络的全局残差结构完整保留中心视角图像中频率低于w/2的信息，其中w表示图像的最大频率；而卷积神经网络的局部残差结构则由残差模块实现；81条分路的输出通过拼接形成一组特征图，经过另外的两层卷积，得到最终一张完整的中心视角特征图。(2)残差模块中，输入经过两层卷积运算得到的结果再与输入相加得到输出。(3)光场图像特征提取卷积神经网络的全部卷积层的卷积核大小均为3×3，步长为1，特征图边缘填充0以保证卷积过后特征图尺寸不会发生变化；网络的全部卷积层均搭配整流线性单位函数ReLU(RectifiedLinearUnit)，除了最后一个卷积层的卷积核数为1外，其他层的卷积核数均为128。(4)各个网络分支的输入分别为输入光场图像的对应视角图像。场景语义分割模块，采用一种独创的特征信息辅助的图像语义分割卷积神经网络，借助于图像特征提取模块获取的中心视角图像中的场景特征信息完成光场中心视角图像语义分割。特征信息辅助的图像语义分割卷积神经网络实现如下：(1)特征信息辅助的图像语义分割卷积神经网络，采用残差结构分别从输入的中心视角RGB图像和特征图中提取信息，并使用注意力辅助模块ACM(AttentionComplementaryModules)融合RGB图像残差结构和特征图残差结构的输出信息；网络通过上采样将得到表示图像语义分割结果的同尺寸2D图像。(2)用于处理RGB图像和用于处理特征图的两个残差结构都由一层卷积和五个残差模块构成；其中，残差模块的输入经过两层卷积运算得到的结果再与输入相加得到输出。(3)注意力辅助模块ACM中，输入经过全局平均池化、卷积以后得到的结果再与输入相加得到输出。(4)上采样使用双三次插值；共进行五次上采样。(5)特征信息辅助的图像语义分割卷积神经网络的全部卷积层的卷积核大小均为3×3，残差模块中卷积的步长为2以实现下采样，其余卷积的步长均为1，特征图边缘填充0；网络的全部卷积层均搭配整流线性单位函数ReLU(RectifiedLinearUnit)，除了最后一个卷积层的卷积核数为1外，其他层的卷积核数均为128。数据存储模块，管理数据库并储存光场图像数据及其语义分割结果，提供光场图像及其语义分割结果数据的添加、删除和查询接口。显示模块，连接数据存储模块，用于显示被用户查询的光场图像和该光场图像对应的场景语义分割结果。系统管理模块，连接数据存储模块，支持对数据库中的光场图像及其语义分割数据进行查询、添加和删除；系统管理模块连接用户数据库，将用户分为系统管理员与普通用户，允许系统管理员查询、添加与删除任何光场图像及语义分割信息，普通用户仅允许添加光场图像或查询和删除本人添加的光场图像及语义分割信息。本专利技术的一种基于光场的场景语义分割方法，其特征在于：(1)通过9×9个分布在规则网格上且镜头光轴平行排列的相机采集光场图像数据，相邻视角图像保证最大视差不超过15，采集得到的光场图像数据，输入到数据存储模块；外部输入的光场图像通过光场图像预处理模块进行数据预处理后输入到数据存储模块。(2)从数据存储模块中读取需要进行语义分割的符合格式要求的光场图像数据，通过图像特征提取模块得到光场图像中心视角的场景特征信息；将光本文档来自技高网...

【技术保护点】
1.一种基于光场的场景语义分割系统，其特征在于，包括：光场图像采集模块、光场图像预处理模块、图像特征提取模块、场景语义分割模块、数据存储模块、显示模块和系统管理模块；/n光场图像采集模块，负责采集需要进行语义分割的光场图像；该模块由包含9×9个分布在规则网格上且镜头光轴平行排列的相机组成相机阵列，根据用户设置的目标场景位置，对9行9列的相机阵列进行同步曝光控制，获取某一时刻的角度分辨率为9×9的光场图像，用于语义分割；/n光场图像预处理模块，将不同格式的光场图像转换为图像特征提取模块和场景语义分割模块支持的图像格式；本系统支持外部输入的光场图像，这类图像格式不同于使用光场图像采集模块直接获取的图像，需要经光场图像预处理模块进行图像格式转换，转换为视角图像方式来表示光场图像；对于角度分辨率大于9×9的光场图像，只取其中心9×9个视角图像；对于角度分辨率小于9×9的光场图像，则无法通过本系统获得准确的光场图像语义分割结果；本系统通过光场图像采集模块直接获取的光场图像，则无需进行预处理；/n图像特征提取模块，采用一种独创的光场图像中心视角特征提取卷积神经网络，利用光场9×9个不同视角图像，获取其中最中心的一个视角图像中的场景特征信息，用于语义分割；/n场景语义分割模块，采用一种独创的特征信息辅助的图像语义分割卷积神经网络，借助于图像特征提取模块获取的中心视角图像中的场景特征信息完成光场中心视角图像语义分割；/n数据存储模块，管理数据库并储存光场图像数据及其语义分割结果，提供光场图像及其语义分割结果数据的添加、删除和查询接口；/n显示模块，连接数据存储模块，用于显示被用户查询的光场图像和该光场图像对应的场景语义分割结果；/n系统管理模块，连接数据存储模块，支持对数据库中的光场图像及其语义分割数据进行查询、添加和删除；系统管理模块连接用户数据库，将用户分为系统管理员与普通用户，允许系统管理员查询、添加与删除任何光场图像及语义分割信息，普通用户仅允许添加光场图像或查询和删除本人添加的光场图像及语义分割信息；/n所述独创的光场图像中心视角特征提取卷积神经网络实现如下：/n(1)光场图像中心视角特征提取卷积神经网络，采用多路网络结构分别从每个输入视角提取图像信息；其中，中心视角为特征提取的基础视角，综合使用全局残差结构与局部残差结构，其余80个视角为辅助视角，均只使用局部残差结构；卷积神经网络的全局残差结构完整保留中心视角图像中频率低于w/2的信息，其中w表示图像的最大频率；而卷积神经网络的局部残差结构则由残差模块实现；81条分路的输出通过拼接形成一组特征图，经过另外的两层卷积，得到最终一张完整的中心视角特征图；/n(2)残差模块中，输入经过两层卷积运算得到的结果再与输入相加得到输出；/n(3)光场图像特征提取卷积神经网络的全部卷积层的卷积核大小均为3×3，步长为1，特征图边缘填充0以保证卷积过后特征图尺寸不会发生变化；网络的全部卷积层均搭配整流线性单位函数ReLU(Rectified Linear Unit)，除了最后一个卷积层的卷积核数为1外，其他层的卷积核数均为128；/n(4)各个网络分支的输入分别为输入光场图像的对应视角图像；/n所述独创的特征信息辅助的图像语义分割卷积神经网络实现如下：/n(1)特征信息辅助的图像语义分割卷积神经网络，采用残差结构分别从输入的中心视角RGB图像和特征图中提取信息，并使用注意力辅助模块ACM(Attention ComplementaryModules)融合RGB图像残差结构和特征图残差结构的输出信息；网络通过上采样将得到表示图像语义分割结果的同尺寸2D图像；/n(2)用于处理RGB图像和用于处理特征图的两个残差结构都由一层卷积和五个残差模块构成；其中，残差模块的输入经过两层卷积运算得到的结果再与输入相加得到输出；/n(3)注意力辅助模块ACM中，输入经过全局平均池化、卷积以后得到的结果再与输入相加得到输出；/n(4)上采样使用双三次插值；共进行五次上采样；/n(5)特征信息辅助的图像语义分割卷积神经网络的全部卷积层的卷积核大小均为3×3，残差模块中卷积的步长为2以实现下采样，其余卷积的步长均为1，特征图边缘填充0；网络的全部卷积层均搭配整流线性单位函数ReLU(Rectified Linear Unit)，除了最后一个卷积层的卷积核数为1外，其他层的卷积核数均为128。/n...

【技术特征摘要】
1.一种基于光场的场景语义分割系统，其特征在于，包括：光场图像采集模块、光场图像预处理模块、图像特征提取模块、场景语义分割模块、数据存储模块、显示模块和系统管理模块；
光场图像采集模块，负责采集需要进行语义分割的光场图像；该模块由包含9×9个分布在规则网格上且镜头光轴平行排列的相机组成相机阵列，根据用户设置的目标场景位置，对9行9列的相机阵列进行同步曝光控制，获取某一时刻的角度分辨率为9×9的光场图像，用于语义分割；
光场图像预处理模块，将不同格式的光场图像转换为图像特征提取模块和场景语义分割模块支持的图像格式；本系统支持外部输入的光场图像，这类图像格式不同于使用光场图像采集模块直接获取的图像，需要经光场图像预处理模块进行图像格式转换，转换为视角图像方式来表示光场图像；对于角度分辨率大于9×9的光场图像，只取其中心9×9个视角图像；对于角度分辨率小于9×9的光场图像，则无法通过本系统获得准确的光场图像语义分割结果；本系统通过光场图像采集模块直接获取的光场图像，则无需进行预处理；
图像特征提取模块，采用一种独创的光场图像中心视角特征提取卷积神经网络，利用光场9×9个不同视角图像，获取其中最中心的一个视角图像中的场景特征信息，用于语义分割；
场景语义分割模块，采用一种独创的特征信息辅助的图像语义分割卷积神经网络，借助于图像特征提取模块获取的中心视角图像中的场景特征信息完成光场中心视角图像语义分割；
数据存储模块，管理数据库并储存光场图像数据及其语义分割结果，提供光场图像及其语义分割结果数据的添加、删除和查询接口；
显示模块，连接数据存储模块，用于显示被用户查询的光场图像和该光场图像对应的场景语义分割结果；
系统管理模块，连接数据存储模块，支持对数据库中的光场图像及其语义分割数据进行查询、添加和删除；系统管理模块连接用户数据库，将用户分为系统管理员与普通用户，允许系统管理员查询、添加与删除任何光场图像及语义分割信息，普通用户仅允许添加光场图像或查询和删除本人添加的光场图像及语义分割信息；
所述独创的光场图像中心视角特征提取卷积神经网络实现如下：
(1)光场图像中心视角特征提取卷积神经网络，采用多路网络结构分别从每个输入视角提取图像信息；其中，中心视角为特征提取的基础视角，综合使用全局残差结构与局部残差结构，其余80个视角为辅助视角，均只使用局部残差结构；卷积神经网络的全局残差结构完整保留中心视角图像中频率低于w/2的信息，其中w表示图像的最大频率；而卷积神经网络的局部残差结构则由残差模块实现；81条分路的输出通过拼接形成一组特征图，经过另外的两层卷积，得到最终一张完整的中心视角特征图；
(2)残差模块中，输入经过两层卷积运算得到的结果再与输入相加得到输出；
(3)光场图像特征提取卷积神经网络的全部卷积层的卷积核大小均为3×3，步长为1，特征图边缘填充0以保证卷积过后特征图尺寸不会发生变化；网络的全部卷积层均搭配整流线性单位函数ReLU(RectifiedLi...

【专利技术属性】
技术研发人员：盛浩，杨达，赵昱欣，崔正龙，周建伟，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11