【技术实现步骤摘要】
本专利技术涉及图像处理 ，尤其涉及一种多视角场景的视觉显著区域预测方法、装置及电子设备。
技术介绍
1、三维光场显示技术提供了高度沉浸感和真实体验，随着技术的发展，人们对三维内容的舒适性和真实感要求不断提升。准确预测三维显示中的显著区域，对于提高观看体验和增强显示装置的真实感至关重要。
2、尽管基于rgb-d的视觉显著区域研究已取得一定进展，但现有方法大多局限于单一视角的分析。在多视角场景中，传统视觉注意力模型难以有效提取和融合三维场景的特征，导致其在实际应用中的性能受限。目前的研究多集中在以彩色图像或彩色图像结合深度图像作为输入的多视角视觉注意力预测模型上，试图捕捉场景中的视觉信息。然而，上述方式无法充分提供三维场景所需的多视角特征信息，限制了视觉注意力模型在捕捉多视角场景的关键特征时的准确性。
技术实现思路
1、本专利技术提供一种多视角场景的视觉显著区域预测方法、装置及电子设备，以解决现有技术中，视觉注意力模型在捕获多视角场景中眼动行为的准确性不足的问题。
2、本专利技术提供一种多视角场景的视觉显著区域预测方法，包括如下步骤：
3、获取待预测场景的不同角度下的视图，包括左视图、中视图以及右视图；
4、将所述左视图和右视图映射至所述中视图对应的视点上，得到映射后的所述左视图和映射后的所述右视图；
5、将映射后的所述左视图、映射后的所述右视图、所述中视图以及所述中视图对应的深度图作为输入，输入至人眼注视点预测模型中，得到所
6、根据本专利技术提供的多视角场景的视觉显著区域预测方法，所述人眼注视点预测模型由并行多视角编码器和融合多视角解码器组成；所述并行多视角编码器包括：
7、第一并行编码器，用于获取映射后的所述左视图的特征；
8、第二并行编码器，用于获取所述中视图和所述中视图对应的深度图的特征；
9、第三并行编码器，用于获取映射后的所述右视图的特征；
10、所述融合多视角解码器，用于将各个特征进行融合，并进行解码操作，以生成所述待预测场景的视觉显著区域预测结果。
11、根据本专利技术提供的多视角场景的视觉显著区域预测方法，所述第一并行编码器、所述第二并行编码器以及所述第三并行编码器的权重相同。
12、根据本专利技术提供的多视角场景的视觉显著区域预测方法，所述将所述左视图和右视图映射至所述中视图对应的视点上，得到映射后的所述左视图和映射后的所述右视图，包括：
13、根据相机内部参数、所述左视图对应的深度图和彩色图，以及所述右视图对应的深度图和彩色图，重建所述左视图的三维点云图和所述右视图的三维点云图；
14、根据相机外参矩阵，将所述左视图的三维点云图和所述右视图的三维点云图转换至相机坐标系中；
15、在相机坐标系中，通过相机内参矩阵和相机外参矩阵，将所述左视图的三维点云图和所述右视图的三维点云图投影到二维平面上，得到映射后的所述左视图和映射后的所述右视图。
16、根据本专利技术提供的任意一种多视角场景的视觉显著区域预测方法，还包括：
17、使用多视角场景显著区域数据集，对初始人眼注视点预测模型进行训练，得到人眼注视点预测模型。
18、根据本专利技术提供的多视角场景的视觉显著区域预测方法，其特征在于，所述使用多视角场景显著区域数据集，对初始人眼注视点预测模型进行训练，得到所述人眼注视点预测模型，包括：
19、在所述训练过程中，为初始人眼注视点预测模型中的解码器的每一层配置相应的损失函数，每一层解码器的损失项权重随着解码层的深入而增加。
20、本专利技术还提供一种多视角场景的视觉显著区域预测装置，包括：
21、视图获取模块，用于获取待预测场景的不同角度下的视图，包括左视图、中视图以及右视图；
22、视图处理模块，用于将所述左视图和右视图映射至所述中视图对应的视点上，得到映射后的所述左视图和映射后的所述右视图；
23、区域预测模块，用于将映射后的所述左视图、映射后的所述右视图、所述中视图以及所述中视图对应的深度图作为输入，输入至人眼注视点预测模型中，得到所述待预测场景的视觉显著区域预测结果。
24、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的多视角场景的视觉显著区域预测方法。
25、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的多视角场景的视觉显著区域预测方法。
26、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的多视角场景的视觉显著区域预测方法。
27、本专利技术提供的多视角场景的视觉显著区域预测方法、装置及电子设备，通过融合待预测场景的多视角图像和深度信息，实现了对于多视角场景的人眼视觉注意力预测，为三维显示技术提供更为准确的视觉显著区域预测结果。
本文档来自技高网...【技术保护点】
1.一种多视角场景的视觉显著区域预测方法，其特征在于，包括：
2.根据权利要求1所述的多视角场景的视觉显著区域预测方法，其特征在于，所述人眼注视点预测模型由并行多视角编码器和融合多视角解码器组成；所述并行多视角编码器包括：
3.根据权利要求2所述的多视角场景的视觉显著区域预测方法，其特征在于，所述第一并行编码器、所述第二并行编码器以及所述第三并行编码器的权重相同。
4.根据权利要求1所述的多视角场景的视觉显著区域预测方法，其特征在于，所述将所述左视图和右视图映射至所述中视图对应的视点上，得到映射后的所述左视图和映射后的所述右视图，包括：
5.根据权利要求1至4任一项所述的多视角场景的视觉显著区域预测方法，其特征在于，还包括：
6.根据权利要求5所述的多视角场景的视觉显著区域预测方法，其特征在于，所述使用多视角场景显著区域数据集，对初始人眼注视点预测模型进行训练，得到所述人眼注视点预测模型，包括：
7.一种多视角场景的视觉显著区域预测装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的多视角场景的视觉显著区域预测方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的多视角场景的视觉显著区域预测方法。
...【技术特征摘要】
1.一种多视角场景的视觉显著区域预测方法，其特征在于，包括：
2.根据权利要求1所述的多视角场景的视觉显著区域预测方法，其特征在于，所述人眼注视点预测模型由并行多视角编码器和融合多视角解码器组成；所述并行多视角编码器包括：
3.根据权利要求2所述的多视角场景的视觉显著区域预测方法，其特征在于，所述第一并行编码器、所述第二并行编码器以及所述第三并行编码器的权重相同。
4.根据权利要求1所述的多视角场景的视觉显著区域预测方法，其特征在于，所述将所述左视图和右视图映射至所述中视图对应的视点上，得到映射后的所述左视图和映射后的所述右视图，包括：
5.根据权利要求1至4任一项所述的多视角场景的视觉显著区域预测方法，其特征在于，还包括：
6.根据权利要求5所述的多视角场景的视觉显著区域预测...
【专利技术属性】
技术研发人员：颜玢玢，周伽奕，陈硕，黄子毅，易湘诚，王昕轲，杨路，邢树军，于迅博，高鑫，桑新柱，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。