【技术实现步骤摘要】
本专利技术属于图像处理和质量评价，尤其涉及一种多模态与多任务联合的光场图像盲质量评价方法。
技术介绍
1、光场成像能够捕捉场景的四维信息，包括光线的空间和角度信息，这对于三维视觉效果的再现至关重要。然而，这种技术在实际应用中，如压缩和传输过程中，常常会遇到各种失真问题，比如视差失真和深度失真，这些问题会降低图像的视觉质量。传统的图像质量评价方法主要针对普通二维图像，并不适用于具有特殊失真特性的光场图像。
2、随着深度学习技术的发展，卷积神经网络在图像质量评价方面展现出巨大潜力，但它们的应用受限于大量标注数据的需求。对于光场图像而言，因为现有的光场图像数据集规模较小，获取这些数据尤为困难。因此，亟需一种多模态与多任务联合的光场图像盲质量评价方法。
技术实现思路
1、为解决上述技术问题，本专利技术提出了一种多模态与多任务联合的光场图像盲质量评价方法，通过融合视觉和文本信息，并利用模型参数共享与损失权重优化，显著提高了光场图像质量评价的准确性。
2、本专利技术提供了一种多模态与多任务联合的光场图像盲质量评价方法，包括：
3、获取光场图像的伪视频序列；
4、对所述伪视频序列进行处理，生成视觉特征向量，其中，所述视觉特征向量用于识别畸变类型；
5、利用对比语言-图像预训练clip模型，获取所述光场图像的文本特征向量；
6、计算所述视觉特征向量和文本特征向量的余弦相似度；
7、将所述余弦相似度转换为质量等级概率
8、可选的，获取光场图像的伪视频序列包括：
9、基于所述光场图像，获取子孔径图像列阵；
10、按目标方向提取所述子孔径图像列阵，形成所述伪视频序列。
11、可选的，对所述伪视频序列进行处理，生成视觉特征向量包括：
12、将所述伪视频序列输入至vit模型，所述vit模型将所述伪视频序列进行分割，获取若干序列块；
13、对所述序列块进行编码，提取视觉特征；
14、基于所述视觉特征，获取所述视觉特征向量。
15、可选的，基于所述视觉特征，获取所述视觉特征向量包括：
16、对所述视觉特征进行拼接，获取整体视觉特征；
17、对所述整体视觉特征进行均值池化处理，获取所述视觉特征向量。
18、可选的，利用对比语言-图像预训练clip模型，获取所述光场图像的文本特征向量包括：
19、利用对比语言-图像预训练clip模型，获取质量等级的文本描述；
20、将所述文本描述转换为token序列，对所述token序列进行映射和编码处理，获取文本特征向量。
21、可选的，计算所述视觉特征向量和文本特征向量的余弦相似度包括：
22、对所述视觉特征向量和文本特征向量进行归一化处理，计算处理后的所述视觉特征向量和文本特征向量的余弦相似度，所述余弦相似度用于计算所述视觉特征向量和文本特征向量之间的匹配程度。
23、可选的，将余弦相似度转换为质量等级概率包括：
24、基于所述余弦相似度，获取相似度得分矩阵；
25、利用softmax函数将所述相似度得分矩阵转换为概率分布，获取所述质量等级概率。
26、可选的，基于所述质量等级概率和所述畸变类型，获取图像质量评分包括：
27、对所述质量等级概率和对应的数值等级，进行加权求和，结合所述畸变类型，获得所述图像质量评分，其中，所述对应的数值等级为预设数值等级。
28、与现有技术相比，本专利技术具有如下优点和技术效果：
29、本专利技术通过结合视觉和文本特征，实现了更加准确的评估效果。该方法无需参考图像，适用性广泛，并通过多任务学习提高了模型的泛化能力和鲁棒性。引入clip模型后，充分利用了视觉和语言先验知识，能够有效处理多种失真类型，显著降低了对训练数据的需求和资源消耗。整体上，该专利技术显著提升了光场图像质量评价的效率和准确性，具有重要的应用价值和广阔的推广前景。
本文档来自技高网...【技术保护点】
1.一种多模态与多任务联合的光场图像盲质量评价方法，其特征在于，包括：
2.根据权利要求1所述的一种多模态与多任务联合的光场图像盲质量评价方法，其特征在于，获取光场图像的伪视频序列包括：
3.根据权利要求1所述的一种多模态与多任务联合的光场图像盲质量评价方法，其特征在于，对所述伪视频序列进行处理，生成视觉特征向量包括：
4.根据权利要求3所述的一种多模态与多任务联合的光场图像盲质量评价方法，其特征在于，基于所述视觉特征，获取所述视觉特征向量包括：
5.根据权利要求1所述的一种多模态与多任务联合的光场图像盲质量评价方法，其特征在于，利用对比语言-图像预训练CLIP模型，获取所述光场图像的文本特征向量包括：
6.根据权利要求1所述的一种多模态与多任务联合的光场图像盲质量评价方法，其特征在于，计算所述视觉特征向量和文本特征向量的余弦相似度包括：
7.根据权利要求1所述的一种多模态与多任务联合的光场图像盲质量评价方法，其特征在于，将余弦相似度转换为质量等级概率包括：
8.根据权利要求1所述的一种多模态与多
...【技术特征摘要】
1.一种多模态与多任务联合的光场图像盲质量评价方法，其特征在于，包括：
2.根据权利要求1所述的一种多模态与多任务联合的光场图像盲质量评价方法，其特征在于，获取光场图像的伪视频序列包括：
3.根据权利要求1所述的一种多模态与多任务联合的光场图像盲质量评价方法，其特征在于，对所述伪视频序列进行处理，生成视觉特征向量包括：
4.根据权利要求3所述的一种多模态与多任务联合的光场图像盲质量评价方法，其特征在于，基于所述视觉特征，获取所述视觉特征向量包括：
5.根据权利要求1所述的一种多模态与多任务联合的光...
【专利技术属性】
技术研发人员：张友志，钱建宇，蒋俊明，汪磊，刘德阳，
申请(专利权)人：安庆师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。