【技术实现步骤摘要】
本专利技术涉及深度学习和计算机视觉领域，具体涉及一种低光环境下高精度的视线估计方法。
技术介绍
1、视线估计技术旨在确定图像或视频中人物的注视方向和焦点。作为人类社交互动的核心要素，视线行为能够揭示大量潜在信息。传统的视线估计方法主要依赖模型驱动技术，并需要借助昂贵的高分辨率和红外摄像机等复杂设备。然而，随着基于外观的视线估计技术的迅猛发展，特别是通过利用卷积神经网络(cnn)从人脸或眼睛图像直接估计视线位置的方法，已经取得了重大技术突破。这些方法主要采用端到端的学习策略，通过映射图像至视线方向的函数，仅需输入人脸图像即可实现精确的视线估计。该方法不仅简化了数据处理流程，还通过全面分析全脸的全局特征，显著提升了视线估计的准确性和实用性，已经成为视线估计领域的主流技术。
2、尽管这些创新方法在跨域适应、细粒度处理、多人识别、实时应用和鲁棒性方面已取得显著成果，但在低光场景下实现高精度的视线估计仍然是一个挑战。因此，本专利技术致力于提升低光环境下视线估计的性能和准确性，以满足日益严格的实际应用需求。
3、针对视线估计的高精度问题，现有技术中有人提出了一种利用双视图交互卷积块和双视角transformer来交换和融合特征的方法。该方法的视线估计网络接受两个不同视角的人脸图像作为输入，并借助transformer交换和融合特征，以完成视线估计任务。然而，这种方法在面对各种低光的复杂场景时显示出其局限性。
4、因此，亟需一种新的低光环境下高精度的视线估计方法。
技术实现思路<
1、本专利技术的实施目的在于提供一种低光环境下高精度的视线估计方法，设计并引入了一个创新的algcf(自适应局部-全局融合)模块到低光图像增强网络中，专门应对视线估计任务中眼部特征的重要性及其动态变化。algcf模块通过自适应融合门控机制，结合局部特征提取器和全局上下文信息提取器，提供了一个有效的多尺度融合策略，极大地提高了准确性。此外，基于弱光图像增强技术，本专利技术设计了一个融合特征净化模块和注意力机制的视线估计模型。这种设计确保了即使在低光条件下也能有效地提取眼部特征，从而进行准确的视线估计。本专利技术方法能有效解决在低光环境下视线估计精度显著下降的问题，从而提高系统的实用性和准确性。为了实现上述目的，本专利技术采取了如下技术方案：
2、为了解决上述技术问题至少之一，根据本专利技术的一方面，一种低光环境下高精度的视线估计方法，具体包括以下步骤：
3、s1.数据集预处理，模拟低光环境；
4、s2.低光图像增加，得到增强后的图像ienhanced；
5、s3.增强图像ienhanced校准，得到校准图像icalibrated；
6、s4.图像进行特征提取，输出特征向量；使用改进的残差网络模型resnet18对校准后的图像进行特征提取；
7、s5.通过全连接层将特征向量映射成三维输出向量o；
8、s6.对三维输出向量o的前两个元素应用双曲正切变换，以获取精确的预测视线方向；
9、s7.对三维输出向量o的第三个元素通过sigmoid函数变换，得到视线预测的不确定性；
10、s8.采用mseloss损失函数来度量预测结果与真实值之间的误差，并通过反向传播更新网络参数。
11、进一步的，s1中，为了模拟不同低光环境下的视觉效果，对gaze360数据集执行了预处理，构建了反映各种低光条件下的新的gaze360数据集；
12、对低光环境进行分类，包括：较暗的场景、极暗的场景、使用伽马校正模拟的低照度环境以及模拟带有不明光源位置的黑暗场景；
13、s1具体步骤如下：
14、s101.对于较暗的场景和极暗的场景，通过调整图像的亮度和对比度，以增加夜间视觉的真实感；具体来说，亮度调整通过改变图像的暗部和亮部区间来实现；对比度的调整是通过调节图像中颜色的分布范围来实现，使得颜色的展示更集中，从而强化暗部和亮部的区分；
15、s102.对于使用伽马校正模拟的低照度环境图像集，通过o＝i(1/g)×255得到伽马校正后的输出图像o，其中i是输入图像，g是伽马值；
16、s103.对于使用模拟带有不明光源位置的黑暗场景图像集，通过图像变暗和添加局部光源效果；首先通过调整亮度显著降低图像的整体亮度，增强夜间环境中暗部的表现；随后，通过在图像随机位置引入渐变的光源效果并应用高斯模糊，模拟特定光源的照明，确保光照效果在场景中自然融合。
17、进一步的，步骤s2中，通过增强网络模块对低光图像进行增强；增强网络模块旨在从输入图像中提取多尺度特征，并结合全局上下文信息，最终实现细节增强和光照平衡；增强网络模块由输入卷积层、algcf模块、多个卷积块和输出卷积层组成；
18、s2具体步骤如下：
19、s201.初始特征提取，输入图像i经过初始卷积层，提取了基础特征：
20、f0＝relu(conv0(i))
21、conv0是初始卷积层，通过卷积核提取输入图像的特征；relu激活函数用于非线性处理，使特征图f0保持基础的光照和细节效果，为后续的融合与增强提供可靠的初始特征；
22、s202.自适应局部-全局融合，即algcf；
23、通过局部特征提取器提取眼部区域的细节信息：
24、flocal＝conv1(f0)
25、其中，conv1是局部特征提取器的卷积层，专注于从初始特征图中提取眼部细节；局部特征提取器通过卷积核捕捉细节特征；
26、通过全局上下文信息提取器获取面部整体光照和结构信息：
27、fglobal＝in(conv2(aap(f0)),size＝flocal)
28、其中，aap是自适应平均池化层，能够从全局上下文中提取光照与结构信息；conv2使用1×1卷积核生成全局特征图；随后通过插值in操作将全局特征调整到与局部特征相同的大小，以便融合；
29、将局部和全局特征相结合，并生成融合权重，通过融合权重进行自适应的特征融合：
30、
31、其中，concat将局部和全局特征组合成一个融合特征图；conv3是门控机制的卷积层，σ表示sigmoid函数，通过sigmoid函数生成融合权重g；融合特征falgcf根据融合权重g和1-g自适应融合局部与全局特征，确保面部特征图具有全局光照一致性并保持眼部局部细节；
32、s203.融合后的特征图falgcf经过多个卷积块进一步提取特征：
33、fi+1＝fi+relu(bn(convi(fi)))
34、convi是每个卷积块的卷积层，fi是第i层特征图；bn，即batchnorm进行特征标准化，relu激活函数确保特征的非线性处理；通过残差连接(+)操作，每个卷积块在提取特征的同时保持输入特征的完整性；
35、输出卷积本文档来自技高网...
【技术保护点】
1.一种低光环境下高精度的视线估计方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，S1中，为了模拟不同低光环境下的视觉效果，对Gaze360数据集执行了预处理，构建了反映各种低光条件下的新的Gaze360数据集；
3.根据权利要求2所述的方法，其特征在于，步骤S2中，通过增强网络模块对低光图像进行增强；增强网络模块旨在从输入图像中提取多尺度特征，并结合全局上下文信息，最终实现细节增强和光照平衡；增强网络模块由输入卷积层、ALGCF模块、多个卷积块和输出卷积层组成；
4.根据权利要求3所述的方法，其特征在于，步骤S3中，增强后的图像Ienhanced经过初始卷积层，得到校准特征图：
5.根据权利要求4所述的方法，其特征在于，步骤S4中，使用改进的残差网络模型ResNet18对校准后的图像进行特征提取，在第二和第三阶段引入注意力机制模块，以及在第四阶段引入特征净化模块。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1～5中任一项所述的低光环境
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～5中任一项所述的低光环境下高精度的视线估计方法中的步骤。
...【技术特征摘要】
1.一种低光环境下高精度的视线估计方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，s1中，为了模拟不同低光环境下的视觉效果，对gaze360数据集执行了预处理，构建了反映各种低光条件下的新的gaze360数据集；
3.根据权利要求2所述的方法，其特征在于，步骤s2中，通过增强网络模块对低光图像进行增强；增强网络模块旨在从输入图像中提取多尺度特征，并结合全局上下文信息，最终实现细节增强和光照平衡；增强网络模块由输入卷积层、algcf模块、多个卷积块和输出卷积层组成；
4.根据权利要求3所述的方法，其特征在于，步骤s3中，增强后的图像ienhanc...
【专利技术属性】
技术研发人员：王进，王可，曹硕裕，徐嘉玲，赵颖钏，吕泽，
申请(专利权)人：南通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。