一种局部背光调光方法、系统及设备和介质技术方案

本发明专利技术公开了一种局部背光调光方法、系统及设备和介质，涉及图像处理、人工智能算法及液晶显示器领域。所述的局部背光调光方法为：将背光单元划分为固定数量的背光块；将原图像输入简单卷积神经网络，输出归一化背光强度BLU初始背光；对BLU初始背光进行模糊处理；将模糊处理后的BLU初始背光放大得到整体背光；根据整体背光、调光透射率和漏光系数，对调光图像进行建模；计算原图像与调光图像之间的损失值，估计固定数量背光块的发光强度，完成对简单卷积神经网络的训练，得到背光调光方案。该方法需要训练的参数较少，计算量和延迟也显著减少，网络简单，使得学习成本明显降低，训练和硬件上的移植更加简单。和硬件上的移植更加简单。和硬件上的移植更加简单。

【技术实现步骤摘要】
一种局部背光调光方法、系统及设备和介质


[0001]本专利技术涉及图像处理、人工智能算法及液晶显示器领域，具体涉及一种局部背光调光方法、系统及设备和介质。

技术介绍

[0002]目前，液晶显示器(Liquid Crystal Display,LCD)在在寿命、耐用性和价格等方面具有很大的优势，因此其占有很大的市场份额。但是LCD不是自发光器件，需要用背光来显示内容，根据液晶的自身特性，传统LCD在显示低亮度画面时背光亮度不能调节降低，部分光线穿过液晶阻隔，形成漏光伪影降低图像的显示质量。另外，由于背光模组功耗在LCD的整体功耗中占比最大，传统LCD会造成很大的能源浪费。
[0003]鉴于以上问题，背光调光技术应运而生，此方法在黑暗区域使背光变暗，并且反过来补偿LC透射率，使其与调光率成反比，使得在减少泄漏特性影响的同时，显示的图像失真较小。如今，发光二极管(LED)已取代冷阴极荧光灯(CCFL)作为背光单元(BLU)。BLU通常分为块，这样我们可以根据图像内容局部和单独地控制每个块中LED的强度。这种策略被称为局部背光调光(LBD)，它在降低功耗的同时大大提高对比度。然而，现有的LBD也经常带来一些退化，例如细节丢失和光晕伪影。且现有的局部背光调光多为手工特征提取或依托人工神经网络，这些方法需要大量的计算，在硬件上难以实现。
[0004]中国专利申请，申请号CN201910895951.2，公开日2019年9月21号，公开了一种基于深度学习的用于图像处理的动态调光背光扩散方法，该专利采用区域背光提取算法提取样本图像的背光亮度；将背光亮度输入至基于深度学习背光扩散模型进行背光亮度扩散，输出背光亮度扩散图像，将背光亮度扩散图像与输入图像对应的补偿图像相乘，得到显像图像，确定显像图像与样本图像间的误差，用所述的误差更新背光扩散模型，得到最终的背光扩散模型。该专利技术利用神经网络建立背光扩散模型，为动态调光算法的理论研究提供了无需实际测量的可靠的扩散模型。但是，该专利提出的方法，采用传统的区域背光提取算法对原图像提取背光亮度，在确定背光时无法考虑到相邻位置的光扩散问题；且在背光扩散模型中，使用了三个卷积块和四个残差块，每个残差块中又包含两个卷积块，网络规模较大，需要训练的参数众多，在因而在处理大尺寸图像时，存储资源消耗很大，难以在硬件上有效实现。

技术实现思路

[0005]1.要解决的技术问题
[0006]本专利技术的目的在于克服现有技术的不足，解决传统局部背光调光方法缺乏泛化能力以及网络庞大、计算复杂、难以在硬件上有效实现的问题，采用了一种简单卷积神经网络来学习特征，以找到最佳的背光强度，提供了一种局部背光调光方法、系统及设备和介质。
[0007]2.技术方案
[0008]本专利技术的目的通过以下技术方案实现。
[0009]具体由以下技术方案实现：
[0010]第一方面，提出一种局部背光调光算法，将整个背光单元(BLU)划分为固定数量的背光块，用于局部调光控制；对原图像使用简单卷积神经网络，经过1个扩张卷积层、4个最大池化层和1个全连接层，最后使用sigmoid函数，将输出作为BLU的归一化初始背光强度；此网络结构体量小，容易进行硬件实现，同时可以考虑到周围像素点的影响，实验证明，此网络结构具有较好的效果。接着对BLU初始背光使用双边平滑操作与两次双三次插值操作，以将BLU初始背光进行模糊处理并插值放大到与原图像大小相等，得到整体背光；随后创建调光透射率补偿器，对原图像进行补偿，在背光过暗时使调光图像与原始图像保持相同的亮度值，得到背光调光后的补偿液晶透射率；最后考虑光泄露问题，根据原图像、BLU整体背光、背光调光后的补偿液晶透射率和漏光系数完成调光图像的建模；计算原图像与调光图像之间的损失值，在输出的调光图像无限接近于输入图像的约束条件下，估计固定数量背光块BLU的发光强度，训练所述的简单卷积神经网络。训练完成后，最终得到背光调光的方案。
[0011]方法具体包括以下步骤：
[0012]将整个BLU划分为固定数量的背光块，所述背光块为单独控制LED强度的最小单元；
[0013]将原图像输入简单卷积神经网络，输出BLU的归一化背光强度BLU初始背光，以所述BLU初始背光控制LED背光显示；
[0014]对BLU初始背光使用平滑操作，进行模糊处理；
[0015]对经过平滑操作的BLU初始背光进行插值操作，将BLU初始背光放大到与原图像大小相等，得到BLU整体背光；
[0016]创建调光透射率补偿器，根据BLU整体背光对原图像进行调光透射率补偿，得到背光调光后的补偿液晶透射率；
[0017]根据BLU整体背光、背光调光后的补偿液晶透射率和漏光系数对原图像进行像素补偿，完成调光图像的建模；
[0018]计算原图像与调光图像之间的损失值，在输出的调光图像无限接近于输入图像的约束条件下，估计固定数量的背光块BLU的发光强度，训练所述的简单卷积神经网络，优化简单卷积神经网络模型的参数；
[0019]每一轮迭代中计算输入图像正向传播到输出层节点的数据，输出的数据为BLU初始背光，对BLU初始背光进行平滑、插值计算后对原图像进行像素补偿，最终输出调光图像；通过计算调光图像与原图像的损失值，来计算梯度再进行反向传播，并在反向传播的过程中更新网络模型参数权重w和偏置值bias；经过多轮迭代，最终得到稳定的网络模型参数，保存最终的网络模型参数，训练过程完毕，完成模型构建，得到背光调光的整体方案；
[0020]所述背光调光的整体方案包括简单卷积神经网络输出的BLU初始背光和BLU整体背光的计算方法。
[0021]在第一方面的一些可实现方式中，将整个背光单元(BLU)划分为10
×
16个背光块，用于局部调光控制，在模拟训练时，使用960
×
1536像素的RGB图像，即每个背光块覆盖96
×
96个像素；
[0022]在第一方面的一些可实现方式中，对原图像使用简单卷积神经网络，经过1个扩张
卷积层、4个最大池化层和1个全连接层，最后使用sigmoid函数，将生成器输出归一化到[0，1]之间，将输出作为BLU的归一化背光强度，得到BLU初始背光。
[0023]卷积层中的操作可以表示为：
[0024]h
out
＝σ(W*h
in
+bias)
[0025]其中W和bias分别表示权重和偏置，卷积层的输出是输入h
in
与权重W的卷积结果再与偏置bias相加，然后使用非线性激活函数σ。通过使用一层CNN，可以考虑到相邻图像的影响，使之能够具有极端可变性的模式；随后使用多层步长不同的最大池化层，不断提取像素值最高的值，同时不需要训练更多的参数，使得训练和硬件上的移植变得更加简单。
[0026]在第一方面的一些可实现方式中，对BLU初始背光使用双边平滑操作，进行模糊处理，来模拟光学扩散膜的影响。
...

【技术保护点】

【技术特征摘要】
1.一种局部背光调光方法，其特征在于，所述方法包括：将整个BLU划分为固定数量的背光块，所述背光块为单独控制LED强度的最小单元；将原图像输入简单卷积神经网络，输出BLU的归一化背光强度BLU初始背光，以所述BLU初始背光控制LED背光显示；对BLU初始背光使用平滑操作，进行模糊处理；对经过平滑操作的BLU初始背光进行插值操作，将BLU初始背光放大到与原图像大小相等，得到BLU整体背光；创建调光透射率补偿器，根据BLU整体背光对原图像进行调光透射率补偿，得到背光调光后的补偿液晶透射率；根据BLU整体背光、背光调光后的补偿液晶透射率和漏光系数对原图像进行像素补偿，完成调光图像的建模；计算原图像与调光图像之间的损失值，在输出的调光图像无限接近于输入图像的约束条件下，估计固定数量的背光块BLU的发光强度，训练所述的简单卷积神经网络，优化简单卷积神经网络模型的参数；每一轮迭代中计算输入图像正向传播到输出层节点的数据，输出的数据为BLU初始背光，对BLU初始背光进行平滑、插值计算后对原图像进行像素补偿，最终输出调光图像；通过计算调光图像与原图像的损失值，来计算梯度再进行反向传播，并在反向传播的过程中更新网络模型参数权重w和偏置值bias；经过多轮迭代，最终得到稳定的网络模型参数，保存最终的网络模型参数，训练过程完毕，完成模型构建，得到背光调光的整体方案；所述背光调光的整体方案包括简单卷积神经网络输出的BLU初始背光和BLU整体背光的计算方法。2.根据权利要求1所述的一种局部背光调光方法，其特征在于，所述简单卷积神经网络包括1个扩张卷积层、4个最大池化层和1个全连接层，最后使用sigmoid函数将输出归一化到[0，1]之间，得到BLU的归一化背光强度，即BLU初始背光；其中，卷积层的输入h
in
为原图像，输出为背光图像h
out
：h
out
＝σ(W*h
in
+bias)其中W为权重，bias为偏置值，σ为非线性激活函数；四个最大池化层设置不同的步长，提取背光图像像素值最高值。3.根据权利要求1所述的一种局部背光调光方法，其特征在于，所述对BLU初始背光使用平滑操作进行模糊处理的具体操作为双边滤波平滑操作：其中，其中，b
blur
为第(c，r)块处的模糊背光强度，b
dim
为第(c，r)块处的初始背光强度；c为背光块的列索引，r为背光块的行索引；d为像素邻域直径，k为相邻像...

【专利技术属性】
技术研发人员：韩嘉宁，张璇，王杰，汪晨冉，范静，吴迪，高越雯，
申请(专利权)人：南京宁麒智能计算芯片研究院有限公司，
类型：发明
国别省市：