一种大数据图像处理算法及系统技术方案

本发明专利技术涉及一种图像处理的技术领域，揭露了一种大数据图像处理算法，包括：获取海量图像数据，并对图像数据进行图像灰度化和灰度拉伸的预处理；利用图像描述特征提取算法对预处理完成的图像进行特征提取；利用分区优化算法对大数据平台的数据分区策略进行优化，并将海量图像数据存储到优化后的大数据平台中，并将图像描述特征作为图像存储的键值；利用自适应的图像分割算法对所存储的图像进行自适应分割处理；利用图像语义特征提取模型提取分割后图像块的语义信息，将所有分割图像块的语义信息作为原图像的语义信息。本发明专利技术还提供了一种大数据图像处理系统。本发明专利技术实现了基于大数据的图像处理。的图像处理。的图像处理。

【技术实现步骤摘要】
一种大数据图像处理算法及系统


[0001]本专利技术涉及图像处理的
，尤其涉及一种大数据图像处理算法及系统。

技术介绍

[0002]随着图像大数据技术的飞速发展，多维、多尺度、高分辨率的图像数据呈现爆发式增长。传统图像处理软件在对这些海量图像数据进行处理时存在耗时较长的问题。
[0003]同时传统图像处理软件因数据的吞吐量较大、信息冗余等问题导致存储架构对服务器的硬件资源具有很强的依赖性，无法集中管理导致维护困难，扩展性较差且存储利用率不高。
[0004]鉴于此，如何依靠大数据技术实现更为高效的海量数据处理，成为本领域技术人员亟待解决的问题。

技术实现思路

[0005]本专利技术提供一种大数据图像处理算法，通过提取图像的描述特征作为图像的存储键值，并利用分区优化算法对大数据平台的数据分区策略进行优化，并将海量数据存储到优化后的大数据平台中；利用自适应的图像分割算法对所存储的图像进行自适应分割处理，并利用图像语义特征提取模型提取分割后图像块的语义信息，将所有分割图像块的语义信息作为原图像的信息，实现图像的分割以及语义信息提取处理。
[0006]为实现上述目的，本专利技术提供的一种大数据图像处理算法，包括：
[0007]获取海量图像数据，并对图像数据进行图像灰度化和灰度拉伸的预处理，得到预处理完成的海量图像数据；
[0008]利用图像描述特征提取算法对预处理完成的图像进行特征提取，得到海量图像的描述特征；
[0009]利用分区优化算法对大数据平台的数据分区策略进行优化，并将海量图像数据存储到优化后的大数据平台中，并将图像描述特征作为图像存储的键值；
[0010]利用自适应的图像分割算法对所存储的图像进行自适应分割处理，得到若干图像块；
[0011]利用图像语义特征提取模型提取分割后图像块的语义信息，将所有分割图像块的语义信息作为原图像的语义信息。
[0012]可选地，所述对图像数据进行图像灰度化和灰度拉伸的预处理，包括：
[0013]1)对所采集的海量图像中每一个像素的三个分量求最大值，并将该最大值设置为该像素点的灰度值，得到图像的灰度图，所述灰度化处理的公式为：
[0014]G(i,j)＝max{R(i,j),G(i,j),B(i,j)}
[0015]其中：
[0016](i,j)为图像中的一个像素点；
[0017]R(i,j),G(i,j),B(i,j)分别为像素点(i,j)在R、G、B三个颜色通道中的值；
[0018]G(i,j)为像素点(i,j)的灰度值；
[0019]2)对于所述灰度图，利用分段线性变换的方式对图像灰度进行拉伸，所述灰度拉伸的公式为：
[0020][0021]其中：
[0022]f(x,y)为灰度图；
[0023]MAX
f(x,y)
,MIN
f(x,y)
分别为灰度图的最大灰度值和最小灰度值。
[0024]可选地，所述利用图像描述特征提取算法对预处理完成的图像进行特征提取，包括：
[0025]1)构建图像的Hessian矩阵：
[0026][0027]其中：
[0028]h
xx
(x,σ)为图像在像素点x位置的二阶导数，σ为图像像素的邻域标准差；
[0029]2)计算每个像素的Hessian矩阵极值：D(H(x))＝h
xy
*h
yy
‑
(0.9*h
xy
)2；选取图像中D(H(x))最大的K个像素点作为图像的局部特征点；
[0030]3)构建高斯尺度域空间：
[0031][0032]其中：
[0033]I(x,y)为原始图像；
[0034]σ为原始图像的像素标准差；
[0035]4)将经过Hessian矩阵处理的局部特征点与其图像域和尺度域的所有相邻点进行比较，采用非极大值抑制的方法定位稳定的特征点；
[0036]5)统计特征点圆形邻域内的Harr小波特征，确定特征点主方向；提取特征点周围4*4矩形区域块，统计Harr小波特征水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值之和得到64维的特征向量，作为图像描述特征。
[0037]可选地，所述利用分区优化算法对大数据平台的数据分区策略进行优化，包括：
[0038]在本专利技术一个具体实施例中，所述大数据平台为Hadoop平台；
[0039]所述分区优化算法流程为：
[0040]1)大数据平台接收海量图像数据，将图像描述特征作为图像存储的键值key，基于抽样率s对所存储的图像进行抽样处理，在本专利技术一个具体实施例中，本专利技术构建抽样率评估模型，根据所构建的抽样率评估模型确定图像抽样率，所述抽样率评估模型为：
[0041]s＝argmin(αD
s
+βT
s
)
[0042][0043][0044]其中：
[0045]cov
s,i
为抽样率为s时第i次抽样的错误率值，所述错误率为抽样后数据分布与期待分布之间的差异值，cov
m,i
为抽样率为100％时第i次抽样的错误率值；
[0046]t
s,i
表示抽样率为s时第j次抽样的抽样时间；
[0047]α,β表示抽样率评估模型参数，将其均设置为1；
[0048]2)由抽样结果得出总负载和总键值Key种类总数，根据客户端启动的Reduce个数计算大数据平台的平均值负载；
[0049]遍历键值队列，若键值中的值大于平均值负载则称键值key所对应的图像为大负载，就将大负载进行拆分，所述大负载的拆分分为两种情况，1.大负载等于负载平均值，则将Key分配给Reduce负载为0的节点，并将分区号和Reduce节点对应关系记录下来；2.大负载是平均负载的几倍，则以平均值负载对大负载进行拆分，同时记录分区号和Key的对应关系，将大负载处理完成后，小负载就直接分配给Reduce节点并记录对应的Key和分区号关系。
[0050]可选地，所述利用自适应的图像分割算法对所存储的图像进行自适应分割处理，包括：
[0051]1)确定图像分割数量K，针对整个图像中所有的像素点进行随机均匀的分配质心操作，即分配相应的K个聚类中心，每个图像块的面积为S
×
S，S＝sqrt(N/K)，其中N为图像像素总数；
[0052]2)计算搜索区域内聚类中心与所有像素点之间的空间距离函数2)计算搜索区域内聚类中心与所有像素点之间的空间距离函数其中(x
i
,y
i
)为第i块图像块的聚类中心，(x
j
,y
j
)为第i块图像块中的像素点；
[0053]3)将图像转换为LAB图像，计算图像的比例函数m(i,j)：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据图像处理算法，其特征在于，所述方法包括：获取海量图像数据，并对图像数据进行图像灰度化和灰度拉伸的预处理，得到预处理完成的海量图像数据；利用图像描述特征提取算法对预处理完成的图像进行特征提取，得到海量图像的描述特征；利用分区优化算法对大数据平台的数据分区策略进行优化，并将海量图像数据存储到优化后的大数据平台中，并将图像描述特征作为图像存储的键值；利用自适应的图像分割算法对所存储的图像进行自适应分割处理，得到若干图像块；利用图像语义特征提取模型提取分割后图像块的语义信息，将所有分割图像块的语义信息作为原图像的语义信息。2.如权利要求1所述的一种大数据图像处理算法，其特征在于，所述对图像数据进行图像灰度化和灰度拉伸的预处理，包括：1)对所采集的海量图像中每一个像素的三个分量求最大值，并将该最大值设置为该像素点的灰度值，得到图像的灰度图，所述灰度化处理的公式为：G(i,j)＝max{R(i,j),G(i,j),B(i,j)}其中：(i,j)为图像中的一个像素点；R(i,j),G(i,j),B(i,j)分别为像素点(i,j)在R、G、B三个颜色通道中的值；G(i,j)为像素点(i,j)的灰度值；2)对于所述灰度图，利用分段线性变换的方式对图像灰度进行拉伸，所述灰度拉伸的公式为：其中：f(x,y)为灰度图；MAX
f(x,y)
,MIN
f(x，y)
分别为灰度图的最大灰度值和最小灰度值。3.如权利要求2所述的一种大数据图像处理算法，其特征在于，所述利用图像描述特征提取算法对预处理完成的图像进行特征提取，包括：1)构建图像的Hessian矩阵：其中：h
xx
(x,σ)为图像在像素点x位置的二阶导数，σ为图像像素的邻域标准差；2)计算每个像素的Hessian矩阵极值：D(H(x))＝h
xy
*h
yy
‑
(0.9*h
xy
)2；选取图像中D(H(x))最大的K个像素点作为图像的局部特征点；3)构建高斯尺度域空间：
其中：I(x，y)为原始图像；σ为原始图像的像素标准差；4)将经过Hessian矩阵处理的局部特征点与其图像域和尺度域的所有相邻点进行比较，采用非极大值抑制的方法定位稳定的特征点；5)统计特征点圆形邻域内的Harr小波特征，确定特征点主方向；提取特征点周围4*4矩形区域块，统计Harr小波特征水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值之和得到64维的特征向量，作为图像描述特征。4.如权利要求3所述的一种大数据图像处理算法，其特征在于，所述利用分区优化算法对大数据平台的数据分区策略进行优化，包括：1)大数据平台接收海量图像数据，将图像描述特征作为图像存储的键值key，构建抽样率评估模型，根据所构建的抽样率评估模型确定图像抽样率，基于抽样率s对所存储的图像进行抽样处理，所述抽样率评估模型为：s＝argmin(αD
s
+βT
s
))其中：cov
s，i
为抽样率为s时第i次抽样的错误率值，所述错误率为抽样后数据分布与期待分布之间的差异值，cov
m,i
为抽样率为100％时第i次抽样的错误率值；t
s,i
表示抽样率为s时第j次抽样的抽样时间；α,β表示抽样率评估模型参数，将其均设置为1；2)由抽样结果得出总负载和总键值Key种类总数，根据客户端启动的Reduce个数计算大数据平台的平均值负载；遍历键值队列，若键值中的值大于平均值负载则称键值key所对应的图像为大负载，就将大负载进行拆分，所述大负载的拆分分为两种情况，1.大负载等于负载平均值，则将Key分配给Reduce负载为0的节点，并将分区号和Reduce节点对...

【专利技术属性】
技术研发人员：汪知礼，
申请(专利权)人：汪知礼，
类型：发明
国别省市：