基于分布式存储图像处理方法、系统、设备及介质技术方案

本申请提出了一种基于分布式存储图像处理方法、系统、设备及介质，适用于图像处理领域，该方法通过获取图像设备采集的场景图像、以及场景图像内的目标图像；对场景图像进行解析处理，确定场景图像的结构化数据与图像数据；将多个场景图像中图像数据聚合存储为大文件进行分布式存储，生成大文件唯一的文件标识；根据场景图像的图像名称与文件标识的对应关系，结合目标图像在场景图像内图像数据的区域信息以及图像数据的源标识确定场景图像的文件标识，通过在场景图像的文件标识内增加区域信息来存储目标图像；通过在文件标识里添加区域信息存储目标图像，避免了重复图像的存储，极大提高了图像存储空间利用率。极大提高了图像存储空间利用率。极大提高了图像存储空间利用率。

【技术实现步骤摘要】
基于分布式存储图像处理方法、系统、设备及介质


[0001]本申请涉及图像处理领域，也涉及数据存储领域，尤其涉及一种基于分布式存储图像处理方法、系统、设备及介质。

技术介绍

[0002]分布式存储是一种数据存储技术，通过网络使用每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据被分散存储于各个角落的磁盘空间。
[0003]在相关技术中，为了最大优化存储空间利用率，通常会比较每个文件(图像)的MD5(Message
‑
Digest Algorithm，信息摘要算法)值是否相同，若相同，则删除重复文件，以提高存储空间利用率。然而，采用上述方式，忽略了文件之间内容区域重复性，造成文件冗余存储，极大浪费了存储空间。
[0004]申请内容
[0005]鉴于以上所述现有技术的缺点，本申请提供一种基于分布式存储图像处理方法、系统、设备及介质，以解决上述技术问题。
[0006]本申请提供的一种基于分布式存储图像处理方法，所述方法包括:
[0007]获取图像设备采集的场景图像、以及所述场景图像内的目标图像；
[0008]对所述场景图像进行解析处理，确定所述场景图像的结构化数据与图像数据，所述结构化数据包括所述图像数据的图像名称、所述目标图像在所述图像数据内区域信息以及所述目标图像对应的所述图像数据的源标识；
[0009]将多个所述场景图像的图像数据聚合存储为大文件进行分布式存储，生成所述大文件唯一的文件标识；并将所述文件标识与所述场景图像的图像名称关联存储；
[0010]根据所述场景图像的图像名称与文件标识的对应关系，结合所述目标图像的区域信息与所述源标识确定所述目标图像关联所述场景图像的文件标识，通过在所述文件标识内增加区域信息来存储目标图像。
[0011]在一种可能的实施方式中，获取图像设备采集的场景图像、以及所述场景图像内的目标图像，包括：
[0012]利用同一图像设备采集同一场景的场景图像与目标图像，或/和，利用不同图像设备采集同一场景的场景图像与目标图像。
[0013]在一种可能的实施方式中，对所述场景图像进行解析处理，确定所述场景图像的结构化数据与图像数据，包括：
[0014]基于分析接口协议对所述场景图像进行解析处理，得到所述场景图像的结构化数据与图像数据；所述结构化数据包括所述图像数据的图像名称、所述目标图像在所述图像数据内区域信息以及所述目标图像对应的所述图像数据的源标识；
[0015]其中，通过比较所述目标图像与图像数据的相似度确定所述目标图像在所述图像数据内区域信息；根据所述目标图像与图像数据的相似度结果确定所述目标图像对应的所述图像数据的源标识。
[0016]在一种可能的实施方式中，所述将多个所述场景图像的图像数据聚合存储为大文件进行分布式存储，生成所述大文件存储的文件标识，包括：
[0017]将多张所述场景图像的图像数据聚合存储为一个大文件，每个所述大文件对应唯一的文件标识，并将所述场景图像的结构化数据关联存储；
[0018]根据负载均衡原则分布式存储各个所述大文件，所述文件标识包括文件名称、所述图像数据在大文件中的偏移、图像大小；以及所述目标图像在场景图像中区域信息。
[0019]在一种可能的实施方式中，所述通过在所述文件标识内增加区域信息来存储目标图像之后，还包括：
[0020]利用所述文件标识定位所述大文件的存储位置；
[0021]待确定所述大文件后，根据所述文件标识读取所述大文件的场景图像，并以扫描线数组方式进行存储；
[0022]利用所述目标图像在所述场景数据内区域信息从所述扫描线数组读取相应的行列数据恢复为目标图像。
[0023]在一种可能的实施方式中，所述根据所述场景图像的图像名称与文件标识的对应关系之前，还包括：
[0024]判断解析后的所述场景图像的区域信息与目标图像的关系；
[0025]若所述目标图像为解析后的所述场景图像的区域信息，根据所述文件标识在相应的场景图像存储目标图像；
[0026]若所述目标图像不为解析后的所述场景图像的区域信息，则采用聚合存储方式分布式存储所述场景图像与目标图像。
[0027]在一种可能的实施方式中，所述分布式存储，还包括：
[0028]接收到分布式存储请求时，获取分布式存储系统中磁盘的可写区域；所述分布式存储请求包括待写入所述大文件的大小，所述磁盘分布式设置且划分为多个可写区域；
[0029]根据所述分布式存储请求和所述可写区域的剩余存储空间确定写入信息；所述写入信息包括切分所述待写入所述大文件得到的各个对象的长度；
[0030]将所述写入信息返回至计算节点，以使所述计算节点根据所述写入信息将所述待写入文件写入对应的存储节点。
[0031]本申请还提供了一种基于分布式存储图像处理系统，所述系统包括：
[0032]获取模块，用于获取图像设备采集的场景图像、以及所述场景图像内的目标图像；
[0033]解析处理模块，用于对所述场景图像进行解析处理，确定所述场景图像的结构化数据与图像数据，所述结构化数据包括所述图像数据的图像名称、所述目标图像在所述图像数据内区域信息以及所述目标图像对应的所述图像数据的源标识；
[0034]聚合存储模块，将多个所述场景图像中图像数据聚合存储为大文件进行分布式存储，生成所述大文件唯一的文件标识；并将所述文件标识与所述场景图像的图像名称关联存储；
[0035]图像存储模块，用于根据所述场景图像的图像名称与文件标识的对应关系，结合所述目标图像的区域信息与所述源标识确定所述目标图像关联所述场景图像的文件标识，通过在所述文件标识内增加区域信息来存储目标图像。
[0036]本申请还提供了一种电子设备，包括处理器、存储器和通信总线；
[0037]所述通信总线用于将所述处理器和存储器连接；
[0038]所述处理器用于执行所述存储器中存储的计算机程序，以实现如上述中任一项实施例所述的方法。
[0039]本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，
[0040]所述计算机程序用于使计算机执行如上述任一项实施例所述的方法。
[0041]本申请的有益效果：本申请提出的一种基于分布式存储图像处理方法、系统、设备及介质，该方法通过获取场景图像以及归属于场景图像内目标图像，对所述场景图像进行解析处理，确定场景图像的结构化数据与图像数据；将多个场景图像的图像数据通过聚合存储为大文件后，根据所述场景图像的图像名称与文件标识的对应关系，结合所述目标图像的区域信息与所述源标识确定所述目标图像关联所述场景图像的文件标识，通过在所述文件标识内增加区域信息来存储目标图像，即可实现目标图像存储；一方面，本申请利用聚合存储方式，能够最大化使用存储空间，减少存储空间的浪费；另一方面，通过在文件标识里添加区域信息存储目标图像，避免了重复图像的存储，也极大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式存储图像处理方法，其特征在于，所述方法包括：获取图像设备采集的场景图像、以及所述场景图像内的目标图像；对所述场景图像进行解析处理，确定所述场景图像的结构化数据与图像数据，所述结构化数据包括所述图像数据的图像名称、所述目标图像在所述图像数据内的区域信息以及所述目标图像对应的所述图像数据的源标识；将多个所述场景图像的图像数据聚合存储为大文件进行分布式存储，生成所述大文件唯一的文件标识；并将所述文件标识与所述场景图像的图像名称关联存储；根据所述场景图像的图像名称与文件标识的对应关系，结合所述目标图像的区域信息与所述源标识确定所述目标图像关联所述场景图像的文件标识，通过在所述文件标识内增加区域信息来存储目标图像。2.如权利要求1所述的方法，其特征在于，获取图像设备采集的场景图像、以及所述场景图像内的目标图像，包括：利用同一图像设备采集同一场景的场景图像与目标图像，或/和，利用不同图像设备采集同一场景的场景图像与目标图像。3.如权利要求2所述的方法，其特征在于，对所述场景图像进行解析处理，确定所述场景图像的结构化数据与图像数据，包括：基于分析接口协议对所述场景图像进行解析处理，得到所述场景图像的结构化数据与图像数据；所述结构化数据包括所述图像数据的图像名称、所述目标图像在所述图像数据内区域信息以及所述目标图像对应的所述图像数据的源标识；其中，通过比较所述目标图像与图像数据的相似度确定所述目标图像在所述图像数据内区域信息；根据所述目标图像与图像数据的相似度结果确定所述目标图像对应的所述图像数据的源标识。4.如权利要求1所述的方法，其特征在于，所述将多个所述场景图像的图像数据聚合存储为大文件进行分布式存储，生成所述大文件存储的文件标识，包括：将多张所述场景图像的图像数据聚合存储为一个大文件，每个所述大文件对应唯一的文件标识，并将所述场景图像的结构化数据关联存储根据负载均衡原则分布式存储各个所述大文件，所述文件标识包括文件名称、所述图像数据在大文件中的偏移、图像大小，以及所述目标图像在场景图像中区域信息。5.如权利要求1
‑
4任一项所述的方法，其特征在于，所述通过在所述文件标识内增加区域信息来存储目标图像之后，还包括：利用所述文件标识定位所述大文件的存储位置；待确定所述大文件后，根据所述文件标识读取所述大文件的场景图像，并以扫描线数组方式进行存储；利...

【专利技术属性】
技术研发人员：林杰，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：