一种处理长尾数据的语义分割方法技术

一种处理长尾数据的语义分割方法，该方法基于语义分割处理系统，语义分割系统包括存储器和处理器，处理器包括存储控制器和寄存器，存储器包括网络库，分割算法库，样本采样方法库，以及配套的应用算法库，该语义分割方法包括，基础配适步骤和样本处理及机器学习步骤，基础配适步骤包括，存储控制器调用样本采用方法库，对目标数据集E进行锁定，并在目标数据E中提取样本B，处理器将所述目标数据E和所述样本B存储在所述寄存器；存储控制器调用网络库调用OCR

【技术实现步骤摘要】
一种处理长尾数据的语义分割方法


[0001]本专利技术属于视觉识别
，涉及一种语义分割方法，具体为处理长尾数据的语义分割方法。

技术介绍

[0002]视觉识别任务中真实样本的类别分布通常不是均匀分布，符合长尾分布，即头部类别具有较多样本实例，尾部类别具有较少样本。长尾分布会导致深度学习模型将在很大程度上由少数头部类主导，在尾部的少样本类别上它的性能则会大大降低。
[0003]长尾分布在真实世界中是广泛存在的，当CNN模型面临长尾分布的数据集时，性能会显著下降。目前的方法：一种策略是一阶段方法，利用重新平衡的思想，如重采样、类别感知采样、重复因子抽样等，通过增加少数样本的采样率或减少高频类别的采样率来平衡各类别在特征表达中的贡献，但这种方法有造成过拟合的风险，甚至会扭曲原始数据的分布；另一种是二阶段方法，在后续分类器学习的时候进行class
‑
balanced sampling learning。这个方法规避了一阶段的弊端，但对分类器决策边界的调整有较高要求，且需要较为繁琐的超参数调整。

技术实现思路

[0004]本专利技术提出了一种处理长尾数据的语义分割方法，本方案综合了多种方法，能高效的处理长尾数据对模型性能的影响。
[0005]本专利技术的技术方案如下：
[0006]一种处理长尾数据的语义分割方法，该方法基于语义分割处理系统，所述语义分割系统包括存储器和处理器，所述处理器包括存储控制器和寄存器，所述存储器包括网络库，分割算法库，样本采样方法库，以及配套的应用算法库，
[0007]该语义分割方法包括，基础配适步骤和样本处理及机器学习步骤，
[0008]所述基础配适步骤包括，
[0009]所述存储控制器调用样本采用方法库，对目标数据集E进行锁定，并在目标数据E中提取样本B，所述处理器将所述目标数据E和所述样本B存储在所述寄存器；
[0010]所述存储控制器调用网络库调用OCR
‑
HRNet32作为基础网络，将基础网络输入所述寄存器，并将所述目标数据E和所述样本B与OCR
‑
HRNet32相适配；
[0011]所述样本处理及机器学习步骤包括，
[0012]所述存储控制器调用所述分割算法库中视觉处理方法，并将所述视觉处理方法与OCR
‑
HRNet32相适配，所述视觉处理方法包括所存储的平衡马赛克数据增强、加权采样和复制粘贴数据增强法，所述处理器通过所述视觉处理方法对样本B(b1，b2，
……
b
n
)进行处理，并根据样本B中b1，b2，
……
b
n
，的迭代反馈，强化及其学习。
[0013]所述样本处理及机器学习步骤包括，
[0014]对bi进行图像层面处理，调用平衡马赛克数据增强方法和加权采样方法对bi处
理；
[0015]再对bi进行像素层面的处理，复制粘贴数据增强法，实现被处理图像的数据增强，在对bi的数据进行复制时，强化对尾部数据优先级程度；
[0016]优化正负样本梯度的均衡性，通过惩罚简单样本的梯度，强化对困难样本的重视程度，进一步加强尾部类别的置信度；
[0017]所述处理器将bi作为处理完成的数据存储入所述寄存器，并对b
i+1
重复上述步骤，当对所述样本B全部完成处理后，检验每个样本B的准确率，并通过检验结果反馈至所述分割算法库，用于对机器学习算法的优化。
[0018]本专利技术的工作原理及有益效果为：
[0019]在本方案中，通过马赛克增强，可以从数据集中随机选择4张图片拼接在一起，这里因为数据集中存在长尾，所以，每次马赛克数据增强都会选择两张尾部数据进行拼接。
[0020]在加权采样中，会针对类别对样本进行采样，数量越少的类别越容易被重采样，从而避免对尾部样本采样不均匀的情况。
[0021]复制粘贴数据增强法，通过粘贴不用规模的不同对象到新的背景图像，粘贴的对象从一张图中抠出mask部分对应的实例，然后随机粘贴到另一张图像，通过该方法可以有选择性地提高尾部类别目标的被粘贴概率而降低头部类别目标的被粘贴概率。
[0022]利用损失函数平衡正负样本，既能缓解不平衡，又能惩罚简单样本的梯度，从而使得网络更加关注困难样本。
[0023]本技术，通过图像层面(马赛克增强、加权采样)、像素层面(复制粘贴数据增强法)以及损失函数层面(利用损失函数平衡正负样本)，来降低长尾分布数据对模型的影响。
附图说明
[0024]为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
[0025]图1为语义分割处理系统的原理框图。
[0026]图2为本申请的流程框图。
[0027]图3为机器学习算法的流程框图。
具体实施方式
[0028]下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都涉及本专利技术保护的范围。
[0029]具体实施例1，
[0030]如说明书附图1所示，一种处理长尾数据的语义分割方法，该方法基于语义分割处理系统，所述语义分割系统包括存储器和处理器，所述处理器包括存储控制器和寄存器，所
述存储器包括网络库，分割算法库，样本采样方法库，以及配套的应用算法库，该语义分割方法包括，基础配适步骤和样本处理及机器学习步骤，所述基础配适步骤包括，所述存储控制器调用样本采用方法库，对目标数据集E进行锁定，并在目标数据E中提取样本B，所述处理器将所述目标数据E和所述样本B存储在所述寄存器；所述存储控制器调用网络库调用OCR
‑
HRNet32作为基础网络，将基础网络输入所述寄存器，并将所述目标数据E和所述样本B与OCR
‑
HRNet32相适配；所述样本处理及机器学习步骤包括，所述存储控制器调用所述分割算法库中视觉处理方法，并将所述视觉处理方法与OCR
‑
HRNet32相适配，所述视觉处理方法包括所存储的平衡马赛克数据增强、加权采样和复制粘贴数据增强法，所述处理器通过所述视觉处理方法对样本B(b1，b2，
……
b
n
)进行处理，并根据样本B中b1，b2，
……
b
n
，的迭代反馈，强化及其学习。其中分割算法库，样本采样方法库，以及配套的应用算法库都依赖于网络库。
[0031]分割算法库包括样本数据的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理长尾数据的语义分割方法，该方法基于语义分割处理系统，所述语义分割系统包括存储器和处理器，所述处理器包括存储控制器和寄存器，其特征在于，所述存储器包括网络库，分割算法库，样本采样方法库，以及配套的应用算法库，该语义分割方法包括，基础配适步骤和样本处理及机器学习步骤，所述基础配适步骤包括，所述存储控制器调用样本采用方法库，对目标数据集E进行锁定，并在目标数据E中提取样本B，所述处理器将所述目标数据E和所述样本B存储在所述寄存器；所述存储控制器调用网络库调用OCR
‑
HRNet32作为基础网络，将基础网络输入所述寄存器，并将所述目标数据E和所述样本B与OCR
‑
HRNet32相适配；所述样本处理及机器学习步骤包括，所述存储控制器调用所述分割算法库中视觉处理方法，并将所述视觉处理方法与OCR
‑
HRNet32相适配，所述视觉处理方法包括所存储的平衡马赛克数据增强、加权采样和复制粘贴数据增强法，所述处理器通过所述视觉处理方法对样本B(b1，b2，
……
b
n
)进行处理，并根据样本B中b1，b2，
……
b
n
，的迭代反馈，强化及其学习。2.根据权利要求1所述的一种处理长尾数据的语义分割方法，其特征在于，所述样本处理及机器学习步骤包括，对b
i
进行图像层面处理，调用平衡马赛克数据增强方法和加权采样方法对bi处理；再对b
i
进行像素层面的处理，复制粘贴数据增强法，实现被处理图像的数据增强，在对b
i
的数据进行复制时，强化对尾部数据优先级程度；优化正负样本梯度的均衡性，通过惩罚简单样本的梯度，强化对困难样本的重视程度，进一步加强尾部类别的置信度；所述处理器将b
i
作为处理完成的数据存储入所述寄存器，并对b
i+1
重复上述步骤，当对所述样本B全部完成处理后，检验每个样本B的准确率，并通过检验结果反馈至所述分割算法库，用于对机器学习算法的优化。3.根据权利要求2所述的一种处理长尾数据的语义...

【专利技术属性】
技术研发人员：周祖煜，白博文，张澎彬，林波，陈煜人，莫志敏，张浩，李天齐，刘俊，
申请(专利权)人：杭州领见数字农业科技有限公司，
类型：发明
国别省市：