利用Logo标志图文信息的相似度Logo发现方法技术

本发明专利技术涉及计算机技术，具体涉及利用Logo标志图文信息的相似度Logo发现方法，包括获取多种格式的Logo图像，形成相似Logo数据集；构建FastR

【技术实现步骤摘要】
利用Logo标志图文信息的相似度Logo发现方法


[0001]本专利技术属于计算机
，特别涉及利用Logo标志图文信息的相似度Logo发现方法。

技术介绍

[0002]Logo是徽标或者商标的外语缩写，起到对商标持有公司的识别和推广的作用，形象的商标可以让消费者记住公司主体和品牌文化，由此可见商标应该具备两大功能，即区别功能与审美功能。商标侵权是指未经商标权人许可，在相同或类似商品上使用与其注册商标相同或近似的商标等行为。认定商标侵权行为是司法审判中面临的问题,其中商标相似性判断尤为突出。近年来，人工智能在计算机视觉、自然语言处理等领域迅猛发展，研究者运用自然语言处理、图像处理等技术,对Logo图像及其上下文进行细粒度的特征提取，可以提高Logo相似性判断的客观性和一致性，解决当前司法实践中的困境。
[0003]目前，对于Logo相似性主要采用人工方式进行判断，由此导致主观性比较强以及判断标准不一的问题。在图像相似度度量领域，现有的算法可分为哈希算法等传统方法和孪生网络等深度学习类算法。基于孪生网络的算法的短板在于其是有监督算法，需要大量标注数据，而在现实场景中缺乏大量的类似Logo及标签。于是，需要一种标准统一的、高效的自动识别相似Logo的方法。

技术实现思路

[0004]针对
技术介绍
存在的问题，本专利技术提供一种利用Logo标志图像和图像上下文细粒度片段进行相似Logo发现的方法。
[0005]为解决上述技术问题，本专利技术采用如下技术方案：利用Logo标志图文信息的相似度Logo发现方法，包括以下步骤：
[0006]步骤1、输入多种格式的Logo图像，对不同尺寸、像素的Logo进行预处理；
[0007]步骤2、构建基于深度神经网络的目标检测模型，检测输入图像中的Logo图像部分；经过多次实验选定最佳窗口大小，以窗口为单位捕获Logo周边图像内容；
[0008]步骤3、搭建Attention
‑
OCR神经网络模型，识别Logo图像周边的文本；
[0009]步骤4、构建卷积神经网络、预训练语言模型，对以上步骤所提取Logo图像周边的文本、图像进行多粒度向量化表征；
[0010]步骤5、将Logo的图形特征向量和文本特征向量进行拼接，形成Logo特征；
[0011]步骤6、对于输入的多个logo图像，依据上述步骤进行特征捕获，运用双塔模型进行不同图像之间的相似度匹配计算，确定不同Logo图像之间的匹配程度。
[0012]在上述利用Logo标志图文信息的相似度Logo发现方法中，步骤1所述Logo图像是指任何对其持有公司具有识别、推广作用的图像，包括且不限于png、bmp、jpg格式图像；所述预处理过程包括：图像平移和大小缩放、图像角度倾斜矫正、图像增强。
[0013]在上述利用Logo标志图文信息的相似度Logo发现方法中，步骤2的实现包括采用
目标检测算法Fast R
‑
CNN，提取步骤1输入图像中的Logo图像中的图形特征信息G
logo
，具体过程包括：
[0014]步骤2.1、基于预处理的Logo图像，识别对Logo区域进行精准标注，构建Logo识别数据集，并采取仿射变换、图像合成扩充数据集；
[0015]步骤2.2、通过迁移学习加快Fast R
‑
CNN模型训练效果，采用Dropout机制防止过拟合，从而提取图形特征信息G
logo
；
[0016]步骤2.3、通过多尺度滑动窗口法，以窗口为单位捕获Logo周边图像内容G
nearby
。
[0017]在上述利用Logo标志图文信息的相似度Logo发现方法中，步骤3的实现包括搭建Attention
‑
OCR架构的中英文通用STR模型，经有监督训练检测出图像中的文本T
nearby
，具体过程包括：
[0018]步骤3.1、应用Cascade Mask RCNN模型检测图像文本，生成文本区域的深层卷积特征；
[0019]步骤3.2、将所述深层卷积特征通过仿射变换生成LSTM初始状态，并输入到Attention LSTM网络中，输出概率最大的文字T
nearby
。
[0020]在上述利用Logo标志图文信息的相似度Logo发现方法中，步骤4中对步骤2.2提取图形特征信息G
logo
、步骤2.3捕获Logo周边图像内容G
nearby
、以及步骤3.2输出概率最大的文字T
nearby
进行特征提取，具体过程包括如下：
[0021]步骤4.1、构建卷积神经网络模型VGG16，使用该模型对图像G
logo
、G
nearby
进行特征提取；
[0022]步骤4.2、使用BERT预训练模型，对Logo图像周边的文本T
nearby
进行特征提取。
[0023]在上述利用Logo标志图文信息的相似度Logo发现方法中，步骤5的实现包括：将Logo的图形特征向量和文本特征向量进行concatenate操作，同时采用self
‑
attention对拼接后的特征向量进行权值计算。
[0024]与现有技术相比，本专利技术的有益效果：能够实现相似Logo的自动发现。通过应用Fast R
‑
CNN检测Logo标志图像，解决了Logo自动定位准确度受限的问题。利用预训练的BERT和VGG16学习文本和图像的单模数据，获得了统一的Logo图像语义表示，明确了Logo图像相似度匹配计算路径。本专利技术所提出的相似Logo发现方法，能够在图像和文本粒度层面实现大规模、批量化的相似Logo图像自动匹配，可以提高Logo相似性判断的客观性和一致性，从而解决当前商标侵权判定的司法实践中的困境。
附图说明
[0025]图1为本专利技术一个实施例流程图。
具体实施方式
[0026]下面将结合本专利技术实施例对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相
互组合。
[0028]下面结合具体实施例对本专利技术作进一步说明，但不作为本专利技术的限定。
[0029]本实施例利用Logo标志图像和图像上下文细粒度片段进行相似Logo发现，应用Fast R
‑
CNN进行目标检测以获得Logo图像，按照一定窗口大小获取Logo图像周边区域并通过OCR提取周边区域文本，提取并拼接图像和文本特征作为Logo特征，最终通过双塔模型进行Logo相似度匹配计算。其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.利用Logo标志图文信息的相似度Logo发现方法，其特征在于：包括以下步骤：步骤1、输入多种格式的Logo图像，对不同尺寸、像素的Logo进行预处理；步骤2、构建基于深度神经网络的目标检测模型，检测输入图像中的Logo图像部分；经过多次实验选定最佳窗口大小，以窗口为单位捕获Logo周边图像内容；步骤3、搭建Attention
‑
OCR神经网络模型，识别Logo图像周边的文本；步骤4、构建卷积神经网络、预训练语言模型，对以上步骤所提取Logo图像周边的文本、图像进行多粒度向量化表征；步骤5、将Logo的图形特征向量和文本特征向量进行拼接，形成Logo特征；步骤6、对于输入的多个logo图像，依据上述步骤进行特征捕获，运用双塔模型进行不同图像之间的相似度匹配计算，确定不同Logo图像之间的匹配程度。2.根据权利要求1所述利用Logo标志图文信息的相似度Logo发现方法，其特征在于：步骤1所述Logo图像是指任何对其持有公司具有识别、推广作用的图像，包括且不限于png、bmp、jpg格式图像；所述预处理过程包括：图像平移和大小缩放、图像角度倾斜矫正、图像增强。3.根据权利要求1所述利用Logo标志图文信息的相似度Logo发现方法，其特征在于：步骤2的实现包括采用目标检测算法Fast R
‑
CNN，提取步骤1输入图像中的Logo图像中的图形特征信息G
logo
，具体过程包括：步骤2.1、基于预处理的Logo图像，识别对Logo区域进行精准标注，构建Logo识别数据集，并采取仿射变换、图像合成扩充数据集；步骤2.2、通过迁移学习加快Fast R
‑
CNN模型训练效果，采用Dropout机制防止过拟合，从而提取图形特征信息G
logo...

【专利技术属性】
技术研发人员：张喜会，杜佳，周翔，何建平，黄佳妮，
申请(专利权)人：深圳市标准技术研究院，
类型：发明
国别省市：