一种逐句段对比的相似文本查找方法及装置制造方法及图纸

本发明专利技术涉及数据处理技术领域，涉及一种逐句段对比的相似文本查找方法及装置。其中，该方法包括：对待处理文本以及多个对比文本均进行分段处理，得到对应的多个待处理段落以及每个对比文本的多个对比段落，计算得到所有段落的数字指纹，以数字指纹为基础确定出与待处理段落相同的对比段落，再对剩余的段落通过动态规划算法进行处理，最终得到待处理文本与每个对比文本的相似度，确定出相似度高的对比文本。本发明专利技术相较于现有技术中基于计算最小编辑距离和降维比对的方式进行查重，通过上述步骤能够以句段为单位结合数字指纹进行初步处理，再通过动态规划算法精确处理，既保证了查找比对的效率，同时使得得到的相似度结果更加准确。确。确。

【技术实现步骤摘要】
一种逐句段对比的相似文本查找方法及装置


[0001]本专利技术涉及数据处理
，具体而言，涉及一种逐句段对比的相似文本查找方法及装置。

技术介绍

[0002]目前，针对相似文本查找的任务主要有两种解决方法：计算最小编辑距离的方法和降维比对的方法。
[0003]计算最小编辑距离的方法，是通过计算将一个文本文档转化为另一个文本文档所需的最少编辑操作次数来实现的。此处编辑操作包括插入、删除和替换，编辑距离越小，两个文本文档的相似度越大。此种方法的局限之处在于其仅为依序逐字遍历比较，故无法识别出段落顺序不同但段落内容高度相同的相似文本。此方法需要从篇章开头逐字遍历正文内容，处理较长篇幅的文本过分耗时。
[0004]降维比对的方法，是通过将文本正文内容降维到低维向量空间上来实现的。基于“若两文本内容是相似的，那么分别映射到低维向量空间之后所得向量也是相似的”这一假设，将文本转化为向量或哈希值，分别通过计算两向量的夹角余弦值和两哈希值的海明距离来判定相似程度。此种方法的局限之处在于降维后文本被模糊化，无法将相似度精确表达出来，只可以低维空间上的数值为标准界定相似度是否达到既定标准。
[0005]有鉴于此，如何提供一种高效准确的相似文本查找方案，是本领域技术人员需要解决的。

技术实现思路

[0006]本专利技术的目的在于提供一种逐句段对比的相似文本查找方法及装置。
[0007]第一方面，本专利技术实施例提供一种逐句段对比的相似文本查找方法，应用于计算机设备，计算机设备与文本数据库服务器通信连接，文本数据库服务器存储有多个对比文本；方法包括：获取待处理文本；基于预设分隔符将待处理文本和目标对比文本进行分段处理，得到待处理文本的多个待处理段落和目标对比文本的多个目标对比段落，其中，目标对比文本为多个对比文本中的任一个；计算得到每个待处理段落和每个目标对比段落的数字指纹；从多个待处理段落中确定出第一待处理段落、以及从多个目标对比段落中确定出第一对比段落，并统计得到相同段落参数，其中，第一对比段落的数字指纹与第一待处理段落的数字指纹相同；在第二对比段落占多个目标对比段落中的占比不超过预设占比的条件下，对第二对比段落和第二待处理段落利用动态规划算法计算得到相似段落参数，其中，第二对比段落为
多个目标对比段落中除第一对比段落外的段落，第二待处理段落为多个待处理段落中除第一待处理段落外的段落；根据相同段落参数和相似段落参数计算得到待处理文本和目标对比文本的文本相似度；重复上述步骤，直至确定出每个对比文本与待处理文本的文本相似度。
[0008]可选地，文本数据库服务器还存储有每个对比文本的文本长度，每个对比文本包括对应的标记，每个对比文本包括对应的对比前缀，方法还包括：获取待处理文本并确定待处理文本的文本长度和标记，其中，待处理文本包括待处理前缀；根据待处理文本的文本长度和每个对比文本的文本长度，构建文本处理列表，其中，待处理文本的标记和每个对比文本的标记按照文件长度在文本处理列表中进行排序；从文本处理列表中分别确定第一标记和第二标记，其中，第一标记对应的对比文本的文本长度大于待处理文本的文本长度，第二标记对应的对比文本的文本长度小于待处理文本的文本长度；根据待处理文本和待处理前缀从第一标记对应的对比文本中确定出第一相似文本；根据待处理文本和第二标记对应的对比文本的对比前缀从第二标记对应的对比文本中确定出第二相似文本。
[0009]可选地，每个对比文本包括对应的对比前缀，方法还包括：获取待处理文本的对比前缀；从多个对比文本中确认出待定对比文本，其中，待定对比文本的对比前缀与待处理文本的对比前缀一致；将待处理文本与每个待定对比文本进行逐字对比，直至得到与待处理文本完全相同的相同文本。
[0010]可选地，方法还包括：获取待对比文本，并对待对比文本进行分段处理，得到多个待对比段落；将每个待处理段落的数值指纹和每个待对比段落的数字指纹进行对比得到原始待处理段落和原始待对比段落，其中，原始待处理段落和原始待对比段落的数字指纹相同，原始待处理段落和原始待对比段落一一对应；对原始待处理段落进行分句处理得到多个原始待处理句段；对原始待对比段落进行分句处理得到多个原始待对比句段；为每个原始待处理句段和每个原始待对比句段均配置标签；响应与对比操作，根据标签确定出目标原始待处理句段与目标原始待对比句段之间的修改操作，其中，目标原始待处理句段为多个原始待处理段落中任一原始待处理段落中任一原始待处理句段，目标原始待对比句段为与目标原始待处理段落对应的目标原始待对比段落中任一原始待对比句段。
[0011]可选地，在获取待处理文本的步骤之前，方法还包括：若获取到来自于待处理文本的初始化请求，则根据初始化请求对授权组件进行初始化处理，其中，授权组件用于确定待验证信息所对应的授权结果；当授权组件已完成初始化时，对文本查询事项进行初始化处理；
当文本查询事项已完成初始化时，显示初始化结果，其中，初始化结果用于指示待处理文本通过调用文本查询事项的接口发送文本查询指令；当获取到针对于待处理文本的文本查询指令时，根据文本查询指令获取待验证信息，其中，待验证信息为根据预设向量以及预设知识图谱生成的，预设知识图谱为采用第二加密规则对预设向量进行关联操作后得到的，预设向量为采用第一加密规则对加密元素待配置向量进行加密处理后得到的，加密元素待配置向量为对预先构建的加密元素进行向量化后得到的，且预先构建的加密元素满足合法配置条件；获取第一加密规则和第二加密规则；对待验证信息进行解析处理，得到预设向量以及预设知识图谱；采用第二加密规则对预设向量进行关联操作，得到待验证预设知识图谱；若待验证预设知识图谱与预设知识图谱匹配一致，则采用第一加密规则对预设向量进行解密处理，得到加密元素待配置向量；对加密元素待配置向量进行解码处理，得到加密元素，其中，加密元素包括用户标识以及加密时限，用户标识用于确定文本查询事项的用户身份，加密时限用于确定待验证信息的起始时间以及终止时间；获取指令触发节点、待验证用户标识以及待验证文本查询事项标识，其中，加密元素还包括文本查询事项标识，待验证文本查询事项标识与文本查询事项具有对应关系，指令触发节点为获取文本查询指令所对应的时间，待验证用户标识为根据待处理文本确定的；若指令触发节点未超过加密时限，待验证用户标识与用户标识匹配一致，且待验证文本查询事项标识与文本查询事项标识匹配一致，则确定待验证信息所对应的授权结果为第一授权结果，其中，第一授权结果表示待验证信息已验证成功；若指令触发节点超过加密时限，或，待验证用户标识与用户标识不匹配，或，待验证文本查询事项标识与文本查询事项标识不匹配，则确定待验证信息所对应的授权结果为第二授权结果，其中，第二授权结果表示待验证信息已验证失败；若授权结果用于指示待验证信息已验证成功，则针对于待处理文本启动文本查询事项的调用功能。
[0012]可选地，获取第一加密规则，包括：获取第一私钥以及已加密的私钥；采用第一私钥对已加密的私钥进行解密处理，得到第一加密规则；获取第二加密规则，包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种逐句段对比的相似文本查找方法，其特征在于，应用于计算机设备，所述计算机设备与文本数据库服务器通信连接，所述文本数据库服务器存储有多个对比文本；所述方法包括：获取待处理文本；基于预设分隔符将所述待处理文本和目标对比文本进行分段处理，得到所述待处理文本的多个待处理段落和所述目标对比文本的多个目标对比段落，其中，所述目标对比文本为所述多个对比文本中的任一个；计算得到每个所述待处理段落和每个所述目标对比段落的数字指纹；从所述多个待处理段落中确定出第一待处理段落、以及从所述多个目标对比段落中确定出第一对比段落，并统计得到相同段落参数，其中，所述第一对比段落的数字指纹与所述第一待处理段落的数字指纹相同；在第二对比段落占所述多个目标对比段落中的占比不超过预设占比的条件下，对所述第二对比段落和第二待处理段落利用动态规划算法计算得到相似段落参数，其中，所述第二对比段落为所述多个目标对比段落中除所述第一对比段落外的段落，所述第二待处理段落为所述多个待处理段落中除所述第一待处理段落外的段落；根据所述相同段落参数和所述相似段落参数计算得到所述待处理文本和所述目标对比文本的文本相似度；重复上述步骤，直至确定出每个所述对比文本与所述待处理文本的文本相似度。2.根据权利要求1所述的方法，其特征在于，所述文本数据库服务器还存储有每个所述对比文本的文本长度，每个所述对比文本包括对应的标记，每个所述对比文本包括对应的对比前缀，所述方法还包括：获取待处理文本并确定所述待处理文本的文本长度和标记，其中，所述待处理文本包括待处理前缀；根据所述待处理文本的文本长度和每个所述对比文本的文本长度，构建文本处理列表，其中，所述待处理文本的标记和每个所述对比文本的标记按照文件长度在所述文本处理列表中进行排序；从所述文本处理列表中分别确定第一标记和第二标记，其中，所述第一标记对应的对比文本的文本长度大于所述待处理文本的文本长度，所述第二标记对应的对比文本的文本长度小于所述待处理文本的文本长度；根据所述待处理文本和所述待处理前缀从所述第一标记对应的对比文本中确定出第一相似文本；根据所述待处理文本和所述第二标记对应的对比文本的对比前缀从所述第二标记对应的对比文本中确定出第二相似文本。3.根据权利要求1所述的方法，其特征在于，每个所述对比文本包括对应的对比前缀，所述方法还包括：获取所述待处理文本的对比前缀；从所述多个对比文本中确认出待定对比文本，其中，所述待定对比文本的对比前缀与所述待处理文本的对比前缀一致；将所述待处理文本与每个所述待定对比文本进行逐字对比，直至得到与所述待处理文
本完全相同的相同文本。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取待对比文本，并对所述待对比文本进行分段处理，得到多个待对比段落；将每个所述待处理段落的数值指纹和每个所述待对比段落的数字指纹进行对比得到原始待处理段落和原始待对比段落，其中，所述原始待处理段落和所述原始待对比段落的数字指纹相同，所述原始待处理段落和所述原始待对比段落一一对应；对所述原始待处理段落进行分句处理得到多个原始待处理句段；对所述原始待对比段落进行分句处理得到多个原始待对比句段；为每个所述原始待处理句段和每个所述原始待对比句段均配置标签；响应与对比操作，根据所述标签确定出目标原始待处理句段与目标原始待对比句段之间的修改操作，其中，所述目标原始待处理句段为多个原始待处理段落中任一原始待处理段落中任一原始待处理句段，所述目标原始待对比句段为与所述目标原始待处理段落对应的目标原始待对比段落中任一原始待对比句段。5.根据权利要求1所述的方法，其特征在于，在所述获取待处理文本的步骤之前，所述方法还包括：若获取到来自于所述待处理文本的初始化请求，则根据所述初始化请求对授权组件进行初始化处理，其中，所述授权组件用于确定待验证信息所对应的授权结果；当所述授权组件已完成初始化时，对文本查询事项进行初始化处理；当所述文本查询事项已完成初始化时，显示初始化结果，其中，所述初始化结果用于指示所述待处理文本通过调用所述文本查询事项的接口发送文本查询指令；当获取到针对于待处理文本的所述文本查询指令时，根据所述文本查询指令获取所述待验证信息，其中，所述待验证信息为根据预设向量以及预设知识图谱生成的，所述预设知识图谱为采用第二加密规则对预设向量进行关联操作后得到的，所述预设向量为采用第一加密规则对加密元素待配置向量进行加密处理后得到的，所述加密元素待配置向量为对预先构建的加密元素进行向量化后得到的，且所述预先构建的加密元素满足合法配置条件；获取所述第一加密规则和所述第二加密规则；对所述待验证信息进行解析处理，得到所述预设向量以及所述预设知识图谱；采用所述第二加密规则对所述预设向量进行关联操作，得到待验证预设知识图谱；若所述待验证预设知识图谱与所述预设知识图谱匹配一致，则采用所述第一加密规则对所述预设向量进行解密处理，得到所述加密元素待配置向量；对所述加密元素待配置向量进行解码处理，得到所述加密元素，其中，所述加密元素包括用户标识以及加密时限，所述用户标识用于确定文本查询事项的用户身份，所述...

【专利技术属性】
技术研发人员：贺倩明，雷宇，
申请(专利权)人：深圳得理科技有限公司，
类型：发明
国别省市：