System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种灵活带有业务时间的标签系统及方法技术方案_技高网

一种灵活带有业务时间的标签系统及方法技术方案

技术编号:41514500 阅读:4 留言:0更新日期:2024-05-30 14:52
本发明专利技术涉及数据处理领域,特别是一种灵活带有业务时间的标签系统及方法,标签管理模块用于管理要建设的标签数据的基本信息和标签生产的规则,还有对标签数据生成的NIFI流程的管理;标签查询模块可勾选多个或者单个标签进行标签过滤查询符合的人员信息,也可加上业务时间的过滤,并且可按业务时间进行排序,返回的数据为存储在索引中的数据;系统接口模块用于连接标签管理模块和标签查询模块。该系统可灵活管理标签数据的生成规则、展示方式和标签代码等基础属性,同时管理生成标签数据的NIFI流程。该系统利用Elasticsearch的Nested类型存储标签对象数组,每个标签对象包含标签代码和业务时间等属性,从而实现了带有业务时间的标签系统。

【技术实现步骤摘要】

本专利技术属于数据处理,尤其涉及一种灵活带有业务时间的标签系统。


技术介绍

1、随着数据化的发展,标签的应用越来越广泛。标签可以作为一种元数据,为数据提供附加的描述性信息,使其更易于组织、管理和分析。通过为数据打上适当的标签,可以快速识别和过滤特定类别或属性的数据,提高数据的组织性和可发现性。用户可以根据标签进行精确或模糊搜索,从大量的数据中筛选出感兴趣的内容,节省时间和精力。标签的应用在数据化的环境中非常重要,可以提高数据的组织性、可发现性和可操作性。通过合理使用标签,可以更好地理解和利用数据,为业务决策和创新提供有力支持。现有的标签系统大多使用离线的方式分析出标签数据为原有的主题信息添加标签数据丰富主题信息,主要用于分类和过滤等功能,标签信息主要就表明一个字段含义没有带有时间或者其他属性等信息,多标签的存储基本使用多个字段存储,一个字段存储一个标签信息或者使用位图存储等方式。

2、通过上述分析,现有技术存在的问题及缺陷为:

3、现有的标签系统大多使用离线的方式分析出标签数据为原有的主题信息添加标签数据丰富主题信息,主要用于分类和过滤等功能,标签信息主要就表明一个字段含义没有带有时间或者其他属性等信息,多标签的存储基本使用多个字段存储,一个字段存储一个标签信息或者使用位图存储等方式。一个标签数据只包含一个含义,扩展性比较差,普通标签系统则更适用于一般性的数据分类和组织。现有的标签系统主要关注标签的数据本身,很少考虑标签数据的时间属性。在实际业务中,数据和标签可能随着时间的推移而变化,而现有标签系统无法有效处理这种时间维度的变化。


技术实现思路

1、针对现有技术存在的问题,本专利技术提供了一种灵活带有业务时间的标签系统。

2、本专利技术是这样实现的,一种灵活带有业务时间的标签系统,该系统包括:

3、标签管理模块,用于管理要建设的标签数据的基本信息和标签生产的规则,还有对标签数据生成的nifi流程的管理;

4、标签查询模块,可勾选多个或者单个标签进行标签过滤查询符合的人员信息,也可加上业务时间的过滤,并且可按业务时间进行排序,返回的数据为存储在索引中的数据;

5、系统接口模块,用于连接标签管理模块和标签查询模块。

6、进一步,标签管理模块中要建设的标签基础信息如标签代码、标签名称、标签分类、标签要展示的样式、标签nifi流程的管理等。

7、本专利技术的另一目的在于提供一种灵活带有业务时间的标签系统的灵活带有业务时间的标签方法。

8、进一步,一种灵活带有业务时间的标签方法,包括以下步骤:

9、步骤一,建设后端标签管理模块;

10、步骤二,提前把标签管理的信息加入到jdk的缓存中;

11、步骤三,在标签数据入索引后,通过标签前端查询模块使用。

12、进一步,步骤一中标签管理模块对应的标签管理表主要字段有标签代码、标签名称、标签一级型、标签二级分类、标签详情sql、标签样式、标签sql、标签是否启用、标签流程cron表达式、业务时间字段。

13、进一步,步骤一中在新增标签的时设置该标签生成的sql规则和cron表达式,然后根据提前设置好nifi流程模板生成该标签数据生成的nifi流程。

14、进一步,所述nifi流程根据标签生成的sql获取数据仓库的原始数据,然后把符合该标签条件的数据通过nifi流程中设置好的标签代码和业务时间把数据入elasticsearch具体流程。

15、进一步,所述elasticsearch用做存储标签数组和标签对应的主题信息索引,标签字段使用nested存储于bqxxarr中。

16、进一步,所述nifi流程具体如下:

17、1)通过querydatabasetable组件查询数据,设置查询条件为人员类型设置返回字段为证件号码、姓名、记录时间、入库时间(zjhm、xm、jlsj,rksj)等,设置rksj为增量字段。

18、2)通过convertavrotojson把上一个组件取到的arvo数据转换为json数组,后通过splitjson把json数组分割成单条的json字符串。

19、3)通过evaluatejsonpath组件获取flowfile-content里面的zjhm、xm、jlsj字段放到flowfile-attribute中的对应的三个属性中分别为zjhm、xm、ywsj(业务时间)

20、4)通过updateattribute组件设置“人员”该标签的标签代码属性bqxxdm值为350007,设置属性bqxx为人员。

21、5)再通过updateattribute组件设置属性script(操作索引的脚本)主要用于查询出索引中zjhm等于该条数据的zjhm的索引数据然后把该标签代码和标签信息、业务时间插入到bqxxarr中。

22、6)利用invokehttp调用elasticsearh的http接口执行上面的脚本信息,完成标签信息的插入。

23、进一步,步骤二中key为标签代码,其他的标签管理信息作为对象数据作为value。

24、结合上述的技术方案和解决的技术问题,本专利技术所要保护的技术方案所具备的优点及积极效果为:

25、第一,本专利技术提出一种灵活带有业务时间的标签系统,使用elasticsearch的nested类型存储,把标签当成一个数组对象,一个数组中存储多个标签对象,每个标签对象主要包含标签代码和业务时间等信息,标签对象存储成一个json格式不仅保存标签自带的标签代码代表的标签含义,还有该标签对应的业务时间,而且该json格式也可以扩展更多该标签带有的其他信息放到json的其他key中。通过后端标签管理模块灵活管理标签数据的生成规则、展示方式和标签代码等基础属性,同时管理生成标签数据的nifi流程。通过配置的sql规则,nifi流程将符合规则的数据生成标签数据并将其输入到elasticsearch中。系统利用elasticsearch的nested类型存储标签对象数组,每个标签对象包含标签代码和业务时间等属性,标签数据入elasticsearch后就可用于前端检索使用业务时间也可用于排序使用。

26、第二,本专利技术提供的带有时间的标签系统在时间管理、时间分析和时间导航方面具有明显的优势,适用于需要考虑时间维度的业务数据处理和标签管理。

27、该系统在标签数据的管理和存储上具有一定的灵活性和可扩展性,特别是在处理带有时间维度的标签数据方面,它的优势在于:

28、1、灵活性:通过配置后端标签管理模块和sql规则,可以根据业务需求灵活地管理标签数据的生成规则和展示方式。

29、2、时间维度:标签对象中包含业务时间等属性,可以结合时间维度进行数据检索和排序,为数据分析和查询提供了更多的维度。

30、3、可扩展性:标签信息存储为本文档来自技高网...

【技术保护点】

1.一种灵活带有业务时间的标签系统,其特征在于,该系统包括:

2.如权利要求1所述的灵活带有业务时间的标签系统,其特征在于,标签管理模块中要建设的标签基础信息包括标签代码、标签名称、标签分类、标签要展示的样式、标签NIFI流程的管理。

3.如权利要求1所述的灵活带有业务时间的标签系统,其特征在于,标签查询模块功能的具体的实现方法为:

4.如权利要求1所述的灵活带有业务时间的标签系统,其特征在于,系统接口模块功能的具体的实现方法为:

5.一种灵活带有业务时间的标签的方法,其特征在于,包括以下步骤:

6.如权利要求5所述的灵活带有业务时间的标签的方法,其特征在于,步骤一中标签管理模块对应的标签管理表主要字段有标签代码、标签名称、标签一级型、标签二级分类、标签详情sql、标签样式、标签sql、标签是否启用、标签流程cron表达式、业务时间字段;

7.如权利要求6所述的灵活带有业务时间的标签的方法,其特征在于,所述NIFI流程根据标签生成的sql获取数据仓库的原始数据,然后把符合该标签条件的数据通过NIFI流程中设置好的标签代码和业务时间把数据入Elasticsearch具体流程;所述Elasticsearch用做存储标签数组和标签对应的主题信息索引,标签字段使用nested存储于bqxxarr中。

8.如权利要求6所述的灵活带有业务时间的标签的方法,其特征在于,所述NIFI流程具体如下:

9.如权利要求3所述的灵活带有业务时间的标签的方法,其特征在于,步骤二中key为标签代码,其他的标签管理信息作为对象数据作为value。

10.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求3所述灵活带有业务时间的标签的方法的步骤。

...

【技术特征摘要】

1.一种灵活带有业务时间的标签系统,其特征在于,该系统包括:

2.如权利要求1所述的灵活带有业务时间的标签系统,其特征在于,标签管理模块中要建设的标签基础信息包括标签代码、标签名称、标签分类、标签要展示的样式、标签nifi流程的管理。

3.如权利要求1所述的灵活带有业务时间的标签系统,其特征在于,标签查询模块功能的具体的实现方法为:

4.如权利要求1所述的灵活带有业务时间的标签系统,其特征在于,系统接口模块功能的具体的实现方法为:

5.一种灵活带有业务时间的标签的方法,其特征在于,包括以下步骤:

6.如权利要求5所述的灵活带有业务时间的标签的方法,其特征在于,步骤一中标签管理模块对应的标签管理表主要字段有标签代码、标签名称、标签一级型、标签二级分类、标签详情sql、标签样式、标签sql、标签是否启用、标签流程cron表达式、业务时间字段;

7...

【专利技术属性】
技术研发人员:吴志雄徐春梅林雪红
申请(专利权)人:南威软件股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1