System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 元数据的分类方法、系统及装置制造方法及图纸_技高网

元数据的分类方法、系统及装置制造方法及图纸

技术编号:42887934 阅读:13 留言:0更新日期:2024-09-30 15:08
本发明专利技术公开了一种元数据的分类方法、系统及装置,涉及数据处理领域,包括获取高速收费站的当前元数据;对当前元数据进行数据清洗;将数据清洗后的当前元数据及所述当前元数据对应的分类输入至训练好的模型中,得到所述模型输出的所述当前元数据对应的分类,所述分类方式包括按照查询需求分类、按照数据来源分类及按照数据使用频率分类中的一种或多种的组合。预先训练好的模型可以基于当前元数据和当前元数据的分类方式输出当前元数据对应的分类,无需用户手动进行分类就可得到当前元数据的类型,更加方便,且采用模型进行分类可以提高分类的准确性。

【技术实现步骤摘要】

本专利技术涉及数据处理领域,特别是涉及一种元数据的分类方法、系统及装置


技术介绍

1、元数据是关于数据描述的数据,它描述了数据的各种属性、特征和上下文,如监控设备、收费站名称、地理位置、所属高速公路、车道数量、etc支持、运营时间、收费标准等等。元数据通常用于管理、维护和发现数据,也可以帮助理解数据的含义和用途,以及支持数据的有效利用和共享。元数据通常分为三类:描述性元数据(描述数据的内容、结构和语义)、结构性元数据(描述数据的组织和格式)、管理性元数据(描述数据的管理和维护)。元数据在数据管理、信息检索、数据挖掘、语义网、大数据等领域都有广泛的应用。传统的元数据分类需要人工逐个处理,非常耗时、费力且容易出错,元数据分类结果的不准确会影响对数据的分析。


技术实现思路

1、本专利技术的目的是提供一种元数据的分类方法、系统及装置,需用户手动进行分类就可得到元数据的类型,更加方便,且采用模型进行分类可以提高分类的准确性。

2、为解决上述技术问题,本专利技术提供了一种元数据的分类方法,包括:

3、获取高速收费站的当前元数据,所述当前元数据包括所述高速收费站的基本信息、运营信息及交通流量中的一种或多种的组合,所述基本信息包括位置,所述运营信息包括开放时间,所述交通流量包括车流量;

4、对所述当前元数据进行数据清洗;

5、将数据清洗后的当前元数据及所述当前元数据的分类方式输入至训练好的模型中,得到所述模型输出的所述当前元数据对应的分类,所述分类方式包括按照查询需求分类、按照数据来源分类及按照数据使用频率分类中的一种或多种的组合。

6、另一方面,所述当前元数据还包括设施信息、技术参数及维护记录;

7、获取高速收费站的当前元数据,包括:

8、获取所述高速收费站的基本信息、运营信息、交通流量、设施信息、技术参数及维护记录中的一种或多种的组合;

9、所述基本信息包括收费站名称、位置及所属高速公路,所述运营信息包括开放时间、收费标准及etc支持,所述交通流量包括日均车流量及高峰时段,所述设施信息包括车道数量及服务设施,所述技术参数包括监控设备及收费系统类型,所述维护记录包括维护历史及更新周期。

10、另一方面,对所述当前元数据进行数据清洗,包括:

11、对所述当前元数据中存在缺失的数据项进行填充;

12、对所述当前元数据中存在数值异常的数据项或存在逻辑错误的数据项进行调整;

13、删除重复的当前元数据。

14、另一方面,对所述当前元数据进行数据清洗,包括:

15、对所述当前元数据的数据格式调整为标准数据格式,所述标准数据格式包括日期格式及数据范围。

16、另一方面,对所述当前元数据进行数据清洗之后,还包括:

17、确定当前元数据内各个数据的一致性,所述一致性包括是否为同一个高速收费站对应的数据;

18、确认当前元数据的来源是否为预设可靠数据源;

19、若所述当前元数据内各个数据存在一致性且所述当前元数据的来源于为预设可靠数据源,则确认所述当前元数据有效;

20、进入将数据清洗后的当前元数据、所述当前元数据对应的分类方式及所述当前元数据对应的分类输入至模型中的步骤。

21、另一方面,所述模型的训练过程,包括:

22、将清洗后的历史元数据、所述历史元数据对应的分类方式及所述历史元数据分为训练集和测试集;

23、使用所述训练集对所述模型进行训练;

24、将所述测试集输入至训练后的所述模型,得到所述模型输出的分类;

25、对所述分类的准确性进行评估;

26、在所述准确性低于预设值时,则调整所述模型的参数,所述参数包括学习率、批大小及迭代次数中的一种或多种的组合,并返回使用所述训练集对所述模型进行训练的步骤;

27、在所述准确性不低于所述预设值时,确定所述模型训练完成。

28、另一方面,将数据清洗后的当前元数据及所述当前元数据的分类方式输入至训练好的模型中,得到所述模型输出的所述当前元数据对应的分类之前,还包括:

29、将所述经过数据清洗后的当前元数据输入至领域知识库,以便所述领域知识库对所述当前元数据进行关键字提取,所述关键字包括所述高速收费站的基本信息、运营信息及交通流量中的一种或多种的组合;

30、将提取后的关键字输入至训练好的所述模型。

31、另一方面,将提取后的关键字输入至训练好的所述模型之后,还包括:

32、将所述领域知识库中的分类标准输入至所述模型中;

33、得到所述模型输出的所述当前元数据对应的分类,包括:

34、得到所述模型基于所述分类标准输出的所述当前元数据对应的分类。

35、为解决上述技术问题,本专利技术还提供了一种元数据的分类系统,包括:

36、当前元数据获取单元,用于获取高速收费站的当前元数据,所述当前元数据包括所述高速收费站的基本信息、运营信息及交通流量中的一种或多种的组合,所述基本信息包括位置,所述运营信息包括开放时间,所述交通流量包括车流量;

37、数据清洗单元,用于对所述当前元数据进行数据清洗;

38、分类单元,用于将数据清洗后的当前元数据及所述当前元数据的分类方式输入至训练好的模型中,得到所述模型输出的所述当前元数据对应的分类,所述分类方式包括按照查询需求分类、按照数据来源分类及按照数据使用频率分类中的一种或多种的组合。

39、为解决上述技术问题,本专利技术还提供了一种元数据的分类装置,包括:

40、存储器,用于存储计算机程序;

41、处理器,用于执行所述计算机程序时实现上述的元数据的分类方法的步骤。

42、本专利技术公开了一种元数据的分类方法、系统及装置,涉及数据处理领域,包括获取高速收费站的当前元数据;对当前元数据进行数据清洗;将数据清洗后的当前元数据及所述当前元数据对应的分类输入至训练好的模型中,得到所述模型输出的所述当前元数据对应的分类,所述分类方式包括按照查询需求分类、按照数据来源分类及按照数据使用频率分类中的一种或多种的组合。预先训练好的模型可以基于当前元数据和当前元数据的分类方式输出当前元数据对应的分类,无需用户手动进行分类就可得到当前元数据的类型,更加方便,且采用模型进行分类可以提高分类的准确性。

本文档来自技高网...

【技术保护点】

1.一种元数据的分类方法,其特征在于,包括:

2.如权利要求1所述的元数据的分类方法,其特征在于,所述当前元数据还包括设施信息、技术参数及维护记录;

3.如权利要求1所述的元数据的分类方法,其特征在于,对所述当前元数据进行数据清洗,包括:

4.如权利要求1所述的元数据的分类方法,其特征在于,对所述当前元数据进行数据清洗,包括:

5.如权利要求1所述的元数据的分类方法,其特征在于,对所述当前元数据进行数据清洗之后,还包括:

6.如权利要求1所述的元数据的分类方法,其特征在于,所述模型的训练过程,包括:

7.如权利要求1至6任一项所述的元数据的分类方法,其特征在于,将数据清洗后的当前元数据及所述当前元数据的分类方式输入至训练好的模型中,得到所述模型输出的所述当前元数据对应的分类之前,还包括:

8.如权利要求7所述的元数据的分类方法,其特征在于,将提取后的关键字输入至训练好的所述模型之后,还包括:

9.一种元数据的分类系统,其特征在于,包括:

10.一种元数据的分类装置,其特征在于,包括:

...

【技术特征摘要】

1.一种元数据的分类方法,其特征在于,包括:

2.如权利要求1所述的元数据的分类方法,其特征在于,所述当前元数据还包括设施信息、技术参数及维护记录;

3.如权利要求1所述的元数据的分类方法,其特征在于,对所述当前元数据进行数据清洗,包括:

4.如权利要求1所述的元数据的分类方法,其特征在于,对所述当前元数据进行数据清洗,包括:

5.如权利要求1所述的元数据的分类方法,其特征在于,对所述当前元数据进行数据清洗之后,还包括:

6.如权利要求1...

【专利技术属性】
技术研发人员:王蒴王龙振李希明王沛孙焕明刘淑芳
申请(专利权)人:山东中创软件商用中间件股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1