一种数据处理方法、装置、设备及存储介质制造方法及图纸

本公开实施例公开了一种数据处理方法、装置、设备及存储介质，所述方法包括：获取源数据，通过对所述源数据进行分词，从所述源数据中提取出多个知识点数据；对所述知识点数据进行关联分析，确定知识点数据之间的逻辑关系数据；基于知识点数据之间的逻辑关系数据，构建知识点数据库。本公开实施例所提供的方法实现了自动提取出学科的知识点数据并构建知识点数据之间的逻辑关系，进而简化了知识点数据库的构建过程。的构建过程。的构建过程。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质


[0001]本公开实施例涉及信息
，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]知识点是知识体系当中最基本的单元，以它为基础开展教学活动可以使教学活动的开展更加有效。但是，目前学科知识点的提取仍然由人工完成，费时费力效率低，进而，基于知识点的题库构建也相对繁琐。

技术实现思路

[0003]本公开提供一种数据处理方法、装置、设备及存储介质，以实现自动提取出学科的知识点数据并构建知识点数据之间的逻辑关系，进而简化知识点数据库的构建过程。
[0004]第一方面，本公开实施例提供了一种数据处理方法，包括：
[0005]获取源数据，通过对所述源数据进行分词，从所述源数据中提取出多个知识点数据；
[0006]对所述知识点数据进行关联分析，确定知识点数据之间的逻辑关系数据；
[0007]基于知识点数据之间的逻辑关系数据，构建知识点数据库。
[0008]第二方面，本公开实施例还提供了一种数据处理装置，包括：
[0009]知识点提取模块，用于获取源数据，通过对所述源数据进行分词，从所述源数据中提取出多个知识点数据；
[0010]知识点关系确定模块，用于对所述知识点数据进行关联分析，确定知识点数据之间的逻辑关系数据；
[0011]知识点数据库构建模块，用于基于知识点数据之间的逻辑关系数据构建知识点数据库。
[0012]第三方面，本公开实施例还提供了一种终端设备，所述终端设备包括：
[0013]一个或多个处理装置；
[0014]存储装置，用于存储一个或多个程序；
[0015]当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本公开实施例任一所述的数据处理方法。
[0016]第四方面，本公开实施例还提供了一种计算机可读存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的数据处理方法。
[0017]本公开实施例通过获取源数据，通过对所述源数据进行分词，从所述源数据中提取出多个知识点数据；对所述知识点数据进行关联分析，确定知识点数据之间的逻辑关系数据；基于知识点数据之间的逻辑关系数据，构建知识点数据库，实现了自动提取出学科的知识点数据并构建知识点数据之间的逻辑关系，进而简化了知识点数据库的构建过程。
附图说明
[0018]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0019]图1为本公开实施例提供的一种数据处理方法的流程图；
[0020]图2a为本公开实施例提供的一种数据处理方法的流程图；
[0021]图2b为本公开实施例提供的一种数据处理方法中提取知识点关系的流程图；
[0022]图2c为本公开实施例提供的一种数据处理方法中知识点关系示意图；
[0023]图3为本公开实施例提供的一种数据处理装置的结构示意图；
[0024]图4为本公开实施例提供的一种终端设备的结构示意图。
具体实施方式
[0025]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0026]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0027]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0028]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0029]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0030]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0031]下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。
[0032]实施例一
[0033]图1为本公开实施例提供的一种数据处理方法的流程图。本实施例可适用于对源数据进行数据处理，以生成知识点数据库时的情形，该方法可以由数据处理装置来执行，该数据处理装置可以采用软件和/或硬件的方式实现，例如，该数据处理装置可以配置于终端设备中。如图1所示，所述方法包括：
[0034]S110、获取源数据，通过对源数据进行分词，从源数据中提取出多个知识点数据。
[0035]在本实施例中，源数据可以为待构建知识点数据库对应课程的题库。可选的，可以使用中文分词算法对源数据进行分词。示例性的，中文分词算法可以为基于词典分词算法
或基于统计的机器学习算法。其中，基于词典的分词算法可以为正向最大匹配法、逆向最大匹配法或双向匹配分词法等，基于统计的机器学习算法可以为隐马尔可夫模型(Hidden Markov Model)、条件随机场算法(conditional random field algorithm，CRF)、支持向量机(Support Vector Machine,SVM)、深度学习等算法，例如使用stanford、Hanlp等基于CRF算法的分词工具。
[0036]一个实施方式中，可以使用结巴分词工具对源数据进行分词，从源数据中提取出多个知识点数据。具体的，所述通过对所述源数据进行分词，从所述源数据中提取出多个知识点数据，包括：基于前缀字典分词方法，生成与所述源数据对应的有向无环图；通过动态规划算法确定所述有向无环图中的最大概率路径，获得基于词频的最大切分组合；基于所述最大切分组合确定所述源数据中的知识点数据。
[0037]具体的，基于统计词典构造前缀词典，然后利用前缀词典对源数据中的句子进行切分，得到所有的切分可能，根据切分位置，构造出与源数据对应的多个有向无环图(Directed Acyclic Graph，DAG)。在得到所有可能的切分方式构成的有向无环图后，同时得到了从起点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取源数据，通过对所述源数据进行分词，从所述源数据中提取出多个知识点数据；对所述知识点数据进行关联分析，确定知识点数据之间的逻辑关系数据；基于知识点数据之间的逻辑关系数据，构建知识点数据库。2.根据权利要求1所述的方法，其特征在于，所述通过对所述源数据进行分词，从所述源数据中提取出多个知识点数据，包括：基于前缀字典分词方法，生成与所述源数据对应的有向无环图；通过动态规划算法确定所述有向无环图中的最大概率路径，获得基于词频的最大切分组合；基于所述最大切分组合确定所述源数据中的知识点数据。3.根据权利要求2所述的方法，其特征在于，还包括：通过隐马尔可夫模型确定所述源数据中的未登录词，并提取出所述未登录词中包含的知识点数据。4.根据权利要求1所述的方法，其特征在于，所述对所述知识点数据进行关联分析，确定知识点数据之间的逻辑关系数据，包括：采用关联规则挖掘算法确定所述知识点数据中任意两个知识点数据之间的关系，构建知识点数据关系图。5.根据权利要求4所述的方法，其特征在于，所述关联规则挖掘算法包括Apriori算法。6.根据权利要求1-5任一...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：