一种口语化句子的提取方法和装置制造方法及图纸

本发明专利技术实施例公开了一种口语化句子的提取方法和装置，所述方法包括：获取训练语句；对所述训练语句训练得到统计语言模型；将待检测语句输入所述统计语言模型，如果所述待检测语句没有被包含在所述训练语句中，则对所述统计语言模型进行平滑处理；将所述待检测语句输入平滑处理后的统计语言模型进行匹配得到第一口语化句子。解决了人工提取口语化句子费时费力问题，考虑了待检测语句中词语之间的搭配信息，提高了自动提取口语化句子的准确度。

Method and device for extracting spoken sentence

The embodiment of the invention discloses a method and apparatus for extracting spoken sentences, the method comprises: obtaining sentences; get statistical language model of the training sentence training; detection will be input the statistical language model, if the detected statement was not included in the training sentences. The statistical language model smoothing; matching the first colloquial sentence statistical language models the statement to be detected after smoothing the input. The method solves the problem of time-consuming and laborious manual extraction of spoken sentences, and takes into account the collocation information between words in the sentence to be detected, so as to improve the accuracy of automatic extraction of spoken sentences.

【技术实现步骤摘要】

本专利技术实施例涉及文本处理领域，尤其涉及一种口语化句子的提取方法和装置。
技术介绍
口语化句子是指人们平常交流所使用到的句子，与之相对应的是书面文本句子。书面文本的目的是以理性传播信息为主，在词汇和语法的使用上较为正式，而口语化的句子在词汇使用上大多简单明了，语法更多以简单句型为主。书面文本中所使用的句子和口语中所使用的句子在风格上截然不同。传统的提取口语化句子的方法有人工提取法和基于词汇的识别方法，人工提取法是指以人工查阅语料的方式从文本中提取符合口语化文本特征的句子；基于词汇的方法主要考虑口语化句子文本和书面句子文本在词语使用上的不同。人工提取方法需要人工查阅语料，其优点是能保证其准确性，在数据比较小的情况下比较适用，但是其缺点是浪费时间和精力，尤其是在当前大数据环境下，这种方式很难实现。基于词汇的方法仅仅考虑了词汇的信息，从词汇使用的差异性上来分辨书面文本句子和口语化句子，但是却忽略了词汇之间的搭配关系。大部分词汇是在正式文本和口语化为本中同时使用的，仅仅考虑词汇信息的差异不能完全区分正式文本与口语化文本。
技术实现思路
有鉴于此，本专利技术提出一种口语化句子的提取方法和装置，提高了自动提取口语化句子的准确度。第一方面，本专利技术实施例提供了一种口语化句子的提取方法，所述方法包括：获取训练语句；对所述训练语句训练得到统计语言模型；将待检测语句输入所述统计语言模型，如果所述待检测语句没有被包含在所述训练语句中，则对所述统计语言模型进行平滑处理；将所述待检测语句输入平滑处理后的统计语言模型进行匹配得到第一口语化句子。进一步的，所述方法还包括：如果所述待检测语句被包含在所述训练语句中，则将所述待检测语句输入所述统计语言模型进行匹配得到第二口语化句子。进一步的，将所述待检测语句输入平滑处理后的统计语言模型进行匹配得到第一口语化句子包括：对所述待检测语句进行归一化处理，计算所述待检测语句与所述平滑处理后的统计语言模型的匹配度；当所述匹配度大于预设阈值时，提取所述待检测语句中第一口语化的句子；所述待检测语句输入所述统计语言模型进行匹配得到第二口语化句子包括：对所述待检测语句进行归一化处理，计算所述待检测语句与所述统计语言模型的匹配度；当所述匹配度大于预设阈值时，提取所述待检测语句中第二口语化的句子。进一步的，对所述训练语句训练得到统计语言模型包括：通过n-gram算法对所述训练语句训练得到统计语言模型，其中，所述n-gram算法为3-gram算法，计算公式为：其中P(S)代表待检测语句S出现的概率，n为3，l为所述待检测语句S中词语的个数，wi代表第i个词语。进一步的，对所述统计语言模型进行平滑处理包括：根据Katz算法对所述统计语言模型进行平滑处理，其中，所述Katz平滑算法为：其中，代表应用所述平滑算法处理后的词语wi在词串wi-2wi-1出现的前提下出现的概率；P(wi|wi-1)代表wi在词wi-1出现的前提下出现的概率；P(wi)为词语wi出现的概率；C(wi-2wi-1wi)代表词串wi-2wi-1wi在所述训练数据中出现的次数；C(wi-1wi)代表词串wi-1wi在所述训练数据中出现的次数；P(wi|wi-2wi-1)代表词wi在词串wi-2wi-1出现的前提下出现的概率；α是介于0和1之间的比例系数。进一步的，获取训练语句包括：应用分词算法对所述训练文本进行分词，获取所述训练文本的分词结果；添加标识符将所述训练文本的分词结果划分成若干个训练语句；将待检测语句输入所述统计语言模型包括：应用所述分词算法对所述待检测文本进行分词，获取所述待检测文本的分词结果；添加标识符将所述待检测文本的分词结果划分为若干个待检测语句；将所述待检测语句输入所述统计语言模型。第二方面，本专利技术实施例提供了一种口语化句子的提取装置，所述装置包括：获取模块，用于获取训练语句；训练模块，与所述获取模块相连，用于对所述训练语句训练得到统计语言模型；判断模块，与所述训练模块相连，用于将待检测语句输入所述统计语言模型，如果所述待检测语句没有被包含在所述训练语句中，则对所述统计语言模型进行平滑处理；第一匹配模块，与所述判断模块相连，用于将所述待检测语句输入平滑处理后的统计语言模型进行匹配得到第一口语化句子。进一步的，所述装置还包括：第二匹配模块，与所述判断模块相连，用于如果所述待检测语句被包含在所述训练语句中，则将所述待检测语句输入所述统计语言模型进行匹配得到第二口语化句子。进一步的，所述第一匹配模块具体用于：对所述待检测语句进行归一化处理，计算所述待检测语句与所述平滑处理后的统计语言模型的匹配度；当所述匹配度大于预设阈值时，提取所述待检测语句中第一口语化的句子；所述第二匹配模块具体用于：对所述待检测语句进行归一化处理，计算所述待检测语句与所述统计语言模型的匹配度；当所述匹配度大于预设阈值时，提取所述待检测语句中第二口语化的句子。进一步的，所述训练模块还用于：通过n-gram算法对所述训练语句训练得到统计语言模型，其中，所述n-gram算法为3-gram算法，计算公式为：其中P(S)代表待检测语句S出现的概率，n为3，l为所述待检测语句S中词语的个数，wi代表第i个词语；所述判断模块还用于：根据Katz算法对所述统计语言模型进行平滑处理，其中，所述Katz平滑算法为：其中，代表应用所述平滑算法处理后的词语wi在词串wi-2wi-1出现的前提下出现的概率；P(wi|wi-1)代表wi在词wi-1出现的前提下出现的概率；P(wi)为词语wi出现的概率；C(wi-2wi-1wi)代表词串wi-2wi-1wi在所述训练数据中出现的次数；C(wi-1wi)代表词串wi-1wi在所述训练数据中出现的次数；P(wi|wi-2wi-1)代表词wi在词串wi-2wi-1出现的前提下出现的概率；α是介于0和1之间的比例系数。本专利技术实施例中，通过对训练语句训练得到统计语言模型，将待检测语句输入统计语言模型进行检测，判断待检测语句是否被包含在所述训练语句中，如果判断结果为否，则对所述统计语言模型进行平滑处理，将所述待检测语句输入平滑处理后的统计语言模型进行匹配得到第一口语化句子。解决了人工提取口语化句子费时费力问题，考虑了待检测语句中词语之间的搭配信息，提高了自动提取口语化句子的准确度。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1是本专利技术实施例一中的一种口语化句子的提取方法的流程图；图2是本专利技术实施例二中的一种口语化句子的提取方法的流程图；图3是本专利技术实施例三中的一种口语化句子的提取方法的流程图；图4是本专利技术实施例四中的一种口语化句子的提取方法的流程图；图5是本专利技术实施例五中的一种口语化句子的提取装置的结构图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。另外还需要说明的是，为了便于说明，以下实施例中示出了与本专利技术相关的示例，这些示例仅作为说明本专利技术实施例的原理所用，并不作为对本专利技术实施例的限定，同时，这些示例的具体数值本文档来自技高网...

【技术保护点】
一种口语化句子的提取方法，其特征在于，包括：获取训练语句；对所述训练语句训练得到统计语言模型；将待检测语句输入所述统计语言模型，如果所述待检测语句没有被包含在所述训练语句中，则对所述统计语言模型进行平滑处理；将所述待检测语句输入平滑处理后的统计语言模型进行匹配得到第一口语化句子。

【技术特征摘要】
1.一种口语化句子的提取方法，其特征在于，包括：获取训练语句；对所述训练语句训练得到统计语言模型；将待检测语句输入所述统计语言模型，如果所述待检测语句没有被包含在所述训练语句中，则对所述统计语言模型进行平滑处理；将所述待检测语句输入平滑处理后的统计语言模型进行匹配得到第一口语化句子。2.根据权利要求1所述的方法，其特征在于，还包括：如果所述待检测语句被包含在所述训练语句中，则将所述待检测语句输入所述统计语言模型进行匹配得到第二口语化句子。3.根据权利要求2所述的方法，其特征在于，将所述待检测语句输入平滑处理后的统计语言模型进行匹配得到第一口语化句子包括：对所述待检测语句进行归一化处理，计算所述待检测语句与所述平滑处理后的统计语言模型的匹配度；当所述匹配度大于预设阈值时，提取所述待检测语句中第一口语化的句子；所述待检测语句输入所述统计语言模型进行匹配得到第二口语化句子包括：对所述待检测语句进行归一化处理，计算所述待检测语句与所述统计语言模型的匹配度；当所述匹配度大于预设阈值时，提取所述待检测语句中第二口语化的句子。4.根据权利要求1所述的方法，其特征在于，对所述训练语句训练得到统计语言模型包括：通过n-gram算法对所述训练语句训练得到统计语言模型，其中，所述n-gram算法为3-gram算法，计算公式为：其中P(S)代表待检测语句S出现的概率，n为3，l为所述待检测语句S中词语的个数，wi代表第i个词语。5.根据权利要求4所述的方法，其特征在于，对所述统计语言模型进行平滑处理包括：根据Katz算法对所述统计语言模型进行平滑处理，其中，所述Katz平滑算法为：其中，代表应用所述平滑算法处理后的词语wi在词串wi-2wi-1出现的前提下出现的概率；P(wi|wi-1)代表wi在词wi-1出现的前提下出现的概率；P(wi)为词语wi出现的概率；C(wi-2wi-1wi)代表词串wi-2wi-1wi在所述训练数据中出现的次数；C(wi-1wi)代表词串wi-1wi在所述训练数据中出现的次数；P(wi|wi-2wi-1)代表词wi在词串wi-2wi-1出现的前提下出现的概率；α是介于0和1之间的比例系数。6.根据权利要求1所述的方法，其特征在于，获取训练语句包括：应用分词算法对所述训练文本进行分词，获取所述训练文本的分词结果；添加标识符将所述训练文本的分词结果划分成若干个训练语句；将待检测语...

【专利技术属性】
技术研发人员：王鹏，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东;44