本公开提供了一种文本处理方法、装置、设备及介质，涉及人工智能领域，尤其涉及文本处理技术领域。实现方案为：基于待处理文本片段中目标位置处的字特征信息，确定目标位置所对应的多个备选字符中的每一个备选字符的第一概率值，其中，字特征信息至少基于待处理文本片段在目标位置处的上下文而确定；针对多个备选字符中的每一个备选字符，基于该备选字符和待处理文本片段中靠近目标位置的至少一个位置处的字符所构成的字符串，确定该备选字符的第二概率值；以及基于多个备选字符中的每一个备选字符的第一概率值和第二概率值，确定目标位置处的校正字符。位置处的校正字符。位置处的校正字符。
【技术实现步骤摘要】
文本处理方法、装置、设备及介质
[0001]本公开涉及人工智能
，尤其涉及文本处理
，具体涉及一种文本处理的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
技术介绍
[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术、人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
技术实现思路
[0004]本公开提供了一种文本处理的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0005]根据本公开的一方面，提供了一种基于待处理文本片段中目标位置处的字特征信息，确定目标位置所对应的多个备选字符中的每一个备选字符的第一概率值，其中，字特征信息至少基于待处理文本片段在目标位置处的上下文而确定；针对多个备选字符中的每一个备选字符，基于该备选字符和待处理文本片段中靠近目标位置的至少一个位置处的字符所构成的字符串，确定该备选字符的第二概率值；以及基于多个备选字符中的每一个备选字符的第一概率值和第二概率值，确定目标位置处的校正字符。
[0006]根据本公开的另一方面，提供了一种文本处理装置，包括：第一确定单元，被配置用于基于待处理文本片段中目标位置处的字特征信息，确定目标位置所对应的多个备选字符中的每一个备选字符的第一概率值，其中，字特征信息至少基于待处理文本片段在目标位置处的上下文而确定；第二确定单元，被配置用于针对多个备选字符中的每一个备选字符，基于该备选字符和待处理文本片段中靠近目标位置的至少一个位置处的字符所构成的字符串，确定该备选字符的第二概率值；以及第三确定单元，被配置用于基于多个备选字符中的每一个备选字符的第一概率值和第二概率值，确定目标位置处的校正字符。
[0007]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的方法。
[0008]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述的方法。
[0009]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，计
算机程序在被处理器执行时实现上述的方法。
[0010]根据本公开的一个或多个实施例，能够提升对文本纠错的准确度。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0013]图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0014]图2示出了根据本公开的实施例的文本处理方法的流程图；
[0015]图3示出了根据本公开的实施例的文本处理方法的示意图；
[0016]图4示出了根据本公开的实施例的文本处理装置的结构框图；
[0017]图5示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0018]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0019]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0020]在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0021]相关技术中，往往采用语义分析的方式对文本中出现的错别字进行纠错。在这种纠错机制下，常见的字、词常常有更高的概率被认定为正确，而不常见的字、词，例如，作者的自造词、生僻的术语、人名、地名等，则有可能被误认为错误，而导致本来正确的字词被错误地修正，使文本纠错的准确性不佳，影响用户体验。
[0022]基于此，本公开提出一种文本处理方法，基于待处理文本片段中目标位置处的字特征信息，确定目标位置所对应的多个备选字符中的每一个备选字符的第一概率值，在此基础上，针对待处理文本片段中的目标位置处的多个备选字符，基于该备选字符和待处理文本片段中靠近目标位置的至少一个位置处的字符所构成的字符串，确定该备选字符的第二概率值，并以该第二概率值来修正该备选字符的第一概率值，使得基于每个备选字符的第一概率值和第二概率值两者能够准确地判断该备选字符为目标位置处的正确字符的可
能性，进而能够准确地判断目标位置处所对应的校正字符，提升对文本纠错的准确性，提高用户体验。
[0023]下面将结合附图详细描述本公开的实施例。
[0024]图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1，该系统100包括一个或多个客户端设备101、102、103、104、105和106、服务器120以及将一个或多个客户端设备耦接到服务器120的一个或多个通信网络110。客户端设备101、102、103、104、105和106可以被配置为执行一个或多个应用程序。
[0025]在本公开的实施例中，服务器120可以运行使得能够执行文本处理的方法的一个或多个服务或软件应用。
[0026]在某些实施例中，服务器120还可以提供可以包括非虚拟环境和虚拟环境的其他服务或软件应用。在某些实施例中，这些服务可以作为基于web的服务或云服务提供，例如在软件即服务(SaaS)模型下提供给本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种文本处理方法，包括：基于待处理文本片段中目标位置处的字特征信息，确定所述目标位置所对应的多个备选字符中的每一个备选字符的第一概率值，其中，所述字特征信息至少基于所述待处理文本片段在所述目标位置处的上下文而确定；针对所述多个备选字符中的每一个备选字符，基于该备选字符和所述待处理文本片段中靠近所述目标位置的至少一个位置处的字符所构成的字符串，确定该备选字符的第二概率值；以及基于所述多个备选字符中的每一个备选字符的所述第一概率值和所述第二概率值，确定所述目标位置处的校正字符。2.根据权利要求1所述的方法，其中，所述确定该备选字符的第二概率值包括：响应于该备选字符和所述待处理文本片段中靠近所述目标位置的至少一个位置处的字符所构成的字符串为预存实体词，确定该备选字符的第二概率值为正数，其中，所述预存实体词为基于对待处理文本中除去所述待处理文本片段以外的其它片段所执行的实体词识别而确定。3.根据权利要求2所述的方法，其中，该备选字符的第二概率值与所述预存实体词在待处理文本的所述其它片段中应用的次数正相关。4.根据权利要求2或3所述的方法，还包括：响应于该备选字符和所述待处理文本片段中靠近所述目标位置的至少一个位置处的字符所构成的字符串不为预存实体词，确定该备选字符的第二概率值为零。5.根据权利要求1至4中任意一项所述的方法，还包括：在所述基于待处理文本片段中目标位置处的字特征信息，确定所述目标位置所对应的多个备选字符中的每一个备选字符的第一概率值之前，分别确定所述待处理文本片段的片段特征信息和多个参考文本片段中的每一者的片段特征信息，其中，所述多个参考文本片段与所述待处理文本片段来自同一待处理文本；基于所述待处理文本片段的片段特征信息和多个参考文本片段中的每一者的片段特征信息，确定所述待处理文本片段的整体特征信息；以及基于所述待处理文本片段的整体特征信息，确定所述待处理文本片段中的目标位置处的字特征信息。6.根据权利要求5所述的方法，其中，所述基于所述待处理文本片段的片段特征信息和多个参考文本片段中的每一者的片段特征信息，确定所述待处理文本片段的整体特征信息包括：利用多头注意力机制来确定所述待处理文本片段的整体特征信息。7.根据权利要求1至6中任意一项所述的方法，其中，所述待处理文本片段为待处理文本中的一句。8.一种文本处理装置，包括：第一确定单元，被配置用于基于待处理文本片段中目标位置处的字特征信息，确定所述目标位置所对应的多个备选字符中的每一个备选字符的第一概率值，其中，所述字特征信息至少基于所述待处理文本片段在所述目标位置处的上下文而确定；第二确定单元，被配置用于针对所述多个备选字...
【专利技术属性】
技术研发人员：张睿卿，何中军，李芝，吴华，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。