端到端建模方法及系统技术方案

本发明专利技术公开了一种端到端建模方法及系统，该方法包括：确定基于目标的端到端模型的拓扑结构，所述拓扑结构包括：输入层、编码层、强化编码层、过滤层、解码层、输出层；所述强化编码层用于对所述编码层输出的特征序列加入目标单元信息，所述过滤层用于对所述强化编码层加入所述目标单元信息后的特征序列进行信息过滤；收集大量训练数据；确定所述训练数据的标注对象，并对所述标注对象中的目标单元进行标注；提取所述训练数据的特征序列；利用所述训练数据的特征序列及其目标单元的标注信息对基于目标的端到端模型的参数进行训练，得到基于目标的端到端模型参数。利用本发明专利技术，可以提高建模的准确度。

【技术实现步骤摘要】
端到端建模方法及系统
本专利技术涉及机器学习领域，具体涉及一种端到端建模方法及系统。
技术介绍
端到端建模指根据输入端特征序列和输出端特征序列之间的对应关系建立模型，端到端建模在模式识别或机器学习领域应用广泛，如常用于语音识别、图像识别、机器翻译等应用系统中，建立输入端到输出端之间的对应关系以实现各应用系统的需求。以语音识别为例，端到端建模可以对声学模型和语言模型进行联合建模，直接输出识别文本；如中文中常将汉字或词语作为建模单元，即目标标注单元，通过学习输入语音信号序列到输出汉字或词语之间的对应关系进行建模。现有的端到端建模方法一般是基于编码解码模型实现，包括以下步骤：(1)确定编码解码模型拓扑结构；(2)收集大量训练数据，提取训练数据的特征序列，并确定相应目标标注信息；(3)利用训练数据的特征序列及相应目标标注信息对模型参数进行训练。其中，编码解码模型的拓扑结构如图1所示，主要由输入层、编码层、解码层及相应输出层组成，编码层对输入层输入的特征序列进行编码后，由相应解码层对编码后的特征序列进行解码，将解码后的特征序列作为输出层的输入，输出层输出每个目标标注单元的后验概率。由图1可以看出，该模型仅对输入特征序列进行编码，得到相应编码信息后，直接将所述编码信息作为解码层的输入，利用解码层对所述编码信息进行解码。这种方式会使编码后得到的特征序列与目标标注单元差距较大，不能很好地建立输入端到输出端特征序列之间的关系，降低了建模准确度。
技术实现思路
本专利技术实施例提供一种端到端建模方法及系统，以提高建模的准确度。为此，本专利技术提供如下技术方案：一种端到端建模方法，包括：确定基于目标的端到端模型的拓扑结构，所述拓扑结构包括：输入层、编码层、强化编码层、过滤层、解码层、输出层；所述强化编码层用于对所述编码层输出的特征序列加入目标单元信息，所述过滤层用于对所述强化编码层加入所述目标单元信息后的特征序列进行信息过滤；收集大量训练数据；确定所述训练数据的标注对象，并对所述标注对象中的目标单元进行标注；提取所述训练数据的特征序列；利用所述训练数据的特征序列及其目标单元的标注信息对基于目标的端到端模型的参数进行训练，得到基于目标的端到端模型参数。优选地，所述编码层为一层或多层，每层编码层的节点数与输入层相同。优选地，每层编码层采用单向或双向长短时记忆神经网络中的长短时记忆层，或者采用卷积神经网络中的卷积层。优选地，所述拓扑结构还包括：位于相邻编码层之间的降采样层。优选地，所述降采样层为一层或多层。优选地，所述降采样层每个节点的输入为上一编码层的相邻多个节点特征信息。优选地，所述目标单元信息通过强化节点加入到强化编码层中，每个目标单元对应一个强化节点，所述强化节点的输入为对应的目标单元的特征向量，强化编码层的层数和强化节点数均与目标单元数相同。优选地，每个强化节点与其对应的强化编码层的节点全连接；或者每个强化节点仅与其对应的强化编码层的第一个节点连接。优选地，所述过滤层的层数与所述强化编码层的层数相同，每层强化编码层与一层过滤层直接相连接。优选地，所述过滤层采用单向或双向长短时记忆层的结构方式，过滤层内节点数与强化编码层内节点数相同，每层强化编码层输出的特征直接作为与其连接的过滤层的输入，过滤层最后一个节点的输出作为该过滤层的输出；或者所述过滤层采用卷积神经网络的卷积层和池化层的结构方式，每层过滤层包括一层或多层卷积层和一层池化层，所述池化层的输出作为该层过滤层的输出。优选地，所述利用所述训练数据的特征序列及其目标单元的标注信息对基于目标的端到端模型的参数进行训练包括：将所述训练数据的特征序列作为所述端到端模型的输入，将所述训练数据中目标单元的标注信息作为所述端到端模型的输出，对所述端到端模型的模型参数进行训练，所述模型参数为所述端到端模型每层之间连接的权重转换矩阵及偏置。一种端到端建模系统，包括：拓扑结构确定模块，用于确定基于目标的端到端模型的拓扑结构，所述拓扑结构包括：输入层、编码层、强化编码层、过滤层、解码层、输出层；所述强化编码层用于对所述编码层输出的特征序列加入目标单元信息，所述过滤层用于对所述强化编码层加入所述目标单元信息后的特征序列进行信息过滤；训练数据收集模块，用于收集大量训练数据；标注模块，用于确定所述训练数据的标注对象，并对所述标注对象中的目标单元进行标注；特征提取模块，用于提取所述训练数据的特征序列；参数训练模块，用于利用所述训练数据的特征序列及其目标单元的标注信息对基于目标的端到端模型的参数进行训练，得到基于目标的端到端模型参数。优选地，所述编码层为一层或多层，每层编码层的节点数与输入层相同。优选地，每层编码层采用单向或双向长短时记忆神经网络中的长短时记忆层，或者采用卷积神经网络中的卷积层。优选地，所述拓扑结构还包括：位于相邻编码层之间的降采样层。优选地，所述降采样层为一层或多层。优选地，所述降采样层每个节点的输入为上一编码层的相邻多个节点特征信息。优选地，所述目标单元信息通过强化节点加入到强化编码层中，每个目标单元对应一个强化节点，所述强化节点的输入为对应的目标单元的特征向量，强化编码层的层数和强化节点数均与目标单元数相同。优选地，每个强化节点与其对应的强化编码层的节点全连接；或者每个强化节点仅与其对应的强化编码层的第一个节点连接。优选地，所述过滤层的层数与所述强化编码层的层数相同，每层强化编码层与一层过滤层直接相连接。优选地，所述过滤层采用单向或双向长短时记忆层的结构方式，过滤层内节点数与强化编码层内节点数相同，每层强化编码层输出的特征直接作为与其连接的过滤层的输入，过滤层最后一个节点的输出作为该过滤层的输出；或者所述过滤层采用卷积神经网络的卷积层和池化层的结构方式，每层过滤层包括一层或多层卷积层和一层池化层，所述池化层的输出作为该层过滤层的输出。优选地，所述参数训练模块将所述训练数据的特征序列作为所述端到端模型的输入，将所述训练数据中目标单元的标注信息作为所述端到端模型的输出，对所述端到端模型的模型参数进行训练，所述模型参数为所述端到端模型每层之间连接的权重转换矩阵及偏置。本专利技术实施例提供的端到端建模方法及系统，在基于目标的端到端模型的拓扑结构中增加强化编码层和过滤层。由所述强化编码层对所述编码层输出的特征序列加入目标单元标注信息，使得强化编码后的编码特征序列包含更完整的信息，有效降低了编码特征序列与目标标注单元的差距；由所述过滤层对所述强化编码层加入所述目标单元标注信息后的特征序列进行信息过滤，去除强化编码后的冗余信息，解码层利用过滤后的特征序列进行解码，将解码后的特征序列作为输出层的输入，得到输出层规整后的特征序列，有效地提高了输入端到输出端的建模准确度。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1是现有技术中编码解码模型的拓扑结构示意图；图2是本专利技术实施例端到端建模方法的流程图；图3是本专利技术实施例中基于目标的端到端模型拓扑结构示意图；图4是本专利技术实施例在所图3所示的拓扑结构中在编码层之间插入降采样层的示本文档来自技高网...

【技术保护点】
一种端到端建模方法，其特征在于，包括：确定基于目标的端到端模型的拓扑结构，所述拓扑结构包括：输入层、编码层、强化编码层、过滤层、解码层、输出层；所述强化编码层用于对所述编码层输出的特征序列加入目标单元信息，所述过滤层用于对所述强化编码层加入所述目标单元信息后的特征序列进行信息过滤；收集大量训练数据；确定所述训练数据的标注对象，并对所述标注对象中的目标单元进行标注；提取所述训练数据的特征序列；利用所述训练数据的特征序列及其目标单元的标注信息对基于目标的端到端模型的参数进行训练，得到基于目标的端到端模型参数。

【技术特征摘要】
1.一种端到端建模方法，其特征在于，包括：确定基于目标的端到端模型的拓扑结构，所述拓扑结构包括：输入层、编码层、强化编码层、过滤层、解码层、输出层；所述强化编码层用于对所述编码层输出的特征序列加入目标单元信息，所述过滤层用于对所述强化编码层加入所述目标单元信息后的特征序列进行信息过滤；收集大量训练数据；确定所述训练数据的标注对象，并对所述标注对象中的目标单元进行标注；提取所述训练数据的特征序列；利用所述训练数据的特征序列及其目标单元的标注信息对基于目标的端到端模型的参数进行训练，得到基于目标的端到端模型参数。2.根据权利要求1所述的方法，其特征在于，所述编码层为一层或多层，每层编码层的节点数与输入层相同。3.根据权利要求2所述的方法，其特征在于，每层编码层采用单向或双向长短时记忆神经网络中的长短时记忆层，或者采用卷积神经网络中的卷积层。4.根据权利要求1所述的方法，其特征在于，所述拓扑结构还包括：位于相邻编码层之间的降采样层。5.根据权利要求4所述的方法，其特征在于，所述降采样层为一层或多层。6.根据权利要求4所述的方法，其特征在于，所述降采样层每个节点的输入为上一编码层的相邻多个节点特征信息。7.根据权利要求1所述的方法，其特征在于，所述目标单元信息通过强化节点加入到强化编码层中，每个目标单元对应一个强化节点，所述强化节点的输入为对应的目标单元的特征向量，强化编码层的层数和强化节点数均与目标单元数相同。8.根据权利要求7所述的方法，其特征在于，每个强化节点与其对应的强化编码层的节点全连接；或者每个强化节点仅与其对应的强化编码层的第一个节点连接。9.根据权利要求7所述的方法，其特征在于，所述过滤层的层数与所述强化编码层的层数相同，每层强化编码层与一层过滤层直接相连接。10.根据权利要求9所述的方法，其特征在于，所述过滤层采用单向或双向长短时记忆层的结构方式，过滤层内节点数与强化编码层内节点数相同，每层强化编码层输出的特征直接作为与其连接的过滤层的输入，过滤层最后一个节点的输出作为该过滤层的输出；或者所述过滤层采用卷积神经网络的卷积层和池化层的结构方式，每层过滤层包括一层或多层卷积层和一层池化层，所述池化层的输出作为该层过滤层的输出。11.根据权利要求1至10任一项所述的方法，其特征在于，所述利用所述训练数据的特征序列及其目标单元的标注信息对基于目标的端到端模型的参数进行训练包括：将所述训练数据的特征序列作为所述端到端模型的输入，将所述训练数据中目标单元的标注信息作为所述端到端模型的输出，对所述端到端模型的模型参数进行训练，所述模型参数为所述端到端模型每层之间连接的权重转换矩阵及偏置。12.一种端到端建模系统，...

【专利技术属性】
技术研发人员：潘嘉，张仕良，熊世富，魏思，胡国平，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽,34