应用于信用卡欺诈检测的Encoder-LSTM深度学习模型及其方法技术

应用于信用卡欺诈检测的Encoder‑LSTM深度学习模型及方法，其特征在于，分为两个部分：第一部分是自编码器，该部分主要用于提取中间状态的低维特征。自编码器作为分类器进行训练后，将自编码阶段的中间状态作为LSTM模型的输入，在输入之前需对数据进行重新整理，以适应于LSTM网络的输入；第二部分是LSTM网络，该部分主要用于分析信用卡交易之间的相关性，将经过自编码器提取出低维重构特征向量输入LSTM网络，设置相关超参数，使用自适应矩估计优化器，对信用卡交易内部之间的相关性进行挖掘，进而达到检测出欺诈交易的目的。

Encoder LSTM deep learning model and its method applied to credit card fraud detection

【技术实现步骤摘要】
应用于信用卡欺诈检测的Encoder-LSTM深度学习模型及其方法
本专利技术涉及异常检测领域，特别涉及到一种应用于信用卡欺诈检测的Encoder-LSTM深度学习模型。
技术介绍
现如今，无现金的交易方式已经彻底的改变了我们的生活。尤其是近年来，几乎每个人都有一台智能手机，在此基础上微信、支付宝、各类信用卡的推广和发展，使得这种快捷、方便的形式也受到越来越多人的青睐。欺诈也因此变得可以从多种方式进行，比如以盗用的身份信息从发卡行获取信用卡、使用被盗的或者伪造的信用卡，然后绑定这种类型的信用卡进行购物消费，进一步套现等等。如何有效的侦测和防范欺诈的交易不仅成为各个银行机构关注的重点，也成为诸多学者研究的重点。对于欺诈的侦测和预防，传统的方法主要是基于规则的，通常由专家制定。这意味着，必须事先的手动建立规则，然后用于交易的标记。但是这样的系统并不灵活，犯罪份子可能会设法绕过或者避开这些规则。由于欺诈模式在迅速改变，所以系统也要被动跟随发生变化，传统基于规则的欺诈检测模型逐渐暴露出了一些问题。最近几年，深度学习技术呈现爆炸式的发展，其在图像识别、语音识别以及自然语言处理等领域已经获得了很大突破。其中，自编码器(Encoder)是深度学习领域中一类重要的神经网络模型。自编码器包含两个部分，分别为编码器和解码器。输入数据先经过编码器进行编码从而得到一个中间向量，然后解码器借助该中间向量对输入数据进行重建。如果输出结果和输入数据非常接近，那么就表明中间向量和输入数据存在关联或者某种映射关系，中间结果就可以作为输入数据的一个特征向量表示。自编码器以及其相关扩展模型被应用于许多领域，特别是数据降维、特征表示、信息检索、分类任务等。RNN(RecurrentNeuralNetwork,RNN)是深度学习领域中另一类非常重要的神经网络，可以学习复杂的矢量到矢量的映射，并且具有联想记忆功能。另一方面，RNN也是一个非常强大的用于处理和预测序列数据的神经网络模型，在RNN的隐藏层中的神经元，其在某时刻的输出可以作为下一时刻的输入，这种串联的结构是其适用于序列数据的依据。对于展开后的RNN，可以得到重复的结构，并且深度网络中的参数是共享的，可以大大降低所需训练的神经网络参数。RNN拥有许多优秀的变体模型，比如，为了解决RNN训练时存在的梯度消失和梯度爆炸的问题而提出的LSTM(LongShort-TermMemory)长短期记忆网络。LSTM已经可以解决很多RNN无法处理的任务，在此之后也陆续出现了很多关于LSTM单元(LSTM网络中的隐藏单元)的改进工作。现如今广泛使用的LSTM中有一个标准组件，主要是由三个门控单元和记忆单元的连接而成的，即门控单元可以观察到记忆单元，其中的遗忘门使得LSTM能够学习一些连续的任务并且可以对其内部状态进行重置，提高了模型的有效性以及鲁棒性，解决了RNN存在的梯度消失和梯度爆炸的问题。LSTM已经被用于大量的和序列学习相关的任务中，比如语音识别、语言模型、词性标注、机器翻译等，表现出了优秀的特性与性能。
技术实现思路
相对于传统的金融反欺诈技术，本专利技术要解决的技术问题是提供一种应用于信用卡欺诈检测的Encoder-LSTM深度学习模型，利用Encoder与LSTM相结合来检测交易数据，以达到更加准确有效地检测出其中的欺诈交易。本专利技术是通过下述技术方案实现的：一种应用于信用卡欺诈检测的Encoder-LSTM深度学习模型，分为两个部分：第一部分是自编码器，该部分主要用于提取中间状态的低维特征。自编码器作为分类器进行训练后，将自编码阶段的中间状态作为LSTM模型的输入，在输入之前需对数据进行重新整理，以适应于LSTM网络的输入。第二部分是LSTM网络，该部分主要用于分析信用卡交易之间的相关性，将经过自编码器提取出低维重构特征向量输入LSTM网络，设置相关超参数，使用自适应矩估计优化器，对信用卡交易内部之间的相关性进行挖掘，进而达到检测出欺诈交易的目的。算法原理为：利用Encoder模型来提取中间状态的低维特征，并把这些低维特征进行重构，将重构后的数据输入至LSTM网络中来分析交易内部特征之间的相关性，进而检测某个交易是否为欺诈交易。具体如下实施步骤：步骤1、设计相结合的Encoder-LSTM模型所述Encoder-LSTM模型如图2所示，图中左侧为Encoder模型，实心的方框表示提取的低维特征，右侧为LSTM模型，以重构后的低维特征为输入，进而判定交易是否欺诈。所述LSTM模型为：如图3所示，LSTM主要由输入门、遗忘门、输出门三个门控单元以及一个状态单元，这两个单元组成的类似于“细胞”的单元结构。基本原理为：对输入门输入一个数值，如果sigmoid输入门允许，这个输入的数值可以累加到状态单元。状态单元具有线性自循环，其权重由遗忘门控制，遗忘门还会决定是否遗忘某些信息。输出门可以控制LSTM单元是否输出前面输入门与遗忘门合并的数值信息。其中，所有的门控单元都具有sigmoid非线性函数，将权重控制在0到1之间。步骤2、待测数据预处理。原始数据为个人信用卡交易记录，但是考虑数据的隐私性，对原始数据进行一些处理，例如：删除交易记录中的某些敏感的列信息。处理后的信用卡交易数据集中，每条交易都包含各个维度的特征，为交易时间、交易额度、交易地点等信息。同时，为了使得数据能够适应于模型处理，需要对数据集内的数据进行预处理,得到样本集。待测数据预处理主要过程为：向量化、处理缺失值、去除无关特征、数据标准化。通常，将数据进行标准化处理后，可以使网络更易于学习。在这个信用卡欺诈检测数据集中正负样本的比例通常是极不平衡的，为此，将利用交易中已收集到的海量数据，并以一种允许标记或者预测未来交易中是否存在欺诈的方式对网络进行建模，使得模型能够挖掘海量数据中潜在的、更加复杂的欺诈模式。步骤2中，每条交易数据经过一种常用的降维方法，即主成分分析(PCA)进行转换后，提取数据的主要特征分量，构成交易数据集合X＝{xi}([1,...,n])，其中xi表示一条交易数据，xi是一个N维的向量，向量中的每个分量是一个实数，代表了时间、交易额度、交易地点等特征，设定一共有n条交易记录。首先，对数据集中是否存在缺失值进行检查，接下来，由于不同特征的取值范围不同，所以需对数据特征进行标准化处理。通常，将数据进行标准化处理可以使得网络更加易于学习。比如将数值较大的数据直接输入网络进行学习，或者不同特征的取值范围相差很大的数据输入网络都可能导致较大的梯度更新或者模型无法收敛。所以对数据进行标准化非常必要，此处为了将数据映射到[0,1]区间内，用到的标准化方法是z-score标准化。步骤3、训练Encoder模型在整个Encoder-LSTM模型中，在训练阶段，通过已有的带标签的交易数据训练Encoder用来“学习”和“记忆”大多数交易数据所共有的模式(正常交易模式)。步骤3中，利用步骤2中样本集训练Encoder模型，本文档来自技高网...

【技术保护点】
1.一种应用于信用卡欺诈检测的Encoder-LSTM深度学习模型，其特征在于，分为两个部分：/n第一部分是自编码器，该部分主要用于提取中间状态的低维特征。自编码器作为分类器进行训练后，将自编码阶段的中间状态作为LSTM模型的输入，在输入之前需对数据进行重新整理，以适应于LSTM网络的输入；/n第二部分是LSTM网络，该部分主要用于分析信用卡交易之间的相关性，将经过自编码器提取出低维重构特征向量输入LSTM网络，设置相关超参数，使用自适应矩估计优化器，对信用卡交易内部之间的相关性进行挖掘，进而达到检测出欺诈交易的目的。/n

【技术特征摘要】
1.一种应用于信用卡欺诈检测的Encoder-LSTM深度学习模型，其特征在于，分为两个部分：
第一部分是自编码器，该部分主要用于提取中间状态的低维特征。自编码器作为分类器进行训练后，将自编码阶段的中间状态作为LSTM模型的输入，在输入之前需对数据进行重新整理，以适应于LSTM网络的输入；
第二部分是LSTM网络，该部分主要用于分析信用卡交易之间的相关性，将经过自编码器提取出低维重构特征向量输入LSTM网络，设置相关超参数，使用自适应矩估计优化器，对信用卡交易内部之间的相关性进行挖掘，进而达到检测出欺诈交易的目的。


2.一种应用于信用卡欺诈检测的Encoder-LSTM深度学习方法，其特征在于，具体如下实施步骤：
步骤1、设计相结合的Encoder-LSTM模型
所述Encoder-LSTM模型，包括为Encoder模型和LSTM模型，以重构后的低维特征为输入，进而判定交易是否欺诈。所述LSTM模型由输入门、遗忘门、输出门三个门控单元以及一个状态单元，这两个单元组成的类似于“细胞”的单元结构，对输入门输入一个数值，如果sigmoid输入门允许，这个输入的数值可以累加到状态单元，状态单元具有线性自循环，其权重由遗忘门控制，遗忘门还会决定是否遗忘某些信息，输出门控制LSTM单元是否输出前面输入门与遗忘门合并的数值信息，其中，所有的门控单元都具有sigmoid非线性函数，将权重控制在0到1之间。
步骤2、待测数据预处理
原始数据为个人信用卡交易记录，每条交易都包含各个维度的特征，为交易时间、交易额度、交易地点信息；
步骤2中，每条交易数据经过一种常用的降维方法，即主成分分析(PCA)进行转换后，提取数据的主要特征分量，构成交易数据集合X＝{xi}([1,...,n])，其中xi表示一条交易数据，xi是一个N维的向量，向量中的每个分量是一个实数，代表了时间、交易额度、交易地点特征，设定一共有n条交易记录。首先，对数据集中是否存在缺失值进行检查，接下来，由于不同特征的取值范围不同，对数据特征进行标准化处理。
步骤3、训练Encoder模型
在整个Encoder-LSTM模型中，在训练阶段，通过已有的带标签的交易数据训练Encoder用来“学习”和“记忆”大多数交易数据所共有的模式。
步骤3中，利用步骤2中样本集训练Encoder模型，进一步包括下列子步骤：
假设交易数据集合X＝{xi}(xi∈RN,i＝[1,...,n])，其中xi表示一条交易数据，是一个N维的向量，向量中的每个分量是一个实数，一共有n条交易记录。每个xi都将有一个与之对应，是数据xi的标签。
a)每个样本x经过Encoder模型编码部分后被映射为中间状态y，如下为编码器的公式(1)，其中σ是非线性激活函数，θ为编码阶段的网络参数，θ＝{W,b}，其中W是权值，b是偏置值。
y＝gθ(x)＝σ(Wx+b)(1)
b)Encoder模型解码部分用来重构交易向量，重构后的交易向量表示为z，如下为解码器的公式(2)，其中σ是非线性激活函数，θ’为解码阶段的网络参数,θ′＝{W′,b′}，其中W’是权值，b’是偏置值。
z＝fθ′(y)＝...

【专利技术属性】
技术研发人员：王俊丽，韩冲，杨丽，吴雨茜，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31