一种基于深度学习的银行客户识别系统及方法技术方案

本发明专利技术公开了一种基于深度学习的银行客户识别系统及方法，该系统包括人脸获取模块、人脸校正模块、特征信息提取模块和VIP识别模块，人脸获取模块通过一个倒金字塔形的组合分类器从银行大堂场景照片中自动提取所有人员的人脸图像，其中多个顶层分类器为粗分类器，各下层分类器逐渐精细且个数逐渐减少；人脸校正模块用于对获取到的人脸图像进行校正；特征信息提取模块用于提取人脸图像中的特征信息；VIP识别模块将提取的特征信息与VIP客户人脸特征信息数据库进行对比，判断是否为VIP客户。本发明专利技术通过自动识别业务办理人群的身份，提高了服务机器人的智能化程度，使得服务机器人能够提供智能化、人性化的现场服务，提高客户体验。

【技术实现步骤摘要】
一种基于深度学习的银行客户识别系统及方法
本专利技术涉及智能服务机器人领域，特别涉及一种基于深度学习的银行客户识别系统及方法。
技术介绍
银行迎宾服务型机器人作为银行产业升级和改造的突破口，已经逐步在部分省市的银行网点进行试运行，预计未来需求将进一步增强。银行迎宾服务机器人不同于简单的送餐机器人，除迎宾逗乐功能外，更加强调业务咨询、引导分流、营销宣传等功能，因此技术复杂程度和综合要求相对较高。传统的服务机器人只具备简单的业务办理功能，无法针对不同客户提供针对性服务，对于不同层级客户更是无法提供有区分的服务，这就需要提高服务机器人的“智慧”，使其能够针对不同层级、不同类型的客户提供定制化的服务。
技术实现思路
本专利技术所要解决的技术问题是现有的服务机器人只具备简单的业务办理功能，不能针对不同层级、不同类型的客户提供定制化服务的问题。为了解决上述技术问题，本专利技术所采用的技术方案是提供一种基于深度学习的银行客户识别系统，包括：人脸获取模块，用于从银行大堂场景照片中自动提取所有人员的人脸图像，所述人脸获取模块通过一个倒金字塔形的组合分类器进行提取，所述组合分类器中的多个顶层分类器为粗分类器，各下层分类器逐渐精细且个数逐渐减少：人脸校正模块，用于对获取到的人脸图像进行校正；特征信息提取模块，用于提取人脸图像中的特征信息；VIP识别模块，将提取的特征信息与VIP客户人脸特征信息数据库进行对比，判断是否为VIP客户。在上述系统中，所述人脸校正模块采用多尺度的人脸校正方法，基于由粗到精的体系架构进行人脸校正，每一个尺度都采用通用的深度学习网络对低分辨率图像进行校正，然后将校正结果作为上层输入，逐级进行校正。在上述系统中，所述特征信息提取模块采用基于深度学习框架的人脸特征提取模型提取人脸特征信息，基于深度学习框架的人脸特征提取模型包括7层卷积层和3层全连接层，最初卷积层的卷积核大小为9×9，第二层卷积层的卷积核大小为两个3×3，每一层卷积层中特征数量为2048。在上述系统中，还包括老客户识别模块，当所述VIP识别模块判断出大堂中不存在VIP客户时，所述老客户识别模块将视野范围内的人脸特征信息保存一段时间，如果在此时间段内该数据集内客户再次办理业务，则视为老客户，优先提供服务；否则清除相应的人脸数据。本专利技术还提供了一种基于深度学习的银行客户识别方法，包括以下步骤:利用VIP客户照片，得到符合深度学习标准大小的人脸数据；采用基于深度学习框架的人脸特征提取模型获得VIP客户的多维人脸特征信息，保存在VIP客户数据库中；从银行大堂场景照片中自动提取所有人员的人脸图像，该步骤通过一个倒金字塔形的组合分类器进行提取，其中的多个顶层分类器为粗分类器，各下层分类器逐渐精细且个数逐渐减少；根据每张人脸图像分别定位每张人脸的特征点，并对人脸进行校正；将所有标准大小人脸输入到基于深度学习框架的人脸特征提取模型中，提取出人脸特征信息；将人脸特征信息与VIP客户数据库进行对比，判断是否为VIP客户。在上述方法中，采用多尺度的人脸校正方法基于由粗到精的体系架构进行人脸校正，在每一个尺度下采用通用的深度学习网络对低分辨率图像进行校正，然后将校正结果作为上层输入，逐级进行校正。在上述方法中，基于深度学习框架的人脸特征提取模型采用10层网络模型进行人脸特征信息提取，10层网络模型包括7层卷积层和3层全连接层，最初卷积层的卷积核大小为9×9，第二层卷积层的卷积核大小为两个3×3，每一层卷积层中特征数量为2048。本专利技术，通过自动识别业务办理人群的身份，提高了服务机器人的智能化程度，赋予了机器人“认识”人的能力，使得服务机器人能够提供智能化、人性化的现场服务，提高了客户体验。特别是改进了人脸获取算法和特征信息提取算法，大大提高了速度和效率。附图说明图1为本专利技术中基于深度学习的银行客户识别系统示意图；图2为本专利技术中基于深度学习的银行客户识别方法流程图。具体实施方式本专利技术提供了一种基于深度学习的银行客户识别系统，通过自动识别业务办理人群的身份，提高了服务机器人的智能化程度，赋予了机器人“认识”人的能力，使得服务机器人能够提供智能化、人性化的现场服务，提高了客户体验。下面结合说明书附图和具体实施方式对本专利技术做出详细说明。如图1所示，本专利技术提供的基于深度学习的银行VIP客户识别方法，包括以下步骤：步骤1、利用VIP客户照片自动提取照片中人脸，将人脸进行裁剪和对齐操作，并进行归一化处理，最终得到符合深度学习标准大小的人脸数据。步骤2、建立基于改进的AlexNet深度学习框架的人脸特征提取模型，将标准大小的人脸数据输入该模型，最终得到多维人脸特征信息，以此作为VIP客户的唯一标识，保存在VIP客户数据库中。步骤3、利用银行大堂服务机器人上安装的摄像头获取银行大堂场景照片，并从中自动提取所有人员的人脸图像。本专利技术改进了传统的金字塔型多视角人脸识别算法，采用了一个倒金字塔形的组合分类器进行提取，其中的顶层分类器为多个粗分类器，各下层分类器逐渐精细且个数逐渐减少。例如：组合分类器可为三层，顶层为3个粗分类器，第二层为2个中间分类器，底层为1个精细分类器，自上而下分类器逐渐精细。顶层分类器可以快速剔除大量非人脸的窗口，从而将人脸限制在较小范围内，提高识别的速度，同时，通过下层精细分类器保持非常高的识别率，最终在底层获得到唯一人脸识别的结果。步骤4、根据每张人脸图像分别定位每张人脸的特征点，并对人脸进行校正。本专利技术采用多尺度的人脸校正方法基于由粗到精的体系架构进行人脸校正，在每一个尺度下采用通用的深度学习网络对低分辨率图像进行校正，然后将校正结果作为上层输入，逐级进行校正。步骤5、将所有标准大小人脸输入到基于深度学习框架的人脸特征提取模型中，提取出人脸特征信息。本专利技术对传统的AlexNet深度学习网络进行了改进，建立了10层网络模型，其中包括7层卷积层和3层全连接层。相比于AlexNet，本专利技术最初的卷积层采用9×9大小替代AlexNet的11×11大小卷积层，从而降低了计算复杂度。将AlexNet中第二层5×5大小的卷积层改为两个3×3的卷积层，同时移除所有局部响应标准化层。此外，本专利技术降低了每一层中特征的数量，从4096降到2048，并且额外增加了一层卷积层。步骤6、将人脸特征信息与VIP客户人脸数据库进行对比，如果是VIP客户，那么识别系统会将信息反馈到语音系统，服务机器人会优先为VIP客户服务；如果不是，则执行步骤7；步骤7、将视野范围内的人脸特征信息保存一段时间，如果在此时间段内检索到有相同人脸特征信息的客户再次办理业务，则视为老客户，优先提供服务，服务机器人会与老客户打招呼，并询问业务办理；否则清除相应的人脸数据。系统会自动保存用户在服务机器人上办理的业务，将其与客户人脸数据进行绑定，形成客户业务办理数据库。每隔半年自动对数据库内业务进行分类整理和统计，并提供服务机器人业务办理优化建议。如图2所示，本专利技术提供的基于深度学习的银行客户识别系统，包括以下模块：人脸获取模块10：通过一个倒金字塔形的组合分类器从银行大堂场景照片中自动提取所有人员的人脸图像，组合分类器中的顶层分类器为多个较为粗糙的分类器，下层分类器逐渐精细但个数也逐渐减少。顶层分类器可以快速剔除大量非人本文档来自技高网...

【技术保护点】
一种基于深度学习的银行客户识别系统，其特征在于，包括：人脸获取模块，用于从银行大堂场景照片中自动提取所有人员的人脸图像，所述人脸获取模块通过一个倒金字塔形的组合分类器进行提取，所述组合分类器中的多个顶层分类器为粗分类器，各下层分类器逐渐精细且个数逐渐减少：人脸校正模块，用于对获取到的人脸图像进行校正；特征信息提取模块，用于提取人脸图像中的特征信息；VIP识别模块，将提取的特征信息与VIP客户人脸特征信息数据库进行对比，判断是否为VIP客户。

【技术特征摘要】
1.一种基于深度学习的银行客户识别系统，其特征在于，包括：人脸获取模块，用于从银行大堂场景照片中自动提取所有人员的人脸图像，所述人脸获取模块通过一个倒金字塔形的组合分类器进行提取，所述组合分类器中的多个顶层分类器为粗分类器，各下层分类器逐渐精细且个数逐渐减少：人脸校正模块，用于对获取到的人脸图像进行校正；特征信息提取模块，用于提取人脸图像中的特征信息；VIP识别模块，将提取的特征信息与VIP客户人脸特征信息数据库进行对比，判断是否为VIP客户。2.如权利要求1所述的系统，其特征在于，所述人脸校正模块采用多尺度的人脸校正方法，基于由粗到精的体系架构进行人脸校正，每一个尺度都采用通用的深度学习网络对低分辨率图像进行校正，然后将校正结果作为上层输入，逐级进行校正。3.如权利要求1所述的系统，其特征在于，所述特征信息提取模块采用基于深度学习框架的人脸特征提取模型提取人脸特征信息，基于深度学习框架的人脸特征提取模型包括7层卷积层和3层全连接层，最初卷积层的卷积核大小为9×9，第二层卷积层的卷积核大小为两个3×3，每一层卷积层中特征数量为2048。4.如权利要求1所述的系统，其特征在于，还包括老客户识别模块，当所述VIP识别模块判断出大堂中不存在VIP客户时，所述老客户识别模块将视野范围内人脸特征信息保存一段时间，如果在此时间段内检索到...

【专利技术属性】
技术研发人员：万磊，程德斌，刘佳，詹林献，赵常均，
申请(专利权)人：广州智能装备研究院有限公司，
类型：发明
国别省市：广东,44