一种自动化特征提取系统及方法技术方案

本发明专利技术涉及一种自动化特征提取框架系统及方法，包括：信号输入模块：用于输入字段信息；配置读取模块：用于定义字段类型和对应的映射业务，配置对应的字段和特征方法；预处理模块：用于对输入字段进行特征预处理；特征抽取模块：用于对预处理后的数据进行特征抽取；信号输出模块：用于联合抽取出的特征并统一输出给模型；本发明专利技术提供一种基于工厂模式的自动化特征提取方法，在整个实现的过程中提供了一种多人协作共建特征提取类和相互交互复用的方法；本发明专利技术采用工厂模式和相关特征类的反射机制抽象了特征提取的各个模块和方法，完全自动化特征提取，可以方便的通过配置进行特征的选择和迭代。

【技术实现步骤摘要】
一种自动化特征提取系统及方法
本专利技术涉及互联网
，具体涉及一种自动化特征提取框架系统及方法。
技术介绍
随着大数据和机器计算力的飞速发展，机器学习和深度学习越来越多的运用到解决实际问题的各个方面。在专利公布号为CN108986168的专利技术专利中公开了一种，本专利技术公开一种基于深度度量学习结合词袋树模型的机器人回环检测方法和装置。该方法为：1)输入长时间的环境外观变化的场景视频流；2)采用深度度量学习框架训练并学习得到特征提取网络；3)利用特征提取网络从训练视频流图像中抽取特征；4)对得到的特征进行迭代聚类，建立词袋树模型；5)在实际机器人定位和导航过程中，输入机器人实时获取的视频流中的当前关键帧；6)利用特征提取网络提取当前关键帧的特征；7)将当前关键帧的特征添加到词袋树模型；8)利用词袋树模型搜索和匹配图像特征相近的图像帧，并进行相似性度量，判断机器人是否遇到回环。本专利技术能够实现机器人在动态环境中长时间定位和导航过程中的高效的回环检测。在上述现有技术中，没有提供一个完全自动化的实时特征提取框架，且基本各个环节都或多或少的需要人的参与，不能满足多个人完全自然的积累特征抽取类，提供相关的实现方法，且每次迭代在特征抽取方法和具体的参数上不能复用。
技术实现思路
为了解决上述问题，本专利技术提供一种自动化特征提取框架系统及方法，采用工厂模式和相关特征类的反射机制抽象了特征提取的各个模块和方法，完全自动化特征提取，可以方便的通过配置进行特征的选择和迭代，算法多次迭代选择特征训练测试模型时，可以通过配置修改一键完成，避免出现多次选择特征复用不够的情况。本专利技术的技术方案如下所示：一种自动化特征提取框架系统，包括：信号输入模块：用于输入字段信息；配置读取模块：用于定义字段类型和对应的映射业务，配置对应的字段和特征方法；预处理模块：用于对输入字段进行特征预处理；特征抽取模块：用于对预处理后的数据进行特征抽取；信号输出模块：用于联合抽取出的特征并统一输出给模型。优选的，所述配置读取模块中抽象出的配置文件具体为fealib.conf和feature_list.conf。优选的，所述配置文件fealib.conf用于定义上游日志中相关的字段类型和对应的映射业务；所述配置文件feature_list.conf用于配置对应的字段和特征方法。优选的，经所述预处理模块中处理过的特征，通过java反射的方式定义到具体的特征工程类。优选的，所述特征抽取模块中定义了对应好特征的slot槽位，能够支持同一个字段提取多个特征或多个字段联合生成同一个特征。优选的，经所述特征抽取模块抽取后的特征通过输出接口联合成统一的样本instance输出给模型。本专利技术还提供一种自动化特征提取框架方法，包括以下步骤：S1：通过信号输入接口输入字段信息；S2：通过配置找到对应的特征预处理方法；S3：然再经具体的特征抽取类，抽取出对应的特征，进行相关的分桶加密；S4：加密后的多个特征通过信号输出接口联合成统一的样本instance输出给模型。更优选的，所述字段信息能够同时经过多个特征预处理方法的处理。本专利技术的有益效果为：本专利技术提出一种基于工厂模式的自动化特征提取方法，在整个实现的过程中提供了一种多人协作共建特征提取类和相互交互复用的方法；本专利技术采用工厂模式和相关特征类的反射机制抽象了特征提取的各个模块和方法，完全自动化特征提取，可以方便的通过配置进行特征的选择和迭代；本专利技术抽象出了特征提取类的工厂，多个人操作时可以增加自己的特征提取类到工厂中，也可以方便的使用工厂中已经有的特征类；本专利技术中在算法多次迭代选择特征训练测试模型时，可通过配置修改一键完成，避免出现多次选择特征复用不够的情况。附图说明图1为本专利技术实施例中特征提取的流程图。具体实施方式下面将结合附图来对本专利技术的实施例作出详细说明。如图1所示，一种自动化特征提取框架方法，包括以下步骤：S1：通过信号输入接口输入字段信息；S2：通过格式匹配以及配置文件找到对应的特征预处理方法；（支持同时经过多个特征预处理方法）S3：然再经具体的特征抽取类和配置文件，抽取出对应的特征，进行相关的分桶加密；S4：加密后的多个特征通过信号输出接口联合成统一的样本instance输出给模型。为实现上述方法，本专利技术提供了一种自动化特征提取框架系统，包括用于输入字段信息的信号输入模块；用于定义字段类型和对应的映射业务，配置对应的字段和特征方法的配置读取模块；用于对输入字段进行特征预处理的预处理模块；用于对预处理后的数据进行特征抽取的特征抽取模块；以及用于联合抽取出的特征并统一输出给模型的信号输出模块。其中配置读取模块中抽象出的配置文件具体为fealib.conf和feature_list.conf，所述配置文件fealib.conf用于定义上游日志中相关的字段类型和对应的映射业务；所述配置文件feature_list.conf用于配置对应的字段和特征方法，经所述预处理模块中处理过的特征，通过java反射的方式定义到具体的特征工程类。所述特征抽取模块中定义了对应好特征的slot槽位，能够支持同一个字段提取多个特征或多个字段联合生成同一个特征。经所述特征抽取模块抽取后的特征通过输出接口联合成统一的样本instance输出给模型。最后应说明的是：以上所述实施例，仅为本专利技术的具体实施方式，用以说明本专利技术的技术方案，而非对其限制，本专利技术的保护范围并不局限于此，尽管参照前述实施例对本专利技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本
的技术人员在本专利技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本专利技术实施例技术方案的精神和范围。都应涵盖在本专利技术的保护范围之内。因此，本专利技术的保护范围应所述以权利要求的保护范围为准。本文档来自技高网...

【技术保护点】
1.一种自动化特征提取框架系统，其特征在于，包括：/n信号输入模块：用于输入字段信息；/n配置读取模块：用于定义字段类型和对应的映射业务，配置对应的字段和特征方法；/n预处理模块：用于对输入字段进行特征预处理；/n特征抽取模块：用于对预处理后的数据进行特征抽取；/n信号输出模块：用于联合抽取出的特征并统一输出给模型。/n

【技术特征摘要】
1.一种自动化特征提取框架系统，其特征在于，包括：
信号输入模块：用于输入字段信息；
配置读取模块：用于定义字段类型和对应的映射业务，配置对应的字段和特征方法；
预处理模块：用于对输入字段进行特征预处理；
特征抽取模块：用于对预处理后的数据进行特征抽取；
信号输出模块：用于联合抽取出的特征并统一输出给模型。


2.根据权利要求1所述的自动化特征提取框架系统，其特征在于，所述配置读取模块中抽象出的配置文件具体为fealib.conf和feature_list.conf。


3.根据权利要求2所述的自动化特征提取框架系统，其特征在于，所述配置文件fealib.conf用于定义上游日志中相关的字段类型和对应的映射业务；所述配置文件feature_list.conf用于配置对应的字段和特征方法。


4.根据权利要求3所述的自动化特征提取框架系统，其特征在于，经所述预处理模块中处理过的特征，...

【专利技术属性】
技术研发人员：王磊，
申请(专利权)人：浙江百应科技有限公司，
类型：发明
国别省市：浙江;33