【技术实现步骤摘要】
本专利技术涉及数据整合，具体地，涉及一种基于异构数据整合的智能化运营管理方法和系统。
技术介绍
1、市场标准化数据同步流程中的市场标准化数据，来源于聚源、万得等开源金融数据提供商，数据库使用oracle，而投研系统以及运营系统使用的是postgresql；且提供的数据大而繁，如何清洗成小而简的结构化基础信息，如何映射各类业务字段，如何让各系统内高性能的查询这些基础信息，让数据整合困难重重；
2、用户行为数据采集流程中的埋点数据，来源于大数据从数据采集工具同步的非结构化数据，底层存储采用hive数据仓库，如何将hive中的宽表结构、多张表数据转换成运营系统查询的统计数据，也是很大的挑战。
3、专利文献cn117609755a公开了一种基于异源异构多模态数据整合的诊断分析系统构建方法，通过构建有效的异源异构多模态数据整合模型，实现各类诊断检测设备数据的有效融合，基于此，以专家系统和人工智能技术为依托，实现对大型水电站设备运行状态、参数、性能的分析。然而该专利无法完全解决目前存在的技术问题，也无法满足本专利技术的需求。
技术实现思路
1、针对现有技术中的缺陷，本专利技术的目的是提供一种基于异构数据整合的智能化运营管理方法和系统。
2、根据本专利技术提供的基于异构数据整合的智能化运营管理方法，包括：
3、市场标准化数据同步步骤：从金融数据提供商采集市场标准化数据，清洗并计算生成基金经理、基金产品以及基金公司各个维度的基础信息；
4
5、基金公司运营内容发布步骤：基金公司在自管理的运营系统，发布路演、解读市场热点动态、上传研报、推荐基金经理、推荐基金产品，最终发布至投研系统；
6、所述投研系统是机构投资者查看基金公司使用的投研系统，投研系统为机构投资者提供投资研究工具和资源。
7、优选地，金融数据提供商提供基金经理信息，包括：基金经理的标准wind代码、名称、任职起始时间段；投研系统在同步基金经理前，优先同步市场上所有的基金产品信息，然后在同步基金经理时，根据任职时间段清洗出已经离任的基金经理，计算出在任的基金经理从业年限，以及通过wind代码映射关系找到该基金经理管理的所有基金产品，通过计算得到基金经理的管理规模信息。
8、优选地，基金产品推荐包括：首先通过市场标准化数据同步，整合基金产品各维度的基础信息投放至投研系统，为机构投资者提供内容服务；机构投资者通过投研系统研究各个基金产品，通过数据采集工具采集用户行为数据埋点，再通过大数据中心清洗后，投放至基金公司的运营系统；基金公司通过机构投资者的行为数据，了解机构投资者的兴趣内容，及时调整推荐的基金产品。
9、优选地，基金经理推荐包括：一种是基金公司根据基金经理的重点投资行业及方向，结合市场动态，在自管理的运营系统基金经理模块设置主推，而后在投研系统的基金经理列表页置顶展示；另一种是投研系统通过采集投资者在基金经理列表页的访问行为得到最热门的基金经理信息，然后在自管理的运营系统基金经理模块设置主推。
10、优选地，通过异构数据源同步工具datax，采用json文件配置数据结构的映射及转换规则，将市场标准化数据从oracle数据库同步至投研postgresql数据库；再通过任务调度平台xxl-job基于同步好的基础信息，将用户行为埋点数据结构进行裁剪以及过滤，按需拉取需求字段，清洗并计算得出基金公司各个维度的标准数据，定期同步至redis缓存数据库，最终通过数据接口的方式为投研系统及运营系统提供查询；
11、通过开源分布式hive任务调度平台dolphinscheduler，将用户行为数据从hive中清洗至运营系统的postgresql数据库，统计计算后通过数据接口的方式为运营系统提供查询。
12、根据本专利技术提供的基于异构数据整合的智能化运营管理系统，包括：
13、市场标准化数据同步模块：从金融数据提供商采集市场标准化数据，清洗并计算生成基金经理、基金产品以及基金公司各个维度的基础信息；
14、用户行为数据采集模块：通过投研系统前端页面埋点，通过数据采集工具，采集用户访问基金公司、基金经理以及基金产品的行为，并通过大数据中心清洗落地数据；
15、基金公司运营内容发布模块：基金公司在自管理的运营系统，发布路演、解读市场热点动态、上传研报、推荐基金经理、推荐基金产品，最终发布至投研系统；
16、所述投研系统是机构投资者查看基金公司使用的投研系统，投研系统为机构投资者提供投资研究工具和资源。
17、优选地，金融数据提供商提供基金经理信息，包括：基金经理的标准wind代码、名称、任职起始时间段；投研系统在同步基金经理前，优先同步市场上所有的基金产品信息，然后在同步基金经理时，根据任职时间段清洗出已经离任的基金经理，计算出在任的基金经理从业年限，以及通过wind代码映射关系找到该基金经理管理的所有基金产品，通过计算得到基金经理的管理规模信息。
18、优选地，基金产品推荐包括：首先通过市场标准化数据同步，整合基金产品各维度的基础信息投放至投研系统，为机构投资者提供内容服务；机构投资者通过投研系统研究各个基金产品，通过数据采集工具采集用户行为数据埋点，再通过大数据中心清洗后，投放至基金公司的运营系统；基金公司通过机构投资者的行为数据，了解机构投资者的兴趣内容，及时调整推荐的基金产品。
19、优选地，基金经理推荐包括：一种是基金公司根据基金经理的重点投资行业及方向，结合市场动态，在自管理的运营系统基金经理模块设置主推，而后在投研系统的基金经理列表页置顶展示；另一种是投研系统通过采集投资者在基金经理列表页的访问行为得到最热门的基金经理信息，然后在自管理的运营系统基金经理模块设置主推。
20、优选地，通过异构数据源同步工具datax，采用json文件配置数据结构的映射及转换规则，将市场标准化数据从oracle数据库同步至投研postgresql数据库；再通过任务调度平台xxl-job基于同步好的基础信息，将用户行为埋点数据结构进行裁剪以及过滤，按需拉取需求字段，清洗并计算得出基金公司各个维度的标准数据，定期同步至redis缓存数据库，最终通过数据接口的方式为投研系统及运营系统提供查询；
21、通过开源分布式hive任务调度平台dolphinscheduler，将用户行为数据从hive中清洗至运营系统的postgresql数据库，统计计算后通过数据接口的方式为运营系统提供查询。
22、与现有技术相比，本专利技术具有如下的有益效果：
23、(1)本专利技术通过三个流程，市场标准化数据同步、用户行为数据采集、基金公司运营内容发布，并对流程中的常规解决方案进行优化，实现了异构数据整合，提供更加本文档来自技高网...
【技术保护点】
1.一种基于异构数据整合的智能化运营管理方法，其特征在于，包括：
2.根据权利要求1所述的基于异构数据整合的智能化运营管理方法，其特征在于，金融数据提供商提供基金经理信息，包括：基金经理的标准wind代码、名称、任职起始时间段；投研系统在同步基金经理前，优先同步市场上所有的基金产品信息，然后在同步基金经理时，根据任职时间段清洗出已经离任的基金经理，计算出在任的基金经理从业年限，以及通过wind代码映射关系找到该基金经理管理的所有基金产品，通过计算得到基金经理的管理规模信息。
3.根据权利要求1所述的基于异构数据整合的智能化运营管理方法，其特征在于，基金产品推荐包括：首先通过市场标准化数据同步，整合基金产品各维度的基础信息投放至投研系统，为机构投资者提供内容服务；机构投资者通过投研系统研究各个基金产品，通过数据采集工具采集用户行为数据埋点，再通过大数据中心清洗后，投放至基金公司的运营系统；基金公司通过机构投资者的行为数据，了解机构投资者的兴趣内容，及时调整推荐的基金产品。
4.根据权利要求1所述的基于异构数据整合的智能化运营管理方法，其特征在于，
5.根据权利要求1所述的基于异构数据整合的智能化运营管理方法，其特征在于，通过异构数据源同步工具DataX，采用JSON文件配置数据结构的映射及转换规则，将市场标准化数据从Oracle数据库同步至投研PostgreSQL数据库；再通过任务调度平台xxl-job基于同步好的基础信息，将用户行为埋点数据结构进行裁剪以及过滤，按需拉取需求字段，清洗并计算得出基金公司各个维度的标准数据，定期同步至redis缓存数据库，最终通过数据接口的方式为投研系统及运营系统提供查询；
6.一种基于异构数据整合的智能化运营管理系统，其特征在于，包括：
7.根据权利要求6所述的基于异构数据整合的智能化运营管理系统，其特征在于，金融数据提供商提供基金经理信息，包括：基金经理的标准wind代码、名称、任职起始时间段；投研系统在同步基金经理前，优先同步市场上所有的基金产品信息，然后在同步基金经理时，根据任职时间段清洗出已经离任的基金经理，计算出在任的基金经理从业年限，以及通过wind代码映射关系找到该基金经理管理的所有基金产品，通过计算得到基金经理的管理规模信息。
8.根据权利要求6所述的基于异构数据整合的智能化运营管理系统，其特征在于，基金产品推荐包括：首先通过市场标准化数据同步，整合基金产品各维度的基础信息投放至投研系统，为机构投资者提供内容服务；机构投资者通过投研系统研究各个基金产品，通过数据采集工具采集用户行为数据埋点，再通过大数据中心清洗后，投放至基金公司的运营系统；基金公司通过机构投资者的行为数据，了解机构投资者的兴趣内容，及时调整推荐的基金产品。
9.根据权利要求6所述的基于异构数据整合的智能化运营管理系统，其特征在于，基金经理推荐包括：一种是基金公司根据基金经理的重点投资行业及方向，结合市场动态，在自管理的运营系统基金经理模块设置主推，而后在投研系统的基金经理列表页置顶展示；另一种是投研系统通过采集投资者在基金经理列表页的访问行为得到最热门的基金经理信息，然后在自管理的运营系统基金经理模块设置主推。
10.根据权利要求6所述的基于异构数据整合的智能化运营管理系统，其特征在于，通过异构数据源同步工具DataX，采用JSON文件配置数据结构的映射及转换规则，将市场标准化数据从Oracle数据库同步至投研PostgreSQL数据库；再通过任务调度平台xxl-job基于同步好的基础信息，将用户行为埋点数据结构进行裁剪以及过滤，按需拉取需求字段，清洗并计算得出基金公司各个维度的标准数据，定期同步至redis缓存数据库，最终通过数据接口的方式为投研系统及运营系统提供查询；
...【技术特征摘要】
1.一种基于异构数据整合的智能化运营管理方法，其特征在于，包括：
2.根据权利要求1所述的基于异构数据整合的智能化运营管理方法，其特征在于，金融数据提供商提供基金经理信息，包括：基金经理的标准wind代码、名称、任职起始时间段；投研系统在同步基金经理前，优先同步市场上所有的基金产品信息，然后在同步基金经理时，根据任职时间段清洗出已经离任的基金经理，计算出在任的基金经理从业年限，以及通过wind代码映射关系找到该基金经理管理的所有基金产品，通过计算得到基金经理的管理规模信息。
3.根据权利要求1所述的基于异构数据整合的智能化运营管理方法，其特征在于，基金产品推荐包括：首先通过市场标准化数据同步，整合基金产品各维度的基础信息投放至投研系统，为机构投资者提供内容服务；机构投资者通过投研系统研究各个基金产品，通过数据采集工具采集用户行为数据埋点，再通过大数据中心清洗后，投放至基金公司的运营系统；基金公司通过机构投资者的行为数据，了解机构投资者的兴趣内容，及时调整推荐的基金产品。
4.根据权利要求1所述的基于异构数据整合的智能化运营管理方法，其特征在于，基金经理推荐包括：一种是基金公司根据基金经理的重点投资行业及方向，结合市场动态，在自管理的运营系统基金经理模块设置主推，而后在投研系统的基金经理列表页置顶展示；另一种是投研系统通过采集投资者在基金经理列表页的访问行为得到最热门的基金经理信息，然后在自管理的运营系统基金经理模块设置主推。
5.根据权利要求1所述的基于异构数据整合的智能化运营管理方法，其特征在于，通过异构数据源同步工具datax，采用json文件配置数据结构的映射及转换规则，将市场标准化数据从oracle数据库同步至投研postgresql数据库；再通过任务调度平台xxl-job基于同步好的基础信息，将用户行为埋点数据结构进行裁剪以及过滤，按需拉取需求字段，清洗并计算得出基金公司各个维度的标准数据，定期同步至redis缓存数据库，最终通过数据接口的方式为投研系统及运营系统提供查询；
...【专利技术属性】
技术研发人员：李瑶，侯健，王忍，王凯申，胡凌霄，吴笛，
申请(专利权)人：上海秉玉软件技术服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。