【技术实现步骤摘要】
云端大数据系统及其构建方法
本公开涉及数据处理
,尤其涉及一种云端大数据系统及其构建方法。
技术介绍
随着信息技术和人类生产生活的交互融合，全球数据呈现出爆发增长、海量聚集的特点，对经济发展、社会治理、人民生活都产生了重大影响。近年来，随着大数据技术的快速发展，软硬件的不断更新迭代，大数据技术在各行各业都获得了长足发展。通过对用户的大数据分析，企业可以掌握用户行为偏好，实现精准推荐和营销，以客户驱动产品的研发和服务的升级，从而提供用户为导向的产品和服务，增加企业用户量；通过对行业的大数据分析，企业可以更加了解竞争对手，了解产品动态，调整战略，优化产品，使得企业在激烈的环境中更加主动；通过对业务的大数据分析，企业可以更好的掌握发展现状，优化资源配置，使得有限的资源能够产生更大的效益。随着5G的部署，万物互联将对大数据的要求更高。但现有大数据系统存在一些缺陷：1.系统搭建耗时耗力，运维复杂，成本高：大数据涉及技术十分广泛，所用到的软件也非常多，为此，企业搭建大数据平台耗时耗力，后期运维时十分复杂，给企业带来非常大的成本；2.对技术人员和分析人员的专业水平要求比较高：大数据分析技术复杂，因此需要专业的大数据人员和数据分析人员，加之不同行业的差异较大，为此还需要领域内的专家，人员的技术水平要求高；3.整合现有数据困难：企业数据来源十分广泛，文本数据、关系型和非关系型数据库中的数据、物联网设备产生的协议数据、消息队列中的数据、网络营销数据等等，而不同的数据对接大数据平台的方式千差万...
【技术保护点】
1.一种云端大数据系统，其特征在于，包括：/n数据接入模块，接入多类型数据源D，包括：/n第一类型选择单元，对接入的所述数据源D的类型进行划分，得到所述数据源D的父类型；/n第二类型选择单元，对所述父类型进行划分，得到所述数据源D的子类型；/n第一设置单元，根据所述子类型对所述数据源D进行第一设置；/n校验单元，对完成所述第一设置的所述数据源D进行校验，所述校验通过则转入预览单元，所述校验未通过则转回所述第一设置单元；/n预览单元，对通过校验的所述数据源D进行预览；/n第三设置单元，预览完成后，对所述数据源D进行第三设置，得到数据源
【技术特征摘要】
1.一种云端大数据系统，其特征在于，包括：
数据接入模块，接入多类型数据源D，包括：
第一类型选择单元，对接入的所述数据源D的类型进行划分，得到所述数据源D的父类型；
第二类型选择单元，对所述父类型进行划分，得到所述数据源D的子类型；
第一设置单元，根据所述子类型对所述数据源D进行第一设置；
校验单元，对完成所述第一设置的所述数据源D进行校验，所述校验通过则转入预览单元，所述校验未通过则转回所述第一设置单元；
预览单元，对通过校验的所述数据源D进行预览；
第三设置单元，预览完成后，对所述数据源D进行第三设置，得到数据源，提交所述数据源；
数据处理模块，对所述数据源进行数据处理；
数据分析模块，对数据处理后的所述数据源进行数据分析，得到分析结果；
数据应用模块，根据所述分析结果生成可视化页面或智能报表。
2.如权利要求1所述的云端大数据系统，其特征在于，所述数据接入模块还包括第二设置单元，预览完成后，所述第二设置单元对所述数据源D进行第二设置，所述第二设置完成后，再对所述数据源D进行第三设置。
3.如权利要求2所述的云端大数据系统，其特征在于，所述第一设置单元包括格式设置块和流程设置块；所述第二设置单元包括属性过滤设置块、属性重命名设置块、属性格式转换设置块、属性扩充设置块和属性脱密设置块；所述第三设置单元为字段信息设置块，所述字段信息包括数据源名称、导入方式和更新周期。
4.如权利要求3所述的云端大数据系统，其特征在于，所述导入方式包括全量导入和增量导入，所述增量导入包括定时导入和实时导入。
5.如权利要求4所述的云端大数据系统，其特征在于，所述数据处理模块的数据处理方式包括数据清洗、数据筛选、数据过滤、多数据转化、数据集成和数据规约。
6.如权利要求5所述的云端大数据系统，其特征在于，所述数据分析模块包括：
分析单元，对数据进行数据统计、数据分类、数据回归和数据聚类；
挖掘单元，对数据进行挖掘获取有用信息；
所述可视化页面包括WEB页面、手机APP页面和大屏，所述大屏包括LED大屏和电视大屏。
7.如权利要求6所述的云端大数据系统，其特征在于，该系统还包括数据共享模块和安全管理模块，所述数据共享模块实现数据共享，所述安全管理模块对云端大数据系统及数据进行安全管理。
8.如权利要求1-7...
【专利技术属性】
技术研发人员：宋艳红，吴尧尧，李梁，李军，苏征，张范兴，
申请(专利权)人：南京创维信息技术研究院有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。