一种专题知识自动挖掘系统及方法技术方案

本发明专利技术属于大数据处理技术领域，公开了一种专题知识自动挖掘系统及方法，系统包括：物联网接口模块，语义查询模块，数据挖掘模块，地图聚合及可视化模块；方法包括：首先数据收集与建库，将基于web泛在网获取的数据、监测传感器的数据、各类专题资料收集整理存入专题数据库；然后进行专题知识挖掘，通过本体构建、语义查询、深度信息挖掘形成专题知识，将文件传入FTP文件服务器；将从FTP文件服务器中获取的专题知识与地理底图进行地理关联，形成制图数据；进行图面版式设计、专题图表设计、图面整饰；最后输出专题图。本发明专利技术借助大数据下的机器学习算法，将通过高效且准确的方法来对庞大的国土资源信息进行处理与分析。

An automatic mining system and method for topic knowledge

The invention belongs to the technical field of large data processing, and discloses an automatic thematic knowledge mining system and method. The system comprises an Internet of Things interface module, a semantic query module, a data mining module, a map aggregation and visualization module. The method comprises: first, data collection and database building, and then data acquisition based on Web ubiquitous network. The data of monitoring sensors and all kinds of thematic data are collected and stored in thematic database. Then thematic knowledge mining is carried out. Thematic knowledge is formed through ontology construction, semantic query and depth information mining, and the files are transferred to FTP file server. The thematic knowledge acquired from FTP file server and the geographic map are carried out. Geographical correlation, forming mapping data; layout design, thematic chart design, surface finishing; finally output thematic map. With the aid of machine learning algorithm under large data, the invention will process and analyze huge land and resources information through efficient and accurate methods.

【技术实现步骤摘要】
一种专题知识自动挖掘系统及方法
本专利技术属于大数据处理
，尤其涉及一种专题知识自动挖掘系统及方法。
技术介绍
近年来，大数据技术在全球发展迅猛，掀起了巨大的研究热潮，引起全球业界、学术界和各国政府的高度关注。随着计算机和信息技术的迅猛发展和普及应用，行业应用数据呈爆炸性增长。动辄达到数百TB甚至数PB规模的行业大数据已经远远超出了传统计算技术和信息系统的处理能力。与此同时，大数据往往隐含着很多在小数据量时不具备的深度知识和价值，大数据智能化分析挖掘将为行业带来巨大的商业价值，实现多种高附加值的增值服务，从而提升行业生产管理决策水平和经济效益。空间分析是地理学研究中研究的比较早的一个部分，经过了时代与历史的演变，换句话说地理学来源于空间分析。在早些年代，受到生存以及发展需要的驱使，人们必须要学会对周围地理事物之间的空间关系进行了解分析，所以各种各样的空间分析在使用着。地图渐渐的成为了地理学中的第二语言，从此，人们就开始有意无意的用到着很多种类的空间分析，包括在地图当中去测量各种地理物体之间的距离、方位以及面积，甚至会利用地图来做各种各样的战术研究以及战略策略等。在最近几年的发展当中，空间分析的涉及到的主要技术得到了很大的变化，地理信息系统技术和遥感技术营造了强大的空间数据分析环境，很多新的用来解决空间问题的分析模型以及处理方法都陆续的被挖掘出来了。一直在增加的海量的空间数据驱使着空间分析过程的改变，因此，基于数据层面的探索性的空间分析技术、空间可视化技术、空间数据挖掘技术以及基于人工智能的空间分析技术等面对大量的数据的空间数据分析方法非常受到关注，而且在最近的几年中也得到了深入的发展，这些分析方法面对大规模的空间分析中的不确定性以及不精确性问题有着较高的容错能力。随着时代的发展，GIS空间分析的应用领域也越来越广，其中，杨金提出了GIS空间分析在森林防火中的应用研究，成功的解决了森林火灾中遇到的重大问题，唐咸艳提出了GIS空间分析方法在疾病空间域模型分布中的应用，利用它疾病分布空间的预测，朱海燕提出了GIS空间分析在热带气旋研究中的作用，将热带气旋与GIS空间分析进行了结合，李慧琼提出了GIS空间分析在改善教育资源空间配置中的应用研究，成功的优化了资源的空间配置，华萍提出了地质三维建模与空间分析研究，将空间分析技术成功的应用在了三维分析上，祁向前研究了GIS空间分析在超市选址中的应用，以此解决了超市选址中的重要问题，吴建华等研究了在电子海图中利用GIS空间分析方法来自动判别航线的偏航极限范围内是否有危险的点、线、面，为航线设计提供决策支持，并航路进行实时监视，韩勇等研究了基于GIS空间分析的城市地下管线数据库的结构，并且构建了几种空间分析的模型，柯新利从数字城市概念的基本知识点出发，分析了数字城市和城市地理信息系统之间的关系，刘伟等提出了将GIS空间分析技术应用到矿产资源的环境影响评价中，并取得了相关的研究成果，陈优良等对GIS的线状缓冲区算法进行了研究，实现了线状目标的GIS缓冲区分析，李湘吉提出了对GIS空间数据理论与空间分析方法的研究，设计以及实现了几种地理信息系统的空间分析算法等等。现有技术方法主要是对静态空间数据进行分析处理与制作专题地图，而智慧城市及其应用是建立在物联网的基础上。通过物联网及传感器，可以收集、储存和分享城市信息。然而，由于这些数据的多源、异构、实时(准实时)特征，传统的空间分析处理软件系统难以处理并获取实时专题知识，生成专题地图，无法适应智慧城市、物联网、大数据时代的信息化、知识化需要综上所述，现有技术存在的问题是：传统空间统计分析方法无法接收实时传感器数据并同步进行知识挖掘与分析处理。解决难度在于实时数据接收，分析处理，专题知识挖掘，专题地图生成的实时、同步、一体化与自动化。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种专题知识自动挖掘软件系统。本专利技术是这样实现的，一种专题知识自动挖掘系统，首先提供Web泛在网、实时传感器数据，专题数据收集等方式获取多源、异构、实时空间数据及信息，然后同步进行数据预处理，在此基础上，利用语义技术、机器学习模型进行专题知识挖掘与分析，最后，实时(或准实时)专题地图自动化制作及其可视化。整个处理过程高度自动化、实时化。所述专题知识自动挖掘系统包括：物联网接口模块，用于数据的获取于存储、检索、导出、展示；语义查询模块，与物联网接口模块连接，用于通过本体文件构建本体模型并按类进行语义检索查询；数据挖掘模块，与物联网接口模块连接，用于对专题数据库中的数据进行分析挖掘，得到专题知识；将数据分析结果导入到Excel表格中；地图聚合及可视化模块，与数据挖掘模块连接，用于利用得到的专题知识进行专题地图制作和展示。进一步，所述物联网接口模块包括：数据获取与存储模块，用于获取与存储数据；通过向数据提供网站发送请求以获得互联网数据并进行解析存储；还通过GPRS无线传输接收监测设备发送的实时数据；数据的检索模块，与数据获取与存储模块连接，用于对数据获取时间检索或对各项指标的数值范围进行查找；数据的导出模块，与数据获取与存储模块连接，用于将数据导出为Excel表格，并输送到到本地中；数据展示模块，与数据获取与存储模块连接，用于通过在输入框或者列表中选择指标种类和数值范围，使数据库中的数据按顺序显示在界面中。进一步，所述语义查询模块首先要从本地文件中选择本体文件，然后生成本体模型，生成本体模型后，选择检索词类别和检索词，显示语义查询结果；所述语义查询模块包括：本体构建模块和本体查询模块；所述本体构建模块根据需求确定的本体构建对象构建本体模型；本体查询模块对构建好的本体模型进行语义查询。进一步，数据挖掘模块，包括：FP-tree关联分析模块和随机森林分类模块；所述FP-tree关联分析模块用于反向挖掘出与专题知识关联度较高的指标；在频繁项集挖掘中存储关于频繁模式的压缩信息，所述FP-tree关联分析模块由一个根节点和作为其孩子的项前缀子树集合而成；项前缀子树的每个节点由三个域组成：节点名称、节点计数、节点链；其中节点计数表示到达该节点的路径上的事务个数，节点链指向树中具有同一名称的下一个节点；随机森林分类模块用于选取这些指标的数据采用随机森林方法训练模型以完成随机森林分类；所述随机森林分类模块为一个包含多个无剪枝分类回归树的组合分类器；所述组合分类器通过引入独立同分布的随机变量，利用训练集数据和随机变量生成决策树，最后利用集成学习的思想将所有决策树组合而成。进一步，所述地图聚合及可视化模块通过利用颜色渲染、图案填充、直方或饼状图形式将某种主题内容属性数据在地图上表现出来；利用专题地图的可视化效果，直观向用户展现相应的成果；所述地图聚合及可视化模块通过引入最新的地图制图及GIS技术，建立专题地图制作的新型地图制图；首先获取地理底图和专题知识数据，然后设计图面版式，详细设计专题图表，进行图面冲突处理，最后输出地图。进一步，所述数据获取与存储模块，包括网络API模块和GPRS无线传输模块；所述网络API模块负责通过向数据提供网站发送请求以获得互联网数据并进行解析存储；通过网络API获取气象监测数据；客户端发送请求到服务端，服务端调用API获取数据，然后发本文档来自技高网...

【技术保护点】
1.一种专题知识自动挖掘系统，其特征在于，所述专题知识自动挖掘系统包括：物联网接口模块，用于数据的获取于存储、检索、导出、展示；语义查询模块，与物联网接口模块连接，用于通过本体文件构建本体模型并按类进行语义检索查询；数据挖掘模块，与物联网接口模块连接，用于对专题数据库中的数据进行分析挖掘，得到专题知识；将数据分析结果导入到Excel表格中；地图聚合及可视化模块，与数据挖掘模块连接，用于利用得到的专题知识进行专题地图制作和展示。

【技术特征摘要】
1.一种专题知识自动挖掘系统，其特征在于，所述专题知识自动挖掘系统包括：物联网接口模块，用于数据的获取于存储、检索、导出、展示；语义查询模块，与物联网接口模块连接，用于通过本体文件构建本体模型并按类进行语义检索查询；数据挖掘模块，与物联网接口模块连接，用于对专题数据库中的数据进行分析挖掘，得到专题知识；将数据分析结果导入到Excel表格中；地图聚合及可视化模块，与数据挖掘模块连接，用于利用得到的专题知识进行专题地图制作和展示。2.如权利要求1所述的专题知识自动挖掘系统，其特征在于，所述物联网接口模块包括：数据获取与存储模块，用于获取与存储数据；通过向数据提供网站发送请求以获得互联网数据并进行解析存储；还通过GPRS无线传输接收监测设备发送的实时数据；数据的检索模块，与数据获取与存储模块连接，用于对数据获取时间检索或对各项指标的数值范围进行查找；数据的导出模块，与数据获取与存储模块连接，用于将数据导出为Excel表格，并输送到到本地中；数据展示模块，与数据获取与存储模块连接，用于通过在输入框或者列表中选择指标种类和数值范围，使数据库中的数据按顺序显示在界面中。3.如权利要求1所述的专题知识自动挖掘系统，其特征在于，所述语义查询模块首先要从本地文件中选择本体文件，然后生成本体模型，生成本体模型后，选择检索词类别和检索词，显示语义查询结果；所述语义查询模块包括：本体构建模块和本体查询模块；所述本体构建模块根据需求确定的本体构建对象构建本体模型；本体查询模块对构建好的本体模型进行语义查询。4.如权利要求1所述的专题知识自动挖掘系统，其特征在于，数据挖掘模块，包括：FP-tree关联分析模块和随机森林分类模块；所述FP-tree关联分析模块用于反向挖掘出与专题知识关联度较高的指标；在频繁项集挖掘中存储关于频繁模式的压缩信息，所述FP-tree关联分析模块由一个根节点和作为其孩子的项前缀子树集合而成；项前缀子树的每个节点由三个域组成：节点名称、节点计数、节点链；其中节点计数表示到达该节点的路径上的事务个数，节点链指向树中具有同一名称的下一个节点；随机森林分类模块用于选取这些指标的数据采用随机森林方法训练模型以完成随机森林分类；所述随机森林分类模块为一个包含多个无剪枝分类回归树的组合分类器；所述组合分类器通过引入独立同分布的随机变量，利用训练集数据和随机变量生成决策树，最后利用集成学习的思想将所有决策树组合而成。5.如权利要求1所述的专题知识自动挖掘系统，其特征在于，所述地图聚合及可视化模块通过利用颜色渲染、图案填充、直方或饼状图形式将某种主题内容属性数据在地图上表现出来；利用专题地图的可视化效果，直观向用户展现相应的成果；所述地图聚合及可视化模块通过引入最新的地图制图及GIS技术，建立专题地图制作的新型地图制图；首先获取地理底图和专题知识数据，然后设计图面版式，详细设计专题图表，进行图面冲突处理，最后输出地图。6.如权利要求2所述的专题知识自动挖掘系统，其特征在于，所述数据获取与存储模块，包括网络API模块和GPRS无线传输模块；所述网络API模块负责通过向数据提供网站发送请求以获得互联网数据并进行解析存储；通过网络API获取气象监测数据；客户端发送请求到服务端，服务端调用API获取数据，然后发送JSON数据到客户端，客户端解析接收到的JSON数据然后存储到本地的MySQL数据库中；所述GPRS无线传输模块则负责通过GPRS无线传输...

【专利技术属性】
技术研发人员：刘强，刘沛文，黄耀森，陈晨，
申请(专利权)人：电子科技大学成都研究院，
类型：发明
国别省市：四川,51