垃圾危机转化智能管理方法技术

本发明专利技术公开了一种垃圾危机转化智能管理方法，包括：对网络数据库进行数据爬取；对步骤一中爬取到的文档进行超文本标记语言处理、词法相似度分析和词表频度处理；运用FCM聚类算法对步骤二中已经完成数据清洗和相似词替换的案例向量化数据进行分析，将案例分成四类，构成名利空间下的决策支持模型；对归类的数据进行余弦相似度分析，根据贝叶斯网络模型对当前案例结构进行优化，演化出每一类的最优贝叶斯结构。本发明专利技术应用数据抓取、数据清洗和数据分析方法，交互友好，综合运用人工智能的相关方法，文本处理过程流畅，为垃圾“邻避”事件的解决提供了新的思路和参考建议，降低了决策难度，有很强的可行性。

Waste crisis transformed into intelligent management method

【技术实现步骤摘要】
垃圾危机转化智能管理方法
本专利技术属于垃圾焚烧处理领域，涉及垃圾危机转化智能管理方法及平台系统。
技术介绍
随着城市化进程的推进，垃圾“邻避”事件层出不穷，对社会稳定和垃圾焚烧行业发展产生了极其恶劣的影响。垃圾排放量大、占用社会资源多、污染生态环境的特点导致垃圾危机的产生。居民的“邻避”心理给垃圾处理带来了更大的困难。探究“邻避”问题的解决方案成为了解除制约，进一步更快更好发展垃圾焚烧发电项目的迫切要求。
技术实现思路
：为了克服上述
技术介绍
的缺陷，本专利技术提供一种垃圾危机转化智能管理方法，因地制宜地提出建议供决策者参考，降低决策难度，为决策者提供解决“邻避”问题的新思路。为了解决上述技术问题本专利技术的所采用的技术方案为：一种垃圾危机转化智能管理方法，包括：步骤一，对网络数据库进行数据爬取；步骤二，对步骤一中爬取到的文档进行超文本标记语言处理、词法相似度分析和词表频度处理；步骤三，运用FCM聚类算法对步骤二中已经完成数据清洗和相似词替换的案例向量化数据进行分析，将案例分成四类，构成名利空间下的决策支持模型；对归类的数据进行余弦相似度分析，根据贝叶斯网络模型对当前案例结构进行优化，演化出每一类的最优贝叶斯结构。较佳地，步骤一对网络数据库进行数据爬取包括：使用Python在网络数据库爬取文件，基于关键词表和停用词表的标题分词进行筛选，最后再通过超文本标记语言HTML结构筛选算法进行筛选，获取作为本决策系统的案例库。较佳地，Python使用的相关库包括scrapy、jieba、BeautifulSoup和chardet。较佳地，超文本标记语言HTML结构筛选算法进行筛选的方法包括：先定义处理后的文档的路径，读取内容过滤词的文件，并写入contentfilter_list过滤词列表，完成数据初始化；去除网页中的JavaScript和层叠样式表链接，提取网页中其它标签的文本，完成超文本标记语言HTML结构处理；对每个标签中的文本进行判断，如果文本的长度小于设定长度或者文本中有contentfilter_list过滤词列表的字符串就不取，否则添加进write_list列表；将每个html文件的write_list写入txt文件中。较佳地，设定长度为20。较佳地，词法相似度分析的方法包括：利用Python的jieba库对超文本标记语言HTML文件处理后的txt文件进行分词并统计出现频度最高的15个词获取需要比较的词语、关键字；调用并初始化云AI平台自然语言处理应用程序接口；利用自然语言处理应用程序接口相似度计算算法得到关键字与需要比较的词汇的相似度，对相似度进行排序；把关键字和需要比较的词的相似度写入csv文件中。较佳地，构建邻避CRN网络进行词表频度处理，具体方法包括：对超文本标记语言HTML处理后的txt文件进行依次读取，利用jieba对文本进行分词处理，写入csv文件中；把词法相似度分析中读取的所有词的词频全部写入一个csv文件中；利用词法相似度表的数据对全部词频的csv文件进行词汇的替换；将词频矩阵进行奇异值分解得到每个词的奇异值和每个文本对应的奇异向量，得到关键词-关键词语义距离表表和文本-关键词语义距离表。本专利技术的有益效果在于：针对日益突出垃圾危机和亟待解决的城市垃圾“邻避”问题，本专利技术提供了垃圾危机转化智能管理方法及平台，搭建中国垃圾“邻避”事件案例库，针对不同的“邻避”问题，运用相似度计算捕捉相似的典型案例，建立贝叶斯网络模型，完成最优路径转化。本专利技术应用数据抓取、数据清洗和数据分析方法，交互友好，综合运用人工智能的相关方法，文本处理过程流畅，为垃圾“邻避”事件的解决提供了新的思路和参考建议，降低了决策难度，有很强的可行性。附图说明图1为本专利技术方法的处理层次结构模型图。图2为本专利技术得到的关键词-关键词语义距离表。图3为本专利技术得到的案例-关键词语义距离表。图4为本专利技术聚类中心矩阵节选图5为本专利技术隶属度矩阵节选图6为本专利技术简化后的单位隶属度矩阵图7为本专利技术的首页展示。图8为本专利技术的决策支持平台案例分析界面。图9为本专利技术的决策支持平台案例贝叶斯转化界面。图10为本专利技术的案例数据库界面。图11为本专利技术的案例数据库具体事件查看界面。图12为本专利技术的贝叶斯演化界面。图13为本专利技术的案例分析结果展示。图14为本专利技术的贝叶斯演化平台。图15为本专利技术的搜索案例关键词表。图16湖北仙桃垃圾焚烧邻避案例相似度分析图图17湖北仙桃垃圾焚烧邻避案例贝叶斯优化路径图具体实施方式下面结合附图和实施例对本专利技术做进一步的说明。垃圾危机转化智能管理方法，支持平台通过如下步骤实现：步骤一，数据爬取。基于相关学术网站(如：中国知网)有关“邻避”的论文、期刊等文章网页；各大新闻(如：百度、新浪、搜狐)网站关键词为“邻避”的新闻报道网页；政府相关官方网站(如：国家环保局)有关“邻避”事件的网页等，使用Python在网络上爬取文件，并基于项目研究确定的关键词表(垃圾、垃圾焚烧、邻避)和停用词表的标题分词进行筛选，最后再通过针对篇章结构设计的超文本标记语言(HTML)结构筛选算法进行筛选，最终获得了与研究相关度较高的重点页面的网页文件作为本决策系统的案例库。其中Python使用的相关库有scrapy、jieba、BeautifulSoup和chardet，scrapy、jieba、BeautifulSoup和chardet均为Python的代码包、库名。步骤二，数据清洗。对步骤一中爬取到的文档进行超文本标记语言(HTML)处理、词法相似度分析和词表频度处理。超文本标记语言(HTML)文件处理过程是：(1)先定义处理后的文档的路径，读取内容过滤词的文件，并写入contentfilter_list过滤词列表中,完成数据初始化。(2)利用BeautifulSoup去掉网页中的JavaScript和层叠样式表(css)链接，提取网页中其它标签的文本，完成超文本标记语言(HTML)结构处理。(3)对每个标签中的文本进行判断，如果文本的长度小于20或者文本中有contentfilter_list过滤词列表的字符串就不取，否则添加进write_list列表中，完成对标文本的判断。(4)把每个html文件的write_list写入txt文件中。词法相似度分析的过程是：(1)利用Python的jieba库对超文本标记语言(HTML)文件处理后的txt文件进行分词并统计出现频度最高的15个词获取需要比较的词语、关键字。(2)调用并初始化云AI平台自然语言处理应用程序接口(如：百度APINLP)。(3)利用自然语言处理应用程序接口相似度计算算法得到关键字与需要比较的词汇的相似度，对这些相似度进行排序。(4)把关键字和本文档来自技高网...

【技术保护点】
1.一种垃圾危机转化智能管理方法，其特征在于，包括：/n步骤一，对网络数据库进行数据爬取；/n步骤二，对步骤一中爬取到的文档进行超文本标记语言处理、词法相似度分析和词表频度处理；/n步骤三，运用FCM聚类算法对步骤二中已经完成数据清洗和相似词替换的案例向量化数据进行分析，将案例分成四类，构成名利空间下的决策支持模型；对归类的数据进行余弦相似度分析，根据贝叶斯网络模型对当前案例结构进行优化，演化出每一类的最优贝叶斯结构。/n

【技术特征摘要】
1.一种垃圾危机转化智能管理方法，其特征在于，包括：
步骤一，对网络数据库进行数据爬取；
步骤二，对步骤一中爬取到的文档进行超文本标记语言处理、词法相似度分析和词表频度处理；
步骤三，运用FCM聚类算法对步骤二中已经完成数据清洗和相似词替换的案例向量化数据进行分析，将案例分成四类，构成名利空间下的决策支持模型；对归类的数据进行余弦相似度分析，根据贝叶斯网络模型对当前案例结构进行优化，演化出每一类的最优贝叶斯结构。


2.根据权利要求1所述的一种垃圾危机转化智能管理方法，其特征在于，所述步骤一对网络数据库进行数据爬取包括：
使用Python在网络数据库爬取文件，基于关键词表和停用词表的标题分词进行筛选，最后再通过超文本标记语言HTML结构筛选算法进行筛选，获取作为本决策支持系统的案例库。


3.根据权利要求2所述的一种垃圾危机转化智能管理方法，其特征在于：Python使用的相关库包括scrapy、jieba、BeautifulSoup和chardet。


4.根据权利要求2所述的一种垃圾危机转化智能管理方法，其特征在于，超文本标记语言HTML结构筛选算法进行筛选的方法包括：先定义处理后的文档的路径，读取内容过滤词的文件，并写入contentfilter_list过滤词列表，完成数据初始化；去除网页中的脚本编程语言JavaScript和层叠样式表链接，提取网页中其它标签的文本，完成超文本标记语言HTML...

【专利技术属性】
技术研发人员：杨青，王鑫伟，蔡正浩，刘星星，刘恩源，王信歌，刘胜，李旻烜，陈梦婷，王同宇，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北;42