大群体异构评估数据处理与建模方法技术

本发明专利技术公开一种大群体异构评估数据处理与建模方法，含有论域定义、数据采集、无效数据过滤、数据转换、不良数据处理、异常值处理、容差极限处理七个步骤；专家可以采用精确值、区间数、云模型、语言术语、语言表达式中的任一种表示评估结果，提高了大规模群体表达的灵活性和多样性；利用云模型对大群体提供的各种不同类型数据进行统一表征和建模，增强了分析与计算的简便性；建立了包含4个步骤的劣质数据自动处理过程，用于识别和删除大群体中的无效数据和低质量数据，提高了评估结果的准确性。

【技术实现步骤摘要】
大群体异构评估数据处理与建模方法
本专利技术属于数据处理领域，特别涉及到一种大群体异构评估数据处理与建模方法。
技术介绍
近年来，随着信息技术和社会需求的快速发展，如互联网、社交网络、公众参与和电子民主等，越来越多的个体参与评估与决策过程。在互联网+和大数据时代，基于大群体的评估与决策在实际应用中日益频繁，参与人员数量多达几十至成百上千。当参与人员的数量非常庞大时，无效数据和低质量输入不可避免，自动化的数据处理过程非常必要。此外，在基于大群体的评估中，不同的参与者或同一参与者在不同阶段可能会采用不同类型的数据表示其评估结果。这些数据的类型主要有精确值、区间数、语言术语、语言表达式等。不同数据包含有不同大小的不确定度，对这些数据进行统一表征和建模，并最大限度地减小信息失真，对后续分析和处理至关重要。在模糊集和概率论基础上发展起来的云模型理论，能够同时描述数据的模糊性和随机性。鉴于此，提出了一种利用云模型对大群体的异构评估数据进行建模的方法，并建立了包含无效数据过滤、不良数据处理、异常值处理、容差极限处理共4个步骤的数据处理过程。
技术实现思路
本专利技术的目的是：为了对大群体中各种不同类型的评估数据进行处理和建模，而提出一种基于云模型的大群体异构评估数据处理与建模方法。为实现上述技术目的，本专利技术采用的技术方案如下：大群体异构评估数据处理与建模方法，含有论域定义、数据采集、无效数据过滤、数据转换、不良数据处理、异常值处理、容差极限处理七个步骤，各步骤的具体实现方式为：步骤1，论域定义：针对特定的问题和评估目的，定义论域中各类数据的取值范围，各类数据包括精确值、区间数、云模型、语言术语、语言表达式；不失一般性，可设评估结果基于10分制表示，那么精确值的取值范围为0～10，区间数取值范围为[0,10]内的子区间，云模型(Ex,En,He)的取值范围为0≤Ex≤10、En≥0、He≥0，语言术语的取值范围为集合H，语言表达式的取值范围为上下文无关语法GH；所述集合H＝{t0:none,t1:verylow,t2:low,t3:slightlylow,t4:medium,t5:slightlyhigh,t6:high,t7:veryhigh,t8:maximum}；所述上下文无关语法GH＝(VN,VT,I,P)，各元素定义如下：VN＝{<primaryterm>,<compositeterm>,<unaryrelation>,<binaryrelation>,<conjunction>}，VT＝{lowerthan,greaterthan,atleast,atmost,between,and,t0,t1,…,t8}，I∈VN，P＝{I::＝<primaryterm>|<compositeterm>,<primaryterm>::＝t0|t1|…|t8,<compositeterm>::＝<unaryrelation><primaryterm>|<binaryrelation><primaryterm><conjunction><primaryterm>,<unaryrelation>::＝lowerthan|greaterthan|atleast|atmost,<binaryrelation>::＝between,<conjunction>::＝and}；步骤2，数据采集：通过网络或调查问卷采集n个参与人的评估数据D＝{di,i＝1,...,n}，di的数据类型可能是精确值、区间数、云模型、语言术语或语言表达式；步骤3，无效数据过滤：删除不在论域范围内的无意义的数据，设V、I、C、T和L分别为精确值、区间数、云模型、语言术语和语言表达式的集合，如果di满足则保留di，否则，删除di；步骤4，数据转换：针对步骤3之后保留的数据，将精确值v、区间数I＝[IL,IU]、云模型C、语言术语ti、语言表达式Lt表示的数据di，统一转换为云模型表征T(Exi,Eni,Hei)，方法如下：其中，编码e将语言术语编码为云模型，转换函数f将上下文无关语法GH生成的语言表达式转换为犹豫云语言术语集Ht，综合算子s将Ht中多个云模型综合为单个云模型；所述编码e，如表1所示：表1所述转换函数f定义如下：f(tk)＝{tk|tk∈H}，f(atmosttk)＝{tj|tj∈Handtj≤tk}，f(lowerthantk)＝{tj|tj∈Handtj<tk}，f(atteasttk)＝{tj|tj∈Handtj≥tk}，f(greaterthantk)＝{tj|tj∈Handtj>tk}，f(betweentiandtk)＝{tj|tj∈Handti≤tj≤tk}；设ti＝(Exi,Eni,Hei)(i＝1,2,…,k)是论域中的k个云模型，所述综合算子s为：步骤5，不良数据处理：删除明显不合理的低质量数据，如果数据di的熵Eni和超熵Hei满足则保留di，否则，删除di；步骤6，异常值处理：采用Box-Whisker检测消除异常值，针对步骤5之后保留的数据集{di＝(Exi,Eni,Hei)}，统计所有保留数据的期望Ex、熵En、超熵He的上四分位数QEx(0.25)、QEn(0.25)、QHe(0.25)，下四分位数QEx(0.75)、QEn(0.75)、QHe(0.75)，四分位范围IQREx＝QEx(0.75)-QEx(0.25)、IQREn＝QEn(0.75)-QEn(0.25)、IQRHe＝QHe(0.75)–QHe(0.25)，如果数据di的期望Exi、熵Eni、超熵Hei满足则保留di，否则，删除di；步骤7，容差极限处理：在100(1-γ)％的置信度下，保留100(1-α)％的数据，确定容差因子k；针对步骤6之后保留的数据集{di＝(Exi,Eni,Hei)}，计算所有保留数据的期望Ex、熵En、超熵He的均值mEx、mEn、mHe和标准差σEx、σEn、σHe，如果数据di的期望Exi、熵Eni、超熵Hei满足则保留di，否则，删除di。由于采用如上所述技术方案，本专利技术能获得如下有益效果：1、本专利技术提出的大群体异构评估数据处理与建模方法，能够同时处理多种类型的数据，包括精确值、区间数、云模型、语言术语和语言表达式，提高了大规模群体表达的灵活性和多样性；2、本专利技术提出的大群体异构评估数据处理与建模方法，利用云模型对各种不同类型数据进行统一表征，并同时对模糊性和随机性建模，增强了分析与计算的简便性；3、本专利技术提出的大群体本文档来自技高网...

【技术保护点】
1.大群体异构评估数据处理与建模方法，其特征在于包括如下步骤：/n步骤1，论域定义：针对特定的问题和评估目的，定义论域中各类数据的取值范围；各类数据包括精确值、区间数、云模型、语言术语、语言表达式；/n步骤2，数据采集：通过网络或调查问卷采集大群体的评估数据D＝{d

【技术特征摘要】
1.大群体异构评估数据处理与建模方法，其特征在于包括如下步骤：
步骤1，论域定义：针对特定的问题和评估目的，定义论域中各类数据的取值范围；各类数据包括精确值、区间数、云模型、语言术语、语言表达式；
步骤2，数据采集：通过网络或调查问卷采集大群体的评估数据D＝{di,i＝1,...,n}；
步骤3，无效数据过滤：根据各类数据的取值范围，删除不在论域内的无意义的数据；
步骤4，数据转换：将异构数据统一转换为云模型表征；
步骤5，不良数据处理：根据数据的熵En和超熵He，删除明显不合理的低质量数据；
步骤6，异常值处理：采用Box-Whisker检测对数据的期望Ex、熵En和超熵He进行异常值识别，并删除异常值；
步骤7，容差极限处理：针对数据的期望Ex、熵En和超熵He的取值范围，在100(1-γ)％的置信度下，保留100(1-α)％的数据。


2.根据权利要求1所述的大群体异构评估数据处理与建模方法，其特征在于：所述步骤2中专家i选择精确值、区间数、云模型、语言术语、语言表达式中的任一种表示其评估结果di。


3.根据权利要求1所述的大群体异构评估数据处理与建模方法，其特征在于：所述步骤4中将精确值v、区间数I＝[IL,IU]、云模型C、语言术语ti、语言表达式Lt表示的数据di统一转换为云模型的方法为：





4.根据权利要求1所述的大群体异构评估数...

【专利技术属性】
技术研发人员：杨小军，徐忠富，欧阳海波，王海军，李金梁，贺正求，胡然，严长伟，
申请(专利权)人：中国人民解放军六三八九二部队，
类型：发明
国别省市：河南;41