关于混合模型的模型选择问题，本发明专利技术关于模型候选的数目，基于适当的标准执行高速模型选择，所述模型候选的数目随着要混合的数目和类型的增多呈指数增大。一种混合模型估计装置包括：数据输入单元，所述数据输入单元输入要估计的混合模型的数据、估计数据的混合模型所需的混合数目的候选值、以及配置混合模型的分量的类型和参数；处理单元，所述处理单元根据候选值设置混合数目，针对设置的混合数目来计算针对随机变量的隐变量的变异概率，所述随机变量是数据的混合模型估计的目标，并通过使用计算的隐变量的变异概率优化分量的类型及其参数以便最大化针对混合模型的每个分量分离的模型后验概率的下限，来估计优化混合模型；以及模型估计结果输出单元，所述模型估计结果输出单元输出由处理单元获得的模型估计结果。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及多变量数据混合模型估计装置、混合模型估计方法和混合模型估计程序，更具体地，涉及用于估计要混合的模型的数目、类型和参数的多变量数据混合模型估计装置、混合模型估计方法和混合模型估计程序。
技术介绍
使用多个模型来呈现数据的混合模型(混合分布)在工业应用中非常重要。存在多种示例，例如混合正态分布模型和混合隐马尔可夫模型。例如，工业上这种混合模型用于根据观测到的异常值发现不诚实的医疗账单(非专利文献I)，或检测网络故障(非专利文献2)。此外，混合模型的其他重要应用示例包括销售中消费者行为聚类(基于假定类似消费者属于相同模型的研究)以及对物品主题的分析(基于相同主题的物品属于相同模型的研究)。通常，在指定构成混合模型的多个模型(也称作分量)的混合的数目(也称混合数目)和分量类型的情况下，例如EM算法(非专利文献3)和变分贝叶斯方法(非专利文献4)之类的公知方法可以用于指定分布(模型)的参数。确定用于估计这种参数的混合数目和分量类型是必要的。通常，指定这种模型的问题被称作“模型选择问题”或“系统识别问题”，并认为是构建可靠模型的重要问题。因此，已经提出了有关该问题的多种技术。例如，选择具有最大后验概率的模型的方法被称作用于确定要混合的模型的数目的方法。为此提出的方法有:1)基于贝叶斯信息量的方法；2)基于变分贝叶斯方法的方法(例如，非专利文献4) ；3)基于使用Dirichlet过程的非参数化贝叶斯估计的方法(例如，非专利文献5);等。现有技术列表:非专利文献非专利文献 I:Kenji Yamanishi, Jun-1chi Takeuchi, Graham Williams, andPeter Milne, Online Unsupervised Outlier Detection Using FiniteMixtureswith Discounting Learning Algorithms , Proceedings of the SixthACM SIGKDDInternational Conference on Knowledge Discovery and DataMining(KDD2000), ACMPress,2000, pp.320-324。非专利文献 2:Kenji Yamanishi,and Yuko Maruyama, Dynamic SyslogMiningfor Network Failure Monitoring , Proceedings of the Eleventh ACMSIGKDDInternational Conference on Knowledge Discovery and DataMining(KDD2005), ACMPress,2005, pp.499-508。非专利文献3:A.P.Dempster, N.M.Laird, and D.B.Rubin, MaximumLikelihoodfrom Incomplete Data via the EM Algorithm , Journal of RoyalStatical Society.Series B(Methodological)，Vol.39，N0.1，1977，pp.1-38。非专利文献 4:Adrian Corduneanu and Christopher M.Bishop, VariationalBayesian Model Selection for Mixture Distributions ,InArtificial Intelligenceand Statistics2001,T.Jaakkola and T.Richardson(eds.),Morgan Kaufmann,pp.27-34。非专利文献5:CarI Edward Rasmussen, The Infinite GaussianMixtureModel , in Advances in Neural Information Processing Systemsl2,S.A.Solla, T.K.Leen and K.-R.Muller (eds.), MIT Press (2000), pp.554-560.非专利文献 6:Ryohei Fujimaki, Satoshi Morinaga, Michinari Monmma.,Kenji Aoki and Takayuki Nakata, Linear Time Model Selection for MixtureofHeterogeneous Components , Proceedings of the 1st Asian Conference onMachineLearning,2009。
技术实现思路
技术问题根据方法I)，可以在不建立模型的先验分布的假设下进行模型选择。然而，在这种情况下，混合模型的Fischer信息矩阵变为非正则，因此不能正确地定义准则并且不能选择恰当的混合数目。根据方法2)和3),使用Direchlet分布和Direchlet过程作为混合比的先验分布来确定混合数目。然而，在这种情况下，与其中选择产生高模型后验概率的模型的常规方法相比较，难以选择优化的混合数目。此外，根据方法I)到3)，实际中由于计算量导致不可能优化要混合的模型的类型。作为算出计算量的示例，现在解释混合多项式曲线的选择。多项式曲线包括一阶到高阶项，例如线性项(一阶曲线项)、二阶曲线项和三阶曲线项。因此，如果根据上述方法，在搜索从I到Cmax的混合数目和从第一到Dmax的曲线阶数之后选择优化模型，则必须针对所有模型候选计算信息准则:一条直线和两条二阶曲线(混合数目=3)、三条三阶曲线和两条四阶曲线(混合数目=5)等。例如，如果Cmax= 10且Dmax = 10，则模型候选的数目大约是100000，如果Cmax = 20且Dmax = 20，则模型候选的数目大约是100亿，要搜索的每个模型候选的复杂度呈指数增长。除了上述方法以外，还提出了根据其他模型选择准则(例如Akaike信息准则和交叉验证)的方法。然而，任何方法都不能避免分量类型的组合。非专利文献6提出了一种最小化隐变量的期望值信息准则的方法，以便有效地搜索要混合的模型的数目和类型，其中隐变量具有最小描述长度，该期望值信息准则被认为等同于贝叶斯信息准则。然而，在该方法中，由于与方法I)相同的原因，混合模型的Fischer信息矩阵是非正则的，因此准则本身是不正确的，不可能进行优化模型选择。本专利技术的目的是解决该问题并提供一种混合模型估计装置、混合模型估计方法和混合模型估计程序，其中针对混合模型的模型选择问题，可以关于模型候选的数目，根据适当准则快速地进行模型选择，所述模型候选的数目随着要混合的数目和类型的增多呈指数增大。解决问题的技术方案本专利技术的第一方面提供了一种混合模型估计装置，包括:数据输入单元，所述数据输入单元输入要估计的混合模型的数据和估计所述数据的所述混合模型必需的混合数目的候选值以及构成所述混合模型的分量的类型和所述分量的参数；处理单元，所述处理单元根据所述候选值设置所述混合本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】2011.03.18 JP 2011-0607321.一种混合模型估计装置，包括: 数据输入单元，所述数据输入单元输入要估计的混合模型的数据和估计所述数据的所述混合模型必需的混合数目的候选值以及构成所述混合模型的分量的类型和所述分量的参数； 处理单元，所述处理单元根据所述候选值设置所述混合数目，针对设置的所述混合数目来计算针对随机变量的隐变量的变异概率，所述随机变量是估计所述数据的所述混合模型的目标，并通过使用计算的所述隐变量的所述变异概率优化所述分量的所述类型和所述参数以便最大化针对所述混合模型的每个所述分量分离的模型后验概率的下限，来优化地估计所述混合模型；以及 模型估计结果输出单元，所述模型估计结果输出单元输出由所述处理单元获得的模型估计结果。2.根据权利要求1所述的混合模型估计装置，其中，所述处理单元通过以下操作来优化地获得所述混合模型的所述混合数目:针对所述混合数目的所有所述候选值，计算所述模型后验概率的所述下限和所述分量的所述类型和所述参数。3.根据权利要求1或2所述的混合模型估计装置，其中，如果所述混合数目由C表示，所述随机变量由X表示，所述分量的所述类型由S1,...，Sc表示，以及所述分量的所述参数由Θ = (πι,...,Kc, (piS15 cpcSe)表示，π !>■ ■ ■ > 31 c是当所述混合数目是I到C时的混合比，φ^1，cpcSe是当所述混合数目是I到C时分量S1到S。的分布参数，则由等式I表示所述混合模型: [数学公式I]4.根据权利要求1到3中任一个所述的混合模型估计装置，其中，所述混合模型包括具有不同独立特性的多个混合分布。5.根据权利要求1到3中任一个所述的混合模型估计装置，其中，所述混合模型包括多个不同混...
【专利技术属性】
技术研发人员：藤卷辽平，森永聪，
申请(专利权)人：日本电气株式会社，
类型：
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。