Ising图模型的区间传播推理方法技术

本发明专利技术公开了一种基于Ｉｓｉｎｇ图模型的区间传播推理方法，该方法的主要步骤：首先基于Ｉｓｉｎｇ图模型建立Ｉｓｉｎｇ均值场截枝计算树；然后基于Ｉｓｉｎｇ均值场截枝计算树运用均值场区间传播算法，给出根节点变量期望界。本发明专利技术该推理方法具有较低的计算复杂性，并通过变量期望界给出了有效的推理精度。

【技术实现步骤摘要】

本专利技术涉及图模型上的近似概率推理方法，尤其是Ising图模型上的近似变分推理方法。
技术介绍
1. Ising图模型Ising图模型(Ising graphical model)起源于统计物理学，是基于二值随机向量的马 尔可夫随机场模型，为图像分析和自然语言处理等领域提供了重要的建模方法。它是建 立在图结构G^F,五)上的概率模型，其中节点集r对应于Bernoulli随机向量P^，…，xje(0，ir，边集五对应于变量间的条件独立性关系。Ising图模型的指数族概 率密度分布p(x，^)为<formula>formula see original document page 4</formula>其中，《,A表示模型参数，且V(/,刀g五，《=0; J(P)表示模型的对数配分函数。在Ising图模型上，概率推理的关键问题是计算对数配分函数J(S)和边缘概率分布 Wx,)，对于一般Ising图模型，精确推理方法计算X(0)的计算复杂度随模型规模而指数级增加，故发展了各种近似推理方法，如采样方法、变分方法等。2. Ising均值场Ising均值场(Ising mean field)是Ising图模型上一种基本的变分推理(varitional inference)方法，其基本思想是通过变分转换把概率推理问题转化为泛函极值问题，并通 过求解泛函极值计算出配分函数下界及变量期望近似值。该方法具有简明的变分形式、 较好的近似效果，是处理大规模复杂数据的重要工具。变分推理是通过最小化自由分布《(x)与原分布/ (;c)之间的KL距离，把概率推理问题转化为泛函极值问题，并通过求解泛函极值计算对数配分函数J(P)及变量期望。分布 与p(X)之间的KL距离为<formula>formula see original document page 4</formula>通过最小化KL距离进行变分转换得,=max j》OMx;,翰(x)) ^ (1) 其中，熵函数i/(《(x))二-J^(x)log《(x)。由于精确求解变分式(1)的计算复杂性较高，Ising均值场在自由分布可处理约束子 集M^t^M上，计算j(0的下界和变量期望近似值。M^t上的自由分布《(x)是定义在不相交变量簇^,…，cJ上的完全分解形式《(x^]"[:^(0 ，艮pf —附— 1Kact=j《")i《w=[，L a=l J则Ising均值场变分式为，)2 max 乂 S《(x)vO; P) + 1 。 (2)根据欧拉方程可得到变分式(2)的附个均值场迭代式，其中对应于变量簇Ca的均值 场迭代式为i; +1:《％ [ ， (3)《。 (',力气其中，1. ^表示变量簇C"a对应的节点集。2. 五 表示变量簇Ca上的边集。3. &表示分布参数& = 6,+ Z A/",，,eW(Ca,')iiv(Ca，/) = W(,，/)e￡，/e^，w^}'一p变量期望/z,S^(Cp)x,，其中x,ecp根据迭代式(3)可计算出变量期望近似值，并把变量期望带入变分式(2)可计算 出对数配分函数下界。求解泛函极值是变分推理的重要步骤，也是推理过程的计算核心。直接利用泛函迭 代式可计算出泛函收敛值，但其完整地迭代过程使整个模型信息深度交叉，不仅计算复 杂性较高，而且不利于增加新信息，故发展了不完全迭代下的近似变分推理方法。现有的近似变分推理方法包括基于信念传播的局部训练方法(local training method) 和基于信念传播BP-SAW方法。局部训练方法利用初步几次信念消息迭代来计算模型配 分函数，可在局部信息下对模型参数进行单独训练，降低了计算复杂性，也方便了增加 新信息，但局部训练方法难以度量近似信念传播的计算精度。BP-SAW方法在图模型SAW (self-avoiding walk)计算树上执行有限次信念传播，计算出边缘概率近似分布，并基于消息误差概念给出了近似分布误差界，但是该方法需在整个模型上进行消息传播，计算 复杂度较高。已有的这些近似变分推理方法主要基于信念传播进行近似计算研究，而很少考虑其 他变分推理方法，如均值场推理方法；同时计算精度是近似变分推理研究的重要指标， 而这些方法或难以分析计算精度，如局部训练方法，或计算复杂度较高，如BP-SAW算 法。
技术实现思路
本专利技术的目的是克服现有技术的上述不足，提供一种能够在较低计算复杂性下给出 变量期望界的于Ising图模型的推理方法。本专利技术采用的技术方案是一种基于，.通过定义Ising均值场计算树，并在计 算树上实现期望区间传播推理过程，包括下列步骤(1) 定义Ising均值场计算树在Ising均值场推理下，变量簇、的计算树模型为一四元组r(z^,/ ，似,2)，其中1) ￡>Y:以^为根节点的变量簇节点集A^c^UCh(c》UCh(Ch(^))U…，其中， Ch(Cy)表示s的子节点集，Ch(c》={cp |x, e cT，、 e Cp，(/，刀e #卩} ，Ch(Ch(c》)表示变量集Ch(^)的子节点集合Ch(Ch(CY)) = U^c^)Ch(cp)，2) i :关系集及={〈^,^〉|^￡/^^￡01(4)}，其中，关系〈Q,c卩〉表示Cp是c。的 子节点，3) M:计算树上的消息自底向上单向传播，记Ma,t-^,l/e^〉表示Q输出消息集，^體=U^Ch(0MM,t表示Q输入消息集，则M = {Ma—。ut |ca e W ，4) 0概率分布集^ = {^(^^)|^￡/)7}，且^^,6邓{2>>,+ Z其中，z《,A ，(2) 定义Ising均值场截枝计算树Ising均值场推理下，变量簇、的剪枝计算树模 型是一四元组7;(i^,及,M，g)，其中1) ￡)T:以s为根节点的变量簇节点集A^c^UCCh(tgUCCh(CCh(s))U…，其中， CCh(c》表示s的子节点集，CCh(cT) = Ch(cY)\An(c7)， CCh(CCh(c》)表示变量集 CCh(S)的截枝子节点集CCh(CCh(c》)=UperaiK)CCh(cP)，2) i :关系集i 二(〈Ca,c》ICaeiVcpeCCh(Ca)〉，其中，关系〈c。, cp 〉表示cp是c。的子节点，3) M:计算树上的消息自底向上单向传播，记Ma,t-"UeKJ表示Ca输出消息集，风—n ^^ch。M—表示Ca输入消息集，则M"MaJc。 eZ)J，4) g:概率分布集2-(^(Ca;^)kaeZV，且^^"邓{2>>,+ Z其中，& I]《,a ;(3) 在截枝计算树上，根据Ca的输入消息区间计算该变量簇的概率分布区间，令 M=表示变量簇Ca输入消息区间的集合，即似=={|" ，￡^01(0}，变量簇c。概率分布的参数区间为《"l"eO，力e五c丄令J-",^，.4^-^A，…)表示元素--对应的等势集合，且爿^5 = {《《6,|/ = 1,2，...}，则变量簇节点ca的概率分布区间为(4) 基于变量簇的概率分布区间，利用和积算法计算变量簇C。的输出消息区间在概率分布《a(Ca;Wa)上运行本文档来自技高网...

【技术保护点】
一种Ｉｓｉｎｇ图模型的区间传播推理方法，通过定义Ｉｓｉｎｇ均值场计算树，并在计算树上实现期望区间传播推理过程，其特征在于，包括下列步骤：　（１）定义Ｉｓｉｎｇ均值场计算树：在Ｉｓｉｎｇ均值场推理下，变量簇ｃ↓［γ］的计算树模型为一四元 组Ｔ（Ｄ↓［γ］，Ｒ，Ｍ，Ｑ），其中：　１）Ｄ↓［γ］：以ｃ↓［γ］为根节点的变量簇节点集Ｄ↓［γ］＝｛ｃ↓［γ］｝∪Ｃｈ（ｃ↓［γ］）∪Ｃｈ（Ｃｈ（ｃ↓［γ］））∪…，其中，Ｃｈ（ｃ↓［γ］）表示ｃ↓［γ］的子节点集，Ｃｈ（ｃ↓［γ ］）＝｛ｃ↓［β］｜ｘ↓［ｉ］∈ｃ↓［γ］，ｘ↓［ｊ］∈ｃ↓［β］，（ｉ，ｊ）∈Ｅ，γ≠β｝，Ｃｈ（Ｃｈ（ｃ↓［γ］））表示变量集Ｃｈ（ｃ↓［γ］）的子节点集合：Ｃｈ（Ｃｈ（ｃ↓［γ］））＝∪↓［ｃ↓［β］∈Ｃｈ（ｃ↓［γ］）］Ｃｈ（ｃ↓［β］），　２）Ｒ：关系集Ｒ＝｛〈ｃ↓［α］，ｃ↓［β］〉｜ｃ↓［α］∈Ｄ↓［γ］，ｃ↓［β］∈Ｃｈ（ｃ↓［α］）｝，其中，关系〈ｃ↓［α］，ｃ↓［β］〉表示ｃ↓［β］是ｃ↓［α］的子节点，　３）Ｍ：计算树上的消息自底向上单向传播 ，记Ｍ↓［α－ｏｕｔ］＝｛μ↓［ｉ］｜ｉ∈Ｖ↓［ｃ↓［α］］｝表示ｃ↓［α］输出消息集，　Ｍ↓［α－ｉｎ］＝∪↓［ｃ↓［β］∈Ｃｈ（ｃ↓［α］）］Ｍ↓［β－ｏｕｔ］表示ｃ↓［α］输入消息集，则Ｍ＝｛Ｍ↓［α－ｏｕｔ］｜ｃ↓［α］∈Ｄ↓ ［γ］｝，　４）Ｑ：概率分布集Ｑ＝｛ｑ↓［α］（ｃ↓［α］；θ′↓［α］）｜ｃ↓［α］∈Ｄ↓［γ］｝，且θ↓［ｉｊ］ｘ↓［ｉ］ｘ↓［ｊ］∝ｅｘｐ｛＊θ′↓［ｉ］ｘ↓［ｉ］＋＊θ↓［ｉｊ］ｘ↓［ｉ］ｘ↓［ｊ］｝，其中，θ′↓［ｉ］＝θ↓ ［ｉ］＋＊θ↓［ｉｔ］μ↓［ｔ］，　（２）定义Ｉｓｉｎｇ均值场截枝计算树：Ｉｓｉｎｇ均值场推理下，变量簇ｃ↓［γ］的剪枝计算树模型是一四元组Ｔ↓［ｃ］（Ｄ↓［γ］，Ｒ，Ｍ，Ｑ），其中：　１）Ｄ↓［γ］：以ｃ↓［γ］为根节点的变量 簇节点集Ｄ↓［γ］＝｛ｃ↓［γ］｝∪ＣＣｈ（ｃ↓［γ］）∪ＣＣｈ（ＣＣｈ（ｃ↓［γ］））∪…，其中，ＣＣｈ（ｃ↓［γ］）表示ｃ↓［γ］的子节点集，ＣＣｈ（ｃ↓［γ］）＝Ｃｈ（ｃ↓［γ］）＼Ａｎ（ｃ↓［γ］），ＣＣｈ（ＣＣｈ（ｃ↓［γ］））表示变量集ＣＣｈ（ｃ↓［γ］）的截枝子节点集：ＣＣｈ（ＣＣｈ（ｃ↓［γ］））＝∪↓［ｃ↓［β］∈ＣＣｈ（ｃ↓［γ］）］ＣＣｈ（ｃ...

【技术特征摘要】

【专利技术属性】
技术研发人员：廖士中，殷霞，陈亚瑞，
申请(专利权)人：天津大学，
类型：发明
国别省市：12[中国|天津]