基于Q学习的异构网络接入控制优化选择方法技术

技术编号:7704690 阅读:242 留言:0更新日期:2012-08-25 01:54
基于Q学习的异构网络接入控制优化选择方法,属于无线网络领域,本发明专利技术为解决针对WCDMA/WLAN融合异构网络系统,采用基于测量的接入方案选择网络类型不能实现全局最优,而采用基于模型的接入方案选择网络类型计算过于复杂,很难应用于实际系统的问题。本发明专利技术所述基于Q学习的异构网络接入控制优化选择方法包括以下步骤:步骤一、判断接入新用户时的异构网络状态;步骤二、查询Q值表,选择步骤一所述异构网络状态对应的Q值表中的最大Q值对应的子网络作为新用户的接入网络。本发明专利技术方法用于新用户接入时能根据当前的实际情况快速选择接入的网络类型。

【技术实现步骤摘要】

本专利技术涉及基于Q学习的异构网络接入控 制优化选择方法,属于无线网络领域。
技术介绍
随着手机、笔记本、上网本等终端的丰富,多媒体等多种业务的兴起,単一网络已经越来越无法满足人们对带宽和业务质量的需求,同吋,网络类型的繁多与彼此的不兼容也给用户带来了诸多不便,因此,多种无线接入网络的融合已经成为下一代无线网络ー个新的趋势。在所有接入网络中,由于3G无线网络系统WCDMA和无线局域网WLAN优缺点存在互补性,引起了各界专家的关注。WLAN具有数据速率高、灵活、建网迅速、个人化等特点,但是覆盖范围小,而WCDMA的移动终端可广泛的配置,覆盖范围遍布全球,但是通信速率不高,适合语音传输。通过将WCDMA与WLAN这两种异构网络进行融合能够以较低的成本共享两者的优点。无线网络融合首先遇到的挑战性问题就是接入控制。现在提出的接入控制方案主要是基于測量和基于模型的,基于测量的接入控制方案通常比较有效而且易于实现。然而,由于没有理论基础,这些方案很难达到全局最优。基于模型的接入控制方案有明确的数学根据,更能够全局优化,然而这些方案计算过于复杂,而且模型常常建立在一些与实际不符的假设上(例如信道传输无错,每个站点都是贪婪的),所以很难应用于实际的系统。马尔科夫决策的方法是解决接入控制问题的基于模型的经典方法,已经被应用到各个领域,但是这种方法的转移概率和回报函数都需要精确的定义,而且,在真正的实际环境中,模型的状态空间和计算复杂度会戏剧性的増大,这会使得马尔科夫决策的方法很难应用。
技术实现思路
本专利技术目的是为了解决针对WCDMA/WLAN融合异构网络系统,采用基于测量的接入方案选择网络类型不能实现全局最优,而采用基于模型的接入方案选择网络类型计算过于复杂,很难应用于实际系统的问题,提供了一种基于Q学习的异构网络接入控制优化选择方法。本专利技术所述基于Q学习的异构网络接入控制优化选择方法,该方法包括以下步骤步骤一、判断接入新用户时的异构网络状态;步骤ニ、查询Q值表,选择步骤一所述异构网络状态对应的Q值表中的最大Q值对应的子网络作为新用户的接入网络。所述异构网络指的是WCDMA子网络和WLAN子网络采用松耦合的方式组成的融合异构网络,所述异构网络状态是根据WCDMA子网络的基于干扰的四种网络状态和WLAN子网络的基于信道繁忙率的四种网络状态共同确定的,WCDMA子网络的基于干扰的四种网络状态向量S。= [Ivery low,Ilow, Ihigh, Ivery high],WLAN子网络的基于信道繁忙率的四种网络状态向量S\vvery low,low,high,^b-very high」, 则所述WCDMA子网络和WLAN子网络构成的异构网络的网络状态向量s为 S I-1^b-Very low^-very low,^b-very low丄low,Rb—very low^high Rb—very low^-very high, Rb—low^very low,^b-Iow本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Q学习的异构网络接入控制优化选择方法,其特征在于,该方法包括以下步骤 步骤一、判断接入新用户时的异构网络状态; 步骤ニ、查询Q值表,选择步骤一所述异构网络状态对应的Q值表中的最大Q值对应的子网络作为新用户的接入网络。2.根据权利要求I所述基于Q学习的异构网络接入控制优化选择方法,其特征在于,所述异构网络指的是WCDMA子网络和WLAN子网络采用松耦合的方式组成的融合异构网络, 所述异构网络状态是根据WCDMA子网络的基于干扰的四种网络状态和WLAN子网络的基于信道繁忙率的四种网络状态共同确定的, WCDMA子网络的基于干扰的四种网络状态向量s。= [Ivery low, Ilow, Ihigh, Ivery high],WLAN子网络的基于信道繁忙率的四种网络状态向量 Sftr [Rb—very low Rb-low,Rb-high,Rb-very high],则所述W⑶MA子网络和WLAN子网络构成的异构网络的网络状态向量S为3.根据权利要求2所述基于Q学习的异构网络接入控制优化选择方法,其特征在于,确定WCDMA子网络的基于干扰的四种网络状态的规则为 当O彡Itotal+A I < I1吋,WCDMA子网络处于Ivery low状态; 当I1 く Itotai+AI < I2吋,WCDMA子网络处于Ilow状态; 当I2彡Ittrtal+A I < I3吋,WCDMA子网络的基于干扰的四种网络状态处于Ihigh状态; 当Itotai+aI彡I3吋,WCDMA子网络处于Ivery high状态; 其中,I1 = 4 7,I2 = 8 9,I3 = 10 12, Itotal为WCDMA子网络的基站的接入新用户前的N个用户时的总干扰, A I为接入新用户增加的干扰,且按如下公式获取4.根据权利要求3所述基于Q学习...

【专利技术属性】
技术研发人员:马琳陈佳美徐玉滨邓志安刘宁庆
申请(专利权)人:哈尔滨工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1