【技术实现步骤摘要】
本专利技术属于信息安全，涉及口令安全认证领域，具体是一种基于强化学习的口令强度测量方法。
技术介绍
1、如今，用户口令认证仍然是当前身份认证的主要手段。随着目前在线服务的激增，每个用户需要管理的网站账户数量不断增加，然而用户通常只能记住5～7个不同的口令。同时不可避免的是，用户通常倾向于选择流行的字符串，使用个人可识别信息(pii)，并且容易受到侧信道攻击的影响(例如肩窥攻击、按键音反馈等)。因此，测量真实环境中的用户口令安全变得非常重要。
2、在实践中，人们发现猜测数是评估用户口令强度的一个良好的指标。那些能够被对手轻易猜到的口令被认为是弱口令，而那些需要很大猜测数才能被猜中的口令被视为安全的口令。为了确保系统和用户的安全，主流互联网服务提供商都会在用户注册或更新口令时，利用口令强度评估器(password strength meter，以下简称psm)向用户反馈口令的强度。只有能够精确反馈口令强度的psm，才能有效提升用户口令的安全性，从而保护用户账户安全。错误地将强口令识别为弱口令可能会导致可用性问题，而错误地将弱口令认定为强口令则可能带来安全隐患，无法确保安全性。此外，目前主流的psm往往忽略了用户在设置口令时使用用户个人信息的情况，而实际上用户在创建口令时引入用户个人信息的比例相当高(12.8％～51.4％)。这一现象提示网站和服务提供商需要采取有效措施检测用户的用户个人信息使用情况，指导用户在创建口令时避免使用用户个人信息以及一些容易被猜测的口令，以降低潜在的安全风险。
3、文献《weir,m
技术实现思路
1、针对现有技术的不足，本专利技术拟解决的技术问题是，提供一种基于强化学习的口令强度测量方法。
2、本专利技术解决所述技术问题的技术方案是，提供一种基于强化学习的口令强度测量方法，其特征在于，该方法包括以下步骤：
3、步骤1、数据构建阶段：构建口令数据集，然后提取口令数据集中的口令的用户个人信息；
4、步骤2、训练阶段：根据步骤1得到的口令数据集分别建立强化学习模型和评分模型，再同时对强化学习模型和评分模型进行训练；训练过程中，强化学习模型需要探索奖励值总和最大化的路径同时需要连续生成猜测列表，评分模型不断对强化学习模型输出的猜测列表进行评分，将评分结果用于反馈和更新强化学习模型，评分模型根据猜测列表的奖励值总和的排序顺序和混合真实用户口令比例之间的kl散度来进行更新；重复进行训练过程，直至得到最优强化学习模型；
5、步骤3、部署阶段：使用步骤2得到的最优强化学习模型生成一个口令概率字典θ，然后将步骤2的最优强化学习模型、蒙特卡洛计算算法和口令概率字典θ进行部署；
6、步骤4、猜测数计算阶段：部署完成后，用户将口令α输入到最优强化学习模型中，最优强化学习模型输出一个概率；再将此概率与口令概率字典θ通过蒙特卡洛计算算法进行比较，得到该口令的猜测数；再根据口令的猜测数与口令强度的对应关系，得到该口令的口令强度。
7、与现有技术相比，本专利技术的有益效果在于：
8、(1)之前的口令强度评估方式要么基于传统统计方法，要么基于信息熵的估计，没有尝试更新颖的口令建模方式，难以捕获更多的用户口令生成规律。而本专利技术提出的基于强化学习的口令建模方式，将用户生成口令的过程看作马尔可夫决策过程，计算每个动作带来的奖励，从而建模用户口令生成过程，能够更好的建模口令序列，解决了对于数据集的依赖以及无法生成数据集没有的模式的问题。
9、(2)本专利技术能同时抵抗在线定向猜测攻击和离线漫步猜测攻击。之前的口令强度评价要么仅基于离线口令猜测，只能抗离线口令猜测攻击；要么仅能简单的检测用户使用个人识别信息，而不能判断用户的口令抵抗在线定向猜测攻击的情况。离线漫步猜测攻击和在线定向猜测攻击都是用户身份认证过程中可能遭遇的威胁，因此本专利技术能够同时检测这两种攻击方式并抵抗，保护用户的口令安全。
10、(3)本专利技术设计了强化学习模型和评分模型。两个模型的训练步骤是同时进行的，强化学习模型用于测量口令强度，评分模型用于辅助强化学习模型训练，对强化学习模型的效果进行评价以提升其效果。
11、(4)更精准和更鲁棒的口令强度评估。通过对比不同的psm对于真实用户口令强度的评价效果，结果表明本专利技术输出的口令强度评价结果准确性显著优于其他算法，与此同时本方法的鲁棒性，即对于极端情况下口令的强度评价不会出现太大偏差。
本文档来自技高网...【技术保护点】
1.一种基于强化学习的口令强度测量方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于强化学习的口令强度测量方法，其特征在于，步骤1中，构建口令数据集的具体方式是：
3.根据权利要求1所述的基于强化学习的口令强度测量方法，其特征在于，步骤1中，提取用户个人信息的具体方式是：使用预先定义的用户个人信息标签对口令数据集中的口令进行匹配，判断口令中是否存在用户个人信息；如果匹配到用户个人信息，则根据用户个人信息标签将用户个人信息变换为步骤2的强化学习模型可识别的字段。
4.根据权利要求1所述的基于强化学习的口令强度测量方法，其特征在于，步骤2中，强化学习模型的训练过程具体是：强化学习模型需要根据当前的策略πθ(at∣st)以及当前生成的口令序列的状态st，从口令字符集中选择下一个字符即动作at；口令训练过程中的每个状态st通过蒙特卡洛树搜索得到；使用评分模型计算得到单条口令的奖励再将n条口令的奖励的平均值作为当前状态st的奖励rt；强化学习模型训练的目标是优化强化学习模型的策略πθ(at∣st)以使期望的总体奖励最大化：
6.根据权利要求1所述的基于强化学习的口令强度测量方法，其特征在于，步骤2中，评分模型训练过程具体是：使用按照不同比例混合真实用户口令和强化学习模型生成的猜测列表的口令，使用评分模型提取特征用于计算猜测列表的奖励值总和的排序顺序和混合比例之间的KL散度作为目标函数；评分模型训练的目标是最小化KL散度。
7.根据权利要求1所述的基于强化学习的口令强度测量方法，其特征在于，步骤4中，部署完成后，用户输入口令，首先判断口令α是否在黑名单口令中，如果在黑名单口令中则不允许注册，并提醒用户修改口令；当判断口令α不在黑名单口令中，则将口令α输入到最优强化学习模型中，进行后续步骤。
8.根据权利要求1所述的基于强化学习的口令强度测量方法，其特征在于，步骤4中，计算口令α的猜测数Sp(α)的过程视为：计算在整个口令空间中，比口令α更弱的口令的个数：
9.根据权利要求1所述的基于强化学习的口令强度测量方法，其特征在于，步骤4中，猜测数分为在线定向猜测数GN1和离线漫步猜测数GN2。
10.根据权利要求9所述的基于强化学习的口令强度测量方法，其特征在于，步骤4中，口令的猜测数与口令强度的对应关系如下：
...【技术特征摘要】
1.一种基于强化学习的口令强度测量方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于强化学习的口令强度测量方法，其特征在于，步骤1中，构建口令数据集的具体方式是：
3.根据权利要求1所述的基于强化学习的口令强度测量方法，其特征在于，步骤1中，提取用户个人信息的具体方式是：使用预先定义的用户个人信息标签对口令数据集中的口令进行匹配，判断口令中是否存在用户个人信息；如果匹配到用户个人信息，则根据用户个人信息标签将用户个人信息变换为步骤2的强化学习模型可识别的字段。
4.根据权利要求1所述的基于强化学习的口令强度测量方法，其特征在于，步骤2中，强化学习模型的训练过程具体是：强化学习模型需要根据当前的策略πθ(at∣st)以及当前生成的口令序列的状态st，从口令字符集中选择下一个字符即动作at；口令训练过程中的每个状态st通过蒙特卡洛树搜索得到；使用评分模型计算得到单条口令的奖励再将n条口令的奖励的平均值作为当前状态st的奖励rt；强化学习模型训练的目标是优化强化学习模型的策略πθ(at∣st)以使期望的总体奖励最大化：
5.根据权利要求4所述的基于强化学习的口令强度测量方法，其特征在于，步骤2中，单条口令的奖励通过ypw和top-1...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。