【技术实现步骤摘要】
本专利技术实施例属于通信，尤其涉及一种路由选取模型训练方法、面向多模态路由选取方法及装置。
技术介绍
1、sdn(software defined networks，软件定义网络)区别于传统网络控制平面和数据转发平面这种紧耦合的方式，实现了数控解耦，使得控制平面独立，进而对网络设备的管理更容易，大大提高了网络的可扩展性。
2、sdn网络包括数据层和控制层，在基于sdn进行路由选择的过程包括：当用户a发送数据流请求时，sdn的数据层的交换机收到数据流请求时会进行流表匹配，当无法匹配时就会触发packetin消息发送数据包给控制层的控制器；控制器接收到该数据包后，会根据所掌握的网络拓扑结构和传统路由算法来为其寻路，最后通过packetout消息和flow_mod(流模式)消息给交换机下发数据包和流表，交换机根据命令将数据包发送给用户b并更新流表。
3、传统路由算法包括：(1)基于ospf(open shortest path first，开放式最短路径优先)协议的最短路径算法，该算法在计算路径的过程中考虑的因素仅仅局限于链路的跳数，很容易在瓶颈链路上造成网络的拥塞，减少网络的吞吐量。(2)启发式算法，该算法仅使用有限的信息来做出路由决策，这可能导致对流量变化的缓慢适应，在网络变化时的性能很不稳定，时延和丢包率较高，带宽利用率低。
技术实现思路
1、本专利技术提供了一种路由选取模型训练方法、面向多模态路由选取方法及装置，能够降低时延和丢包率，提高吞吐量和带宽利用率
2、具体的技术方案如下：
3、第一方面，本专利技术实施例提供了一种路由选取模型训练方法，所述方法包括：
4、基于软件定义网络sdn的数据层的网络拓扑结构和当前节点的数据流需求信息确定所述当前节点的状态转移性能指标，所述当前节点的所述状态转移性能指标包括从所述当前节点到目标节点的路径时延、从所述当前节点到所述目标节点的路径丢包率、从所述当前节点到所述目标节点的所有路径中瓶颈链路的利用率；
5、基于所述当前节点的数据流需求信息和所述当前节点的状态转移性能指标生成所述当前节点对应的状态空间；
6、将所述当前节点对应的状态空间输入第一路由选取模型中，获得所述当前节点对应的动作空间，所述当前节点对应的动作空间包括从动作集合中选取的从所述当前节点到相邻的下一节点的最优链路；
7、基于奖励函数计算所述当前节点对应的动作空间的奖励值，以及基于至少一个第一评估网络模型对所述当前节点对应的动作空间进行评估，获得每个所述第一评估网络模型输出的第一评估值；
8、基于所述网络拓扑结构和所述下一节点的数据流需求信息确定所述下一节点的状态转移性能指标，所述下一节点的数据流需求信息根据所述当前节点对应的动作空间确定；
9、基于所述下一节点的数据流需求信息和所述下一节点的状态转移性能指标生成所述下一节点对应的状态空间；
10、将所述下一节点对应的状态空间输入第二路由选取模型中，获得所述下一节点对应的动作空间；
11、基于至少一个第二评估网络模型对所述下一节点对应的动作空间进行评估，获得每个所述第二评估网络模型输出的第二评估值；
12、基于至少一个所述第二评估值和所述奖励值，计算第三评估值；
13、根据每个所述第一评估网络模型输出的所述第一评估值和所述第三评估值，计算每个所述第一评估网络模型对应的当前损失值；
14、对所述当前损失值大于损失阈值的所述第一评估网络模型的模型参数进行调整，并对所述第一路由选取模型的模型参数进行调整，并将所述下一节点作为新的当前节点，并返回执行步骤基于sdn的数据层的网络拓扑结构和当前节点的数据流需求信息确定所述当前节点的状态转移性能指标，直至从源节点到所述目标节点的奖励值之和达到预设收敛条件时，将对应的所述第一路由选取模型确定为目标路由选取模型。
15、在一种实施方式中，所述基于所述当前节点的数据流需求信息和所述当前节点的状态转移性能指标生成所述当前节点对应的状态空间，包括：
16、基于所述当前节点的数据流需求信息和所述当前节点的状态转移性能指标生成状态矩阵s，并将所述状态矩阵作为所述当前节点对应的状态空间；
17、其中，所述状态矩阵s包括：
18、
19、所述flow_demand表示所述当前节点的数据流需求信息，所述表示从所述当前节点i到目标节点j的k条路径中每条路径的路径时延，所述k条路径是根据从所述当前节点i到目标节点j的所有路径的节点数量和链路时延确定的路径，所述表示从所述当前节点i到目标节点j的k条路径中每条路径的路径丢包率，所述从所述当前节点i到所述目标节点j的所有路径中瓶颈链路x的利用率。
20、在一种实施方式中，所述奖励函数包括：
21、
22、其中，所述rid表示所述当前节点对应的动作空间的奖励值，所述表示从所述动作集合中选取的从所述当前节点i到相邻的下一节点d的最优链路的链路时延，所述表示从所述动作集合中选取的从所述当前节点i到相邻的下一节点d的最优链路的链路丢包率，所述α、β和γ为固定系数。
23、在一种实施方式中，所述动作集合的确定方法包括：
24、统计从所述当前节点i到目标节点j的所有路径中节点数量最少的n条路径；
25、根据每条链路的报文发送时延和响应时延，计算n条路径中每条链路的链路时延；
26、针对所述n条路径中每条路径，根据每条路径上各个链路时延，计算每条路径的路径时延；
27、将路径时延最小的k条路径构成的集合作为所述动作集合，其中，所述k小于或者等于所述n。
28、在一种实施方式中，所述基于至少一个所述第二评估值和所述奖励值，计算第三评估值，包括：
29、从所述至少一个第二评估值中确定目标第二评估值q；
30、根据预设公式计算所述第三评估值qπ；
31、所述预设公式包括：
32、qπ＝θq+rid
33、所述θ为固定系数，所述rid表示所述当前节点对应的动作空间的奖励值。
34、在一种实施方式中，从所述至少一个第二评估值中确定目标第二评估值，包括：
35、当所述第二评估值只包括一个时，将所述第二评估值确定为所述目标第二评估值；当所述第二评估值包括至少两个时，计算至少两个所述第二评估值的平均值，分别计算每个所述第二评估值与所述平均值之差的平方，将各个平方的均值确定为评估指数，若所述评估指数大于所述平均值，将所述至少两个所述第二评估值中的最大值确定为所述目标第二评估值，若所述评估指数小于所述平均值，将所述至少两个所述第二评估值中的最小值确定为所述目标第二评估值。。
36、第二方面，本专利技术实施例提供了一种面向多模态路由选取方法，所述方法包括：
37、循环执行目标路由选取模型，直至获得从源节本文档来自技高网...
【技术保护点】
1.一种路由选取模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述当前节点的数据流需求信息和所述当前节点的状态转移性能指标生成所述当前节点对应的状态空间，包括：
3.根据权利要求2所述的方法，其特征在于，所述奖励函数包括：
4.根据权利要求1所述的方法，其特征在于，所述动作集合的确定方法包括：
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述基于至少一个所述第二评估值和所述奖励值，计算第三评估值，包括：
6.根据权利要求5所述的方法，其特征在于，从所述至少一个第二评估值中确定目标第二评估值，包括：
7.一种面向多模态路由选取方法，其特征在于，所述方法包括：
8.一种路由选取模型训练方法，其特征在于，所述方法包括：
9.一种面向多模态路由选取方法，其特征在于，所述方法应用于软件定义网络SDN网络，所述SDN网络包括数据层、控制层和人工智能AI层；
10.一种路由选取模型训练装置，其特征在于，所述装置包括：
【技术特征摘要】
1.一种路由选取模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述当前节点的数据流需求信息和所述当前节点的状态转移性能指标生成所述当前节点对应的状态空间，包括：
3.根据权利要求2所述的方法，其特征在于，所述奖励函数包括：
4.根据权利要求1所述的方法，其特征在于，所述动作集合的确定方法包括：
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述基于至少一个所述第二评估值和所述奖励值，计...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。