基于强化学习的无模型自适应算法的下肢固定控制系统及方法技术方案

本发明专利技术提供基于强化学习的无模型自适应算法的下肢固定控制系统及方法，该方法包括：固定主体，用于固定患者下肢；伸缩模块，与固定主体连接，伸缩模块用于伸缩，带动固定主体上下移动；控制模块，与伸缩模块连接，控制模块用于接收到上位机传输的请求后，基于强化学习的无模型自适应算法计算控制伸缩模块伸缩长度的电机控制量，得到控制指令，将该控制指令发送至伸缩模块；固定主体包括主板、膝部固定件、腿部固定件和脚部固定件；膝部固定件、腿部固定件和脚部固定件上均设置有滑块；主板上开设有与膝部固定件、腿部固定件和脚部固定件的滑块滑动配合的滑槽；主板上还设置有用于调节脚部固定件倾斜角度的调节装置；每个滑槽旁侧均设置有刻度。设置有刻度。设置有刻度。

【技术实现步骤摘要】
基于强化学习的无模型自适应算法的下肢固定控制系统及方法


[0001]本专利技术涉及自适应算法
，具体涉及基于强化学习的无模型自适应算法的下肢固定控制系统及方法。

技术介绍

[0002]放疗就是放射治疗，指用射线消除病灶，用X射线，γ线、电子线等放射线照射在癌变部位，由于放射线的生物学作用，能最大量的杀伤癌组织，破坏癌组织，使其缩小，放射治疗是治疗恶性肿瘤的重要手段之一。
[0003]但是在放射治疗时，由于定位不准确，或者在放疗过程中病人身体反生偏移，射线会照射在正常组织上，对正常的细胞组织造成损伤，带来相应的副作用。因此在放射治疗中，需要对病人的肿瘤位置进行精确定位，以尽量减小放疗对正常组织的损伤。
[0004]目前，临床上对腿部肿瘤进行放疗的固定方法是将患者双腿伸直，平躺在治疗床上，用热塑料体膜将患者固定，在对腿部肿瘤进行三维适形放疗、调强放疗时，应用多角度、多视野照射，不可避免地透过侧腿部正常组织，造成不必要的辐射损伤。由于重复摆位的要求、腿部肿胀情况的不同，现有的固定装置不能满足放疗时的需求。

技术实现思路

[0005]本专利技术的目的在于提供基于强化学习的无模型自适应算法的下肢固定控制系统及方法，所要解决的技术问题是提高摆位的精确性，减少对正常组织的辐射。
[0006]本专利技术通过下述技术方案实现：
[0007]第一方面提供基于强化学习的无模型自适应算法的下肢固定控制系统，包括：
[0008]固定主体，用于固定患者下肢；
[0009]伸缩模块，与上述固定主体连接，上述伸缩模块用于伸缩，带动固定主体上下移动；
[0010]控制模块，与上述伸缩模块连接，上述控制模块用于接收到上位机传输的请求后，基于强化学习的无模型自适应算法计算控制伸缩模块伸缩长度的电机控制量，得到控制指令，将该控制指令发送至伸缩模块。
[0011]进一步的，上述固定主体包括主板、膝部固定件、腿部固定件和脚部固定件；
[0012]上述膝部固定件和腿部固定件上设置有滑块；
[0013]上述主板上开设有与膝部固定件和腿部固定件的滑块滑动配合的滑槽。
[0014]进一步的，上述主板上还设置有用于调节脚部固定件倾斜角度的调节装置。
[0015]上述调节装置调节脚部固定件的倾斜角度，进一步提高了下肢摆位的精确性。
[0016]进一步的，上述膝部固定件的滑槽旁侧设置有刻度，该刻度便于为患者的膝关节进行定位，提高摆位的精度。
[0017]进一步的，每个上述滑块上均设置有螺纹孔以及与该螺纹孔配合的螺栓，用于将
上述螺栓与滑槽内壁抵接，限制滑块与滑槽的相对移动。
[0018]进一步的，上述伸缩模块包括驱动器、电机和伸缩杆；
[0019]上述驱动器的输入端与控制模块的输出端连接，上述驱动器的输出端与电机的输入端连接，上述驱动器用于接收控制指令，根据电机控制量驱动电机；
[0020]上述电机的输出端与伸缩杆的一端连接，上述电机用于使伸缩杆伸缩；
[0021]上述伸缩杆的另一端与主板连接，上述伸缩杆用于带动主板上下移动。
[0022]进一步的，上述控制模块基于强化学习的无模型自适应算法计算控制伸缩模块伸缩长度的电机控制量，具体步骤如下：
[0023]利用时变参数将非线性系统转化为动态线性化数据模型；
[0024]获取上述电机的当前转速以及对应的期望转速；
[0025]利用动态线性化数据模型，根据电机的当前转速和对应的期望转速，计算电机控制量。
[0026]进一步的，上述控制模块计算电机控制量的详细步骤如下：
[0027]设计上述非线性系统的非线性函数，非线性函数如下：
[0028]h(k+1)＝f(h(k),...,h(k
‑
ξ
y
),n(k),...,n(k
‑
ξ
u
))
[0029]其中，n(k)∈R表示k时刻电机的输入转速；n(k
‑
ξ
u
)表示k
‑
ξ
u
时刻电机的输入转速；h(k)∈R表示k时刻电机的输出转速；h(k
‑
ξ
y
)表示k
‑
ξ
u
时刻电机的输出转速；ξ
y
和ξ
u
表示两个未知的正整数；表示电机的非线性函数；
[0030]设计上述时变参数的估计准则函数，估计准则函数如下：
[0031][0032]其中，h(k)表示k时刻电机的输出转速；h(k
‑
1)表示k
‑
1时刻电机的输出转速；Δn(k
‑
1)表示k
‑
1时刻电机的输入转速较k
‑
2时刻电机的输入转速的增减值；φ
c
(k)表示k时刻的时变参数；表示k
‑
1时刻的时变参数估计值；μ＞0表示设置的权重因子；
[0033]对设计的上述时变参数的估计准则函数求极值，得到时变参数的估计值，公式如下：
[0034][0035]其中，表示k时刻的时变参数估计值；表示k
‑
1时刻的时变参数估计值；η∈(0,1]表示加入的步长因子；μ＞0表示设置的权重因子；Δn(k
‑
1)表示k
‑
1时刻电机的输入转速较k
‑
2时刻电机的输入转速的增减值；Δh(k)表示k时刻电机的输出转速较k
‑
1时刻电机的输出转速的增减值；
[0036]利用时变参数将非线性系统转化为动态线性化数据模型，该动态线性化数据模型的公式如下：
[0037]Δh(k+1)＝φ
c
(k)Δn(k)
[0038]其中，Δh(k+1)表示k+1时刻电机的输出转速较k时刻电机的输出转速的增减值；
φ
c
(k)表示k时刻的时变参数；Δn(k)表示k时刻电机的输入转速较k
‑
11时刻电机的输入转速的增减值；
[0039]利用动态线性化数据模型，根据电机的当前转速和对应的期望转速，计算电机控制量，具体步骤如下：
[0040]设计上述电机控制量的准则函数，准则函数如下：
[0041]J(Δn(k))＝|h
*
(k+1)
‑
h(k+1)|2+λ|Δn(k)|2，
[0042]其中，h
*
(k+1)表示k+1时刻电机的期望转速；h(k+1)表示k+1时刻电机的输出转速；λ>0表示权重因子；Δn(k)表示k时刻电机的输入转速较k
‑
11时刻电机的输入转速的增减值；
[0043]将上述动态线性化数据模型的公式带入该准则函数，得到电机控制量的计算公式，公式如下：
[0044][0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于强化学习的无模型自适应算法的下肢固定控制系统，其特征在于，包括：固定主体(40)，用于固定患者下肢；伸缩模块(30)，与所述固定主体(40)连接，所述伸缩模块(30)用于伸缩，带动固定主体(40)上下移动；控制模块(20)，与所述伸缩模块(30)连接，所述控制模块(20)用于接收到上位机(10)传输的请求后，基于强化学习的无模型自适应算法计算控制伸缩模块(30)伸缩长度的电机(32)控制量，得到控制指令，将该控制指令发送至伸缩模块(30)。2.根据权利要求1所述的基于强化学习的无模型自适应算法的下肢固定控制系统，其特征在于，所述固定主体(40)包括主板(41)、膝部固定件(42)、腿部固定件(43)和脚部固定件(44)；所述膝部固定件(42)和腿部固定件(43)设置有滑块(46)；所述主板(41)上开设有与膝部固定件(42)和腿部固定件(43)的滑块(46)滑动配合的滑槽(47)。3.根据权利要求2所述的基于强化学习的无模型自适应算法的下肢固定控制系统，其特征在于，所述主板(41)上还设置有用于调节脚部固定件(44)倾斜角度的调节装置(45)。4.根据权利要求3所述的基于强化学习的无模型自适应算法的下肢固定控制系统，其特征在于，所述膝部固定件(42)的滑槽(47)旁侧设置有刻度(48)。5.根据权利要求4所述的基于强化学习的无模型自适应算法的下肢固定控制系统，其特征在于，每个所述滑块(46)上均设置有螺纹孔以及与该螺纹孔配合的螺栓，用于将所述螺栓与滑槽(47)内壁抵接，限制滑块(46)与滑槽(47)的相对移动。6.根据权利要求2所述的基于强化学习的无模型自适应算法的下肢固定控制系统，其特征在于，所述伸缩模块(30)包括驱动器(31)、电机(32)和伸缩杆；所述驱动器(31)的输入端与控制模块(20)的输出端连接，所述驱动器(31)的输出端与电机(32)的输入端连接，所述驱动器(31)用于接收控制指令，根据电机(32)控制量驱动电机(32)；所述电机(32)的输出端与伸缩杆的一端连接，所述电机(32)用于使伸缩杆伸缩；所述伸缩杆的另一端与主板(41)连接，所述伸缩杆用于带动主板(41)上下移动。7.根据权利要求1所述的基于强化学习的无模型自适应算法的下肢固定控制系统，其特征在于，所述控制模块基于强化学习的无模型自适应算法计算控制伸缩模块伸缩长度的电机控制量，具体步骤如下：利用时变参数将非线性系统转化为动态线性化数据模型；获取所述电机的当前转速以及对应的期望转速；利用动态线性化数据模型，根据电机的当前转速和对应的期望转速，计算电机控制量。8.根据权利要求7所述的基于强化学习的无模型自适应算法的下肢固定控制系统，其特征在于，所述控制模块计算电机控制量的详细步骤如下：设计所述非线性系统的非线性函数，非线性函数如下：h(k+1)＝f(h(k),...,h(k
‑
ξ
y
),n(k),...,n(k
‑
ξ
u
))其中，n(k)∈R表示k时刻电机的输入转速；n(k
‑
ξ
u
)表示k
‑
ξ
u
时刻电机的输入转速；h(k)∈R表示k时刻电机的输出转速；h(k
‑
ξ
y
)表示k
‑
ξ
u
时刻电机的输出转速；ξ
y
和ξ
u
表示两个未
知的正整数；h(...):表示电机的非线性函数；设计所述时变参数的估计准则函数，估计准则函数如下：其中，h(k)表示k时刻电机的输出转速；h(k
‑
1)表示k
‑
1时刻电机的输出转速；N
L
(k)＝[n(k),
…
,n(k
‑
L+1)]
T
表示在滑动时间窗口[k
‑
L+1,k]内的所有电机的输入转速，其中L为输入线性化长度常数；φ(k)表示k时刻的时变参数；φ
p,L
(k)＝[φ1(k),
…
,φ
L
(k)]
T
表示时变参数向量；μ＞0表示设置的权重因子；对设计的所述时变参数的估计准则函数求极值，得到时变参数的估计值，公式如下：其中，表示k时刻的时变参数估计值；表示k
‑
1时刻的时变参数估计值；η∈(0,1]表示加入的步长因子，Q
t
(η)＝γ
k
(η
max
‑
η
min
)，γ表示强化学习的学习率，t表示强化学习过程中的学习次数；μ＞0表示设置的权重因子，Q
t
(μ)＝γ
k
(μ
max
‑
μ
min
)；ΔN
L
(k)＝[Δn(k),
…
,Δn(k
‑
L+1)]
T
，Δn(k)表示k时刻电机的输入转速较k
‑
1时刻电机的输入转速的增减值；Δh(k)表示k时刻电机的输出转速较k
‑
1时刻电机的输出转速的增减值；利用时变参数将非线性系统转化为动态线性化数据模型，该动态线性化数据模型的公式如下：利用动态线性化数据模型，根据电机的当前转速和对应的期望转速，计算电机控制量，具体步骤如下：设计所述电机控制量的准则函数，准则函数如下：J(Δn(k))＝|...

【专利技术属性】
技术研发人员：彭亮，刘世达，李慧，王力，贾雄博，付艳，孙书彬，阎文海，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：