一种关于冷冻电镜单颗粒分析数据全流程自动分析的方法技术

本发明专利技术公开了一种关于冷冻电镜单颗粒分析数据全流程自动分析的方法，本发明专利技术通过公开的相应方法，对冷冻电镜进行单颗粒分析，且这一过程现阶段也有相应的技术体现；之后得到了针对性的处理完成的数据后，借助存储系统进行存储；具体为首先借助数据获取单元获取到处理出来的精修数据，将精修数据传输到身份绑定单元，借助身份绑定单元得到用户身份对应的特值，之后将特值连带精修数据传输到处理器，借助存储监管单元对精修数据进行监控，得到精修数据的初存时间，之后利用相关的技术得到特值组Pi、内存占用值组Zi、访问次数组Fi和存储时间组Ci；根据这些参数计算得到排值，并根据排值对精修数据进行从大到小的排序。

【技术实现步骤摘要】
一种关于冷冻电镜单颗粒分析数据全流程自动分析的方法
本专利技术属于冷冻电镜数据领域，涉及冷冻电镜颗粒分析技术，具体是一种关于冷冻电镜单颗粒分析数据全流程自动分析的方法。
技术介绍
公开号为CN108898180A的专利公开了一种面向单颗粒冷冻电镜图像的深度聚类方法，包括以下步骤：第一步，数据预处理，并将数据送入自编码器进行预训练；第二步，训练自编码器：用编码器的输出向量特征聚类；用聚类结果计算损失函数；用随机梯度下降方法优化自编码器权值；第三步，将所有颗粒图像数据输入自编码器，得到聚类结果并分析聚类准确率，判断损失函数以及准确率变化是否小于阈值，如果小于阈值，输出聚类结果，结束；否则，转第二步。本专利技术可以在多种噪声数据下进行预训练，提高网络的降噪能力；并利用随机梯度下降方法自适应地训练损失函数的权重，进一步提高分类准确率。但是，其并未提出一种合理的针对冷冻电镜进行单颗粒分析时，数据全流程的自动分析方法，当前公开的方法并不能做到足够的智能，而且对于处理完的数据，没有针对不同的人存储的不同数据，进行针对性处理和管理，缺乏一种有效的管理方式，为了弥补这一不足，现提供一种解决方案。
技术实现思路
本专利技术的目的在于提供一种关于冷冻电镜单颗粒分析数据全流程自动分析的方法。本专利技术的目的可以通过以下技术方案实现：一种关于冷冻电镜单颗粒分析数据全流程自动分析的方法，该方法包括下述步骤：步骤一：数据导入选择数据目录和工作目录；选择已有的参数设置，用户导入先前的运算参数设置；选择已有的reference，2D-reference作为挑颗粒模板以及3D-reference作为三维分类及精修模板；步骤二：进行对原始数据的无损压缩和打包；步骤三：数据流程处理，具体包括：S1：首先进行预处理流程，预处理流程包含漂移矫正和CTF矫正；此两项为承接关系，每一张图片先进行数据的漂移矫正后进行CTF矫正；漂移矫正借助motioncor2实现，CTF矫正借助CTFFIND4或者GCTF实现；通过参数接口修改参数；显示接口显示预处理后的结果，包括图片略缩图、CTF图、motion曲线及一些数值信息，并提供筛选接口供用户筛选；S2：进行颗粒挑选流程，具体为：将标样数据挑出；标样数据包括20S/apoferrtin/80S；运行参数接口提供不同软件对应的参数，并提供测试接口便于用户修改参数后实时显示某张数据挑颗粒结果以便测试参数；提供抓取接口提取颗粒；步骤四：进行二维分类；S10：对提取后的颗粒进行二维分类；每抓取1万个颗粒则进行二维分类，提供自动挑选分组的参数接口和手动挑选的接口，每一组挑选出来后就把好的分组颗粒融到一块以备下一步任务；S20：运行参数接口提供不同软件对应的参数，显示界面实时显示当组分类的结果，以及上组挑选的分组结果；提供保留接口将所选的2D分组保留成2D-ference进行颗粒挑选；步骤五：进行三维初始模型建模；S1：二维分组后的颗粒需要reference来进行三维分类，若用户无已有的reference，则需要从头重构出一个初始模型；初始模型中颗粒数达到万级别；投影角度为指定数量的不同方向投影的颗粒来建立有效模型，指定数量超过X1，X1为预设值；S2：提供测试接口进行数据及参数的计算测试；运行参数接口提供不同软件对应的参数，显示界面实时显示每轮的3D投影及截面图，或者显示每轮的3D图像；步骤六：进行三维分组；S1：当有一个可信的reference后，二维分组颗粒需要进行三维分组；与二维分类策略一样，采用“批量”计算的方式，“批量”指代同时处理数量超过X2，X2为预设值；根据对称性来决定颗粒数，具体为提交颗粒数＝指定非对称颗粒数/对称性；S2：提供自动挑选分组的参数接口和手动挑选的接口，每一组挑选出来后就把好的分组颗粒融到一块以备下一步任务；步骤七：三维精修；当有足够多三维分组的颗粒，可以进行进一步的精修；同样采用“批量”计算的方式，根据对称性来决定颗粒数，具体为：提交颗粒数＝指定非对称颗粒数/对称性；每有新的一组运算结束后，会融合在一块根据已有的Euler值重构出新一轮的精修结果，得到精修数据。步骤八：对精修数据借助存储系统进行存储，且自动进行管理过程。进一步地，所述数据目录是用户通过采集软件拍摄的原始数据存放目录，由用户设定；工作目录是软件在计算时产生的中间文件和结果文件所在的总目录，由用户设定，设置在固态硬盘的SSD路径里。进一步地，所述存储系统包括数据获取单元、身份绑定单元、身份库、处理器、用户单元、存储监管单元、云存储单元、本地存储单元和自管理单元；其中，所述数据获取单元用于获取处理好的精修数据，并将对应的精修数据及用户的身份信息一同传输到身份绑定单元，所述身份绑定单元用于结合身份库对精修数据及身份信息进行特值赋予过程，得到对应身份信息的特值；所述身份绑定单元用于将精修数据及其对应的特值传输到处理器，所述处理器用于将精修数据及其对应的特值传输到存储监管单元，所述存储监管单元用于结合本地存储单元完成存储监控操作，得到由精修数据、初存时间和特值构成的精修存储信息；所述自管理单元接收存储监管单元传输的精修存储信息，并结合云存储单元对本地存储单元内存储的精修数据，进行存储自管理，存储自管理的具体步骤如下：S010：获取到所有本地存储单元存储的精修数据，将其标记为Ji,i＝1...m；S020：令i＝1，选取对应的精修数据；S030：获取到其近两个月的访问次数，访问次数获取方式为：S031：当对应用户对该精修数据进行查看或调用中任一动作时，且在预设时间T1内并为再次对该精修数据进行任何操作时，精修数据访问次数加一；S032：滤除所有不符合时间限制的该精修数据的访问次数，不符合时间限制指定对应访问精修数据的时间超出了两个月范围，两个月范围为从当下最新时间往前推两个月；S033：获取到所有符合时间限制的对应精修数据的访问次数，将访问次数对应标记为F1；S040：根据精修存储信息获取到对应精修数据的初存时间，根据初存时间，获取到当下距离初存时间的时间，将该时间标记为存储时间，对应将存储时间标记为C1；S050：获取到精修数据的内存占用大小，将其标记为内存占用值Z1；S060：获取到精修数据的特值，将特值标记为P1；S070：令i＝i+1,获取到对应的精修数据；S080：重复步骤S030-S060，获取到对应精修数据的特值、内存占用值、访问次数和存储时间；S090：重复步骤S070-S090，直到对所有的精修数据处理完成，得到所有精修数据的特值组Pi、内存占用值组Zi、访问次数组Fi和存储时间组Ci，其中i＝1...m，且Pi、Zi、Fi、Ci与Ji均为一一对应；S100：对本地存储单元进行存储预测，得到备份信号或清理信号；S110：根据本文档来自技高网...

【技术保护点】
1.一种关于冷冻电镜单颗粒分析数据全流程自动分析的方法，其特征在于，该方法包括下述步骤：/n步骤一：数据导入选择数据目录和工作目录；选择已有的参数设置，用户导入先前的运算参数设置；/n选择已有的reference，2D-reference作为挑颗粒模板以及3D-reference作为三维分类及精修模板；/n步骤二：进行对原始数据的无损压缩和打包；/n步骤三：数据流程处理，具体包括：/nS1：首先进行预处理流程，预处理流程包含漂移矫正和CTF矫正；此两项为承接关系，每一张图片先进行数据的漂移矫正后进行CTF矫正；漂移矫正借助motioncor2实现，CTF矫正借助CTFFIND4或者GCTF实现；通过参数接口修改参数；显示接口显示预处理后的结果，包括图片略缩图、CTF图、motion曲线及一些数值信息，并提供筛选接口供用户筛选；/nS2：进行颗粒挑选流程，具体为：/n将标样数据挑出；标样数据包括20S/apoferrtin/80S；运行参数接口提供不同软件对应的参数，并提供测试接口便于用户修改参数后实时显示某张数据挑颗粒结果以便测试参数；提供抓取接口提取颗粒；/n步骤四：进行二维分类；/nS10：对提取后的颗粒进行二维分类；每抓取1万个颗粒则进行二维分类，提供自动挑选分组的参数接口和手动挑选的接口，每一组挑选出来后就把好的分组颗粒融到一块以备下一步任务；/nS20：运行参数接口提供不同软件对应的参数，显示界面实时显示当组分类的结果，以及上组挑选的分组结果；提供保留接口将所选的2D分组保留成2D-ference进行颗粒挑选；/n步骤五：进行三维初始模型建模；/nS1：二维分组后的颗粒需要reference来进行三维分类，若用户无已有的reference，则需要从头重构出一个初始模型；初始模型中颗粒数达到万级别；投影角度为指定数量的不同方向投影的颗粒来建立有效模型，指定数量超过X1，X1为预设值；/nS2：提供测试接口进行数据及参数的计算测试；运行参数接口提供不同软件对应的参数，显示界面实时显示每轮的3D投影及截面图，或者显示每轮的3D图像；/n步骤六：进行三维分组；/nS1：当有一个可信的reference后，二维分组颗粒需要进行三维分组；与二维分类策略一样，采用“批量”计算的方式，“批量”指代同时处理数量超过X2，X2为预设值；根据对称性来决定颗粒数，具体为提交颗粒数＝指定非对称颗粒数/对称性；/nS2：提供自动挑选分组的参数接口和手动挑选的接口，每一组挑选出来后就把好的分组颗粒融到一块以备下一步任务；/n步骤七：三维精修；/n当有足够多三维分组的颗粒，可以进行进一步的精修；同样采用“批量”计算的方式，根据对称性来决定颗粒数，具体为：提交颗粒数＝指定非对称颗粒数/对称性；/n每有新的一组运算结束后，会融合在一块根据已有的Euler值重构出新一轮的精修结果，得到精修数据。/n步骤八：对精修数据借助存储系统进行存储，且自动进行管理过程。/n...

【技术特征摘要】
1.一种关于冷冻电镜单颗粒分析数据全流程自动分析的方法，其特征在于，该方法包括下述步骤：
步骤一：数据导入选择数据目录和工作目录；选择已有的参数设置，用户导入先前的运算参数设置；
选择已有的reference，2D-reference作为挑颗粒模板以及3D-reference作为三维分类及精修模板；
步骤二：进行对原始数据的无损压缩和打包；
步骤三：数据流程处理，具体包括：
S1：首先进行预处理流程，预处理流程包含漂移矫正和CTF矫正；此两项为承接关系，每一张图片先进行数据的漂移矫正后进行CTF矫正；漂移矫正借助motioncor2实现，CTF矫正借助CTFFIND4或者GCTF实现；通过参数接口修改参数；显示接口显示预处理后的结果，包括图片略缩图、CTF图、motion曲线及一些数值信息，并提供筛选接口供用户筛选；
S2：进行颗粒挑选流程，具体为：
将标样数据挑出；标样数据包括20S/apoferrtin/80S；运行参数接口提供不同软件对应的参数，并提供测试接口便于用户修改参数后实时显示某张数据挑颗粒结果以便测试参数；提供抓取接口提取颗粒；
步骤四：进行二维分类；
S10：对提取后的颗粒进行二维分类；每抓取1万个颗粒则进行二维分类，提供自动挑选分组的参数接口和手动挑选的接口，每一组挑选出来后就把好的分组颗粒融到一块以备下一步任务；
S20：运行参数接口提供不同软件对应的参数，显示界面实时显示当组分类的结果，以及上组挑选的分组结果；提供保留接口将所选的2D分组保留成2D-ference进行颗粒挑选；
步骤五：进行三维初始模型建模；
S1：二维分组后的颗粒需要reference来进行三维分类，若用户无已有的reference，则需要从头重构出一个初始模型；初始模型中颗粒数达到万级别；投影角度为指定数量的不同方向投影的颗粒来建立有效模型，指定数量超过X1，X1为预设值；
S2：提供测试接口进行数据及参数的计算测试；运行参数接口提供不同软件对应的参数，显示界面实时显示每轮的3D投影及截面图，或者显示每轮的3D图像；
步骤六：进行三维分组；
S1：当有一个可信的reference后，二维分组颗粒需要进行三维分组；与二维分类策略一样，采用“批量”计算的方式，“批量”指代同时处理数量超过X2，X2为预设值；根据对称性来决定颗粒数，具体为提交颗粒数＝指定非对称颗粒数/对称性；
S2：提供自动挑选分组的参数接口和手动挑选的接口，每一组挑选出来后就把好的分组颗粒融到一块以备下一步任务；
步骤七：三维精修；
当有足够多三维分组的颗粒，可以进行进一步的精修；同样采用“批量”计算的方式，根据对称性来决定颗粒数，具体为：提交颗粒数＝指定非对称颗粒数/对称性；
每有新的一组运算结束后，会融合在一块根据已有的Euler值重构出新一轮的精修结果，得到精修数据。
步骤八：对精修数据借助存储系统进行存储，且自动进行管理过程。


2.根据权利要求1所述的一种关于冷冻电镜单颗粒分析数据全流程自动分析的方法，其特征在于，所述数据目录是用户通过采集软件拍摄的原始数据存放目录，由用户设定；工作目录是软件在计算时产生的中间文件和结果文件所在的总目录，由用户设定，设置在固态硬盘的SSD路径里。


3.根据权利要求1所述的一种关于冷冻电镜单颗粒分析数据全流程自动分析的方法，其特征在于，所述存储系统包括数据获取单元、身份绑定单元、身份库、处理器、用户单元、存储监管单元、云存储单元、本地存储单元和自管理单元；
其中，所述数据获取单元用于获取处理好的精修数据，并将对应的精修数据及用户的身份信息一同传输到身份绑定单元，所述身份绑定单元用于结合身份库对精修数据及身份信息进行特值赋予过程，得到对应身份信息的特值；
所述身份绑定单元用于将精修数据及其对应的特值传输到处理器，所述处理器用于将精修数据及其对应的特值传输到存储监管单元，所述存储监管单元用于结合本地存储单元完成存储监控操作，得到由精修数据、初存时间和特值构成的精修存储信息；
所述自管理单元接收存储监管单元传输的精修存储信息，并结合云存储单元对本地存储单元内存储的精修数据，进行存储自管理，存储自管理的具体步骤如下：
S010：获取到所有本地存储单元存储的精修数据，将其标记为Ji,i＝1...m；
S020：令i＝1，选取对应的精修数据；
S030：获取到其近两个月的访问次数，访问次数获取方式为：
S031：当对应用户对该精修数据进行查看或调用中任一动作时，且在预设时间T1内并为再次对该精修数据进行任何操作时，精修数据访问次数加一；
S032...

【专利技术属性】
技术研发人员：吴弘，张翔，王松，
申请(专利权)人：上海月新生科信息科技有限公司，
类型：发明
国别省市：上海;31