【技术实现步骤摘要】
本专利技术涉及计算机软件系统的编译计算，具体为一种具有交叉计算能力的个性化语言模型。
技术介绍
1、随着信息化技术的不断发展，大数据的规模也随之快速扩大，除了数据量规模，还有数据形态也发生了很大的增长，数据管理的难度大大增加。传统的大数据管理是将多种数据形态的数据(比如xls、cvs、json、yaml等半结构化数据)进行统一处理成二维表形态，并导入到关系型数据库中，然后进行统一计算。这种方式有几个弊端，首先需要将原始数据与数据库数据做映射关系，从而增加了映射转换的工作量，而且增加了数据不一致的风险，降低数据的准确性。其次对于使用者来说，由于将数据预处理入库后，数据消费端的数据形态与原生数据形态完全不一样，破坏数据血缘关系，对数据溯源造成很大的难度，在实际工作过程中，大大增加了数据分析及计算的复杂度。
2、鉴于上述情况，构建针对原生结构化数据的计算引擎，将各种数据形态的计算引擎进行融合成具有交叉计算能力的个性化语言模型，达到数据扁平化管理，减少数据加工环节，从而保证数据的准确性。
技术实现思路
1、本专利技术的目的在于为了解决现有方式存在工作量大、准确性低以及复杂度大的问题，而提出一种具有交叉计算能力的个性化语言模型。
2、本专利技术的目的可以通过以下技术方案实现：具有交叉计算能力的个性化语言模型，包括数据库、交叉计算模块和客户端，所述交叉计算模块用于对文件数据和数据库数据分别进行计算，然后通过统一的交叉计算引擎进行融合计算输出相应的结果，将结果直接发送到客
3、其中代码解析器的具体工作流程为：
4、分词/词法分析：将由字符组成的字符串分解成有意义的代码块；
5、解析/语法分析：词法单元流转换成一个由元素嵌套所组成的代表了程序语法结构的抽象语法树；
6、代码生成：将抽象语法树转换成可执行代码。
7、作为本专利技术的一种优选实施方式，所述代码编辑器用于编写业务代码、对关键字高亮显示以及语法配色和语法检测，并附带运行调试操作。
8、作为本专利技术的一种优选实施方式，所述代码执行器的具体工作流程为：对于规范抽象语法树的代码通过v8引擎进行计算，将其编译成原生机器码，并通过内联缓存提高性能。
9、作为本专利技术的一种优选实施方式，所述数据库还用于将需要参与计算的文件数据进行分类保存，具体为：按照业务和文件类型进行保存，并建立文件目录，且文件路径符合linux目录规范。
10、作为本专利技术的一种优选实施方式，所述数据库还用于根据业务需求对文件数据进行管理，具体过程为：
11、对文件数据中若干个文件进行编号，编号为i，采集文件进行交叉计算的时刻得到交叉时刻，统计交叉时刻的次数得到交叉总次数；将交叉时刻依据时间先后顺序进行排序，计算相邻两个交叉时刻之间的差值得到计算间隔时长，将所有计算间隔时长进行平均值计算并取其数值得到平均间隔值；将计算间隔时长依照顺序进行排序，比较相邻两个计算间隔时长，若排序在前的计算间隔时长大于排序在后的计算间隔时长，则前隔总次数增加一次；将交叉总次数、平均间隔值、前隔总次数进行归一化处理得到文件的交算值jsi，其中es1、es2和es3均为预设权重因子；
12、预设若干个业务需求关键词，每个业务需求关键词对应一个预设的需求固定值，将文件对应内容与若干个业务需求关键词进行匹配得到对应的业务需求关键词，并将匹配到的业务需求关键词对应的需求固定值进行求和得到需求总值，标记为xi；
13、采集文件对应的访问总次数和已存储时长，提取访问总次数和已存储时长的数值，将已存储时长的数值除以访问总次数的数值得到文访值wi；
14、将交算值、需求总值和文访值进行归一化处理并将三者的数值代入预设文件管理模型输出文管值foi，其中，λ1、λ2和λ3均为预设权重因子；
15、设定文件路径包括一级目录路径、二级目录路径、三级目录路径、……；每级目录路径均对应一个取值范围；将文件的文管值与若干个取值范围进行匹配，若文管值属于对应取值范围内，则将该取值范围对应的目录路径标记为文件的存储路径，并将文件存储在该目录路径下。
16、与现有技术相比，本专利技术的有益效果是：
17、1、本专利技术将文件数据和数据库数据分别进行计算，通过统一的交叉计算引擎进行融合计算，得到的结果直接发送到客户端，在客户端还可以将离线数据进一步融合计算最终得到想要的数据一并进行渲染展示。
18、2、本专利技术代码编辑器用来编写业务代码的工具，主要负责对关键字高亮显示，语法配色和语法检测，附带运行调试等功能，辅助用户或开发人员编写计算代码；代码解析器将ast转换成可执行代码；采用v8引擎进行计算，具有很好的可移植和跨平台特性。
本文档来自技高网...【技术保护点】
1.具有交叉计算能力的个性化语言模型，包括数据库、交叉计算模块和客户端，其特征在于，所述交叉计算模块用于对文件数据和数据库数据分别进行计算，然后通过统一的交叉计算引擎进行融合计算输出相应的结果，将结果直接发送到客户端进行结果渲染并展示；包括代码编辑器、代码解析器和代码执行器；
2.根据权利要求1所述的具有交叉计算能力的个性化语言模型，其特征在于，所述代码编辑器用于编写业务代码、对关键字高亮显示以及语法配色和语法检测，并附带运行调试操作。
3.根据权利要求1所述的具有交叉计算能力的个性化语言模型，其特征在于，所述代码执行器的具体工作流程为：对于规范抽象语法树的代码通过V8引擎进行计算，将其编译成原生机器码，并通过内联缓存提高性能。
4.根据权利要求1所述的具有交叉计算能力的个性化语言模型，其特征在于，所述数据库还用于将需要参与计算的文件数据进行分类保存，具体为：按照业务和文件类型进行保存，并建立文件目录，且文件路径符合linux目录规范。
【技术特征摘要】
1.具有交叉计算能力的个性化语言模型，包括数据库、交叉计算模块和客户端，其特征在于，所述交叉计算模块用于对文件数据和数据库数据分别进行计算，然后通过统一的交叉计算引擎进行融合计算输出相应的结果，将结果直接发送到客户端进行结果渲染并展示；包括代码编辑器、代码解析器和代码执行器；
2.根据权利要求1所述的具有交叉计算能力的个性化语言模型，其特征在于，所述代码编辑器用于编写业务代码、对关键字高亮显示以及语法配色和语法检测，并附带运行...
【专利技术属性】
技术研发人员：郭玉智，沈新力，
申请(专利权)人：江苏税软软件科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。