【技术实现步骤摘要】
本专利技术属于ai芯片，具体涉及一种基于星辰大模型数据预处理降低能耗的方法。
技术介绍
1、神经网络计算，尤其是全连接神经网络和循环神经网络计算，对带宽和存储需求量极大。为了满足这些带宽和存储需求，可以考虑结合3d dram等高密度片外存储技术。
2、然而，按照jedec标准规定，dram温度一旦达到85c，存储器的自刷新速率就必须翻倍，且每提高10度就翻一倍，这会大幅降低dram的可靠性和性能。因此散热成为高密度片外存储必须解决的问题。tpuv3芯片就使用了3d dram来满足高带宽需求，现有的人工智能芯片直接与3d dram等高密度存储技术结合，由于传统的人工智能芯片大部分都是采用时分映射(time divisionmapping，tdm)机制、已有的人工智能芯片设计并不能充分利用片上缓存资源、稀疏化并未节省片上缓存资源等原因导致高温问题，而为了解决随之而来的高温问题，甚至使用了水冷系统。
技术实现思路
1、本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种基于星辰大模型数据预处理降低能耗的方法。
2、为实现上述技术目的，本专利技术采取的技术方案为：
3、一种基于星辰大模型数据预处理降低能耗的方法，包括：
4、步骤一：应用星辰大模型获取高温数据关键信息并与星辰大模型向量数据库匹配后构建数据宽表，对数据宽表范围内数据进行高温权重标记与算力量化，得到包含高温权重标记的数据结果集合；
5、步骤二：将大模型数据结果
6、为优化上述技术方案，采取的具体措施还包括：
7、上述的步骤一通过星辰大模型匹配数据库获得的关键信息结果表之间的连接操作，获取每一个数据的标签值与影响芯片高温的权重，根据不同标签值和权重聚合计算出每一个数据对应的问题占比。
8、上述的步骤一应用星辰大模型获取高温数据关键信息，包括资源需求、算力量化、外存储访问频繁度和缓存资源利用率；星辰大模型基于关键信息在星辰大模型向量数据库中查询对应数据，构建字典数据结构，形成数据宽表。
9、上述的字典数据结构为：-##开始引用##资源需求，算力量化，外存储访问频繁度，缓存资源利用率##结束引用##。
10、上述的步骤二通过空间分割映射平滑访存行为来优化存储器的温度。
11、上述的空间映射计算架构采用基于高速暂存存储器的全局缓存、多寄存器缓存，以及面向缓存的分块和调度机制来最大化数据复用并采用免补零的稀疏化计算方式减少访存总量。
12、上述的空间映射计算架构包括可分区且可重构的计算单元阵列、全局spm缓存、寄存器高速缓存和数据流控制器；当索引服务中存在k个权重计算单元运行时，将运算请求转发给空闲算力最大的权重计算单元进行处理；将具有计算局部性的输入数据交给相同的权重计算单元负责。
13、本专利技术具有以下有益效果：
14、本专利技术针对现有的人工智能芯片直接与3d dram等高密度存储技术结合导致高温问题，首先将高温数据提取关键信息：资源需求、算力量化、外存储访问频繁度和缓存资源利用率四个指标与星辰大模型向量数据库匹配后构建数据宽表，其次对数据宽表范围内数据进行高温权重标记与算力量化从而提高大模型检索准确性和时效性。
15、相比较直接基于原始的大规模数据和查询生成文本，本专利技术只基于向量数据库，数据宽表范围内检索，有助于减轻大模型的幻觉问题，生成文本的准确程度更高，而且该方法中提取对应数据值的困难程度也更小。
16、本专利技术以数据宽表结构存储中间推理步骤的数据，该结构更为直观、易于处理相比较原始的数据表，构建的数据宽表规模显著减小，从而使得分析文本的时长减少。
17、本专利技术将大模型数据结果集合根据稀疏化全连接计算模式的稀疏度越高，收益越大的原则对智能芯片采用空间映射计算架构采用计算局部性相同权重算法，对输入数据交给相同的权重计算单元(lm2-lm4)负责，从而有利于减少lm1到(lm2-lm4)之间访存总量及更高效运行。最后更新结果集合中的高温权重标记。
本文档来自技高网...【技术保护点】
1.一种基于星辰大模型数据预处理降低能耗的方法，其特征在于，包括：
2.根据权利要求1所述的一种基于星辰大模型数据预处理降低能耗的方法，其特征在于，所述步骤一通过星辰大模型匹配数据库获得的关键信息结果表之间的连接操作，获取每一个数据的标签值与影响芯片高温的权重，根据不同标签值和权重聚合计算出每一个数据对应的问题占比。
3.根据权利要求1所述的一种基于星辰大模型数据预处理降低能耗的方法，其特征在于，所述步骤一应用星辰大模型获取高温数据关键信息，包括资源需求、算力量化、外存储访问频繁度和缓存资源利用率；星辰大模型基于关键信息在星辰大模型向量数据库中查询对应数据，构建字典数据结构，形成数据宽表。
4.根据权利要求3所述的一种基于星辰大模型数据预处理降低能耗的方法，其特征在于，所述字典数据结构为：-##开始引用##资源需求，算力量化，外存储访问频繁度，缓存资源利用率##结束引用##。
5.根据权利要求1所述的一种基于星辰大模型数据预处理降低能耗的方法，其特征在于，所述步骤二通过空间分割映射平滑访存行为来优化存储器的温度。
6.根
7.根据权利要求1所述的一种基于星辰大模型数据预处理降低能耗的方法，其特征在于，所述空间映射计算架构包括可分区且可重构的计算单元阵列、全局SPM缓存、寄存器高速缓存和数据流控制器；当索引服务中存在K个权重计算单元运行时，将运算请求转发给空闲算力最大的权重计算单元进行处理；将具有计算局部性的输入数据交给相同的权重计算单元负责。
...【技术特征摘要】
1.一种基于星辰大模型数据预处理降低能耗的方法，其特征在于，包括：
2.根据权利要求1所述的一种基于星辰大模型数据预处理降低能耗的方法，其特征在于，所述步骤一通过星辰大模型匹配数据库获得的关键信息结果表之间的连接操作，获取每一个数据的标签值与影响芯片高温的权重，根据不同标签值和权重聚合计算出每一个数据对应的问题占比。
3.根据权利要求1所述的一种基于星辰大模型数据预处理降低能耗的方法，其特征在于，所述步骤一应用星辰大模型获取高温数据关键信息，包括资源需求、算力量化、外存储访问频繁度和缓存资源利用率；星辰大模型基于关键信息在星辰大模型向量数据库中查询对应数据，构建字典数据结构，形成数据宽表。
4.根据权利要求3所述的一种基于星辰大模型数据预处理降低能耗的方法，其特征在于，所述字典数据结构为：-##开始引用##资源需求，算力量化，外存储访问...
【专利技术属性】
技术研发人员：赵思，
申请(专利权)人：中电信数智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。