【技术实现步骤摘要】
本申请涉及计算机技术的领域，尤其涉及一种ai训练大数据集的上传和展示方法。
技术介绍
1、随着人工智能技术的飞速发展，大数据集在ai训练中发挥着越来越重要的作用。然而，大数据集的上传和展示目前仍面临一些挑战：首先，传统的上传方式需要将整个文件完全读入内存，在发生浏览器关闭或上传中断时，数据将丢失，用户不得不重新选择文件，这降低了上传的成功率；其次，客户端在处理大数据集时，耗时较长，这期间的前端界面可能出现大量空白，影响用户对数据的即时感知；最后，数据展示时一次性加载页面内所有数据，导致初始加载时间长，引发不必要的数据交互，浪费网络资源。因此，亟需一种高效的大数据集上传和展示方案，以提高上传速度、成功率，减少前端空白时间，优化数据展示性能。
2、对比现有技术，现有大数据上传和展示技术存在以下主要问题：
3、1.上传缺乏更有效的续传机制，在断电等异常情况发生时，需要重新选择文件上传。
4、2.客户端处理大数据集时，耗时较长，前端界面可能出现大量空白，影响用户体验。
5、3.数据展示时一次性加载所有数据，初始加载时间长，浪费网络资源，加载速度慢。
6、4.客户端一次性渲染大数据集展示页面，每次加载大量数据，对客户端性能要求高，影响页面加载速度。
7、5.缺乏对用户操作和数据的解耦机制，导致系统灵活性差。
技术实现思路
1、为解决上述问题，本专利技术提供了一种ai训练大数据集的上传和展示方法，采用如下的技术方案：>
2、一种ai训练大数据集的上传和展示方法，包括：上传步骤；所述上传步骤包括：
3、步骤s101，客户端对用户选择上传的大数据集文件划分为多个文件小块，并将多个文件小块缓存到浏览器的本地数据库indexeddb中；
4、步骤s102，客户端对目标文件小块进行读取，并将所述目标文件小块上传至服务端中，所述目标文件小块为浏览器的本地数据库indexeddb中的存储多个文件小块中的其中一个文件小块；
5、步骤s103，当客户端上传完毕所述目标文件小块时，将所述目标文件小块在浏览器的本地数据库indexeddb中删除；
6、步骤s104，客户端判断所述浏览器的本地数据库indexeddb中是否存在文件小块，若是，则继续执行步骤s102，若否，则继续执行步骤s105；
7、步骤s105，客户端向服务端发送文件上传完毕的信号；
8、在另一种可能实现的方式中，还包括展示步骤，所述展示步骤包括：
9、步骤s201，客户端创建交叉观察器intersectionobserver，创建信号对象signals；
10、步骤s202，客户端加载页面，并向服务端发送请求，接收服务端处理请求后反馈包括服务端渲染的图表布局的代码，并将其注入到客户端渲染页面，客户端向服务端发送的请求中携带有包括图表类型的基础配置信息；
11、步骤s203，客户端解析服务端响应客户端发送的请求而返回的对大数据集训练后的可视化图表预览图，并对所述可视化图表预览图进行调整，得到占位图表，使用所述占位图表对实际图表位置进行占位；
12、步骤s204，客户端根据可视窗口内的可视图表向服务端请求对大数据集处理后的训练结果数据并进行解析，触发前端图表组件可视窗口内的可视图表绘制操作，并更新视图，替换步骤s203中占位的占位图表，所述可视窗口为提前设定的客户端页面上能够展示大数据集的区域，所述可视图表为在可视窗口内显示比例达到预设比例的图表；
13、步骤s205，客户端监听交叉观察器intersectionobserver对页面内所有图表与可视窗口重叠的响应后，若可视窗口内出现新的图表，执行步骤s207；
14、步骤s206，客户端将筛选控件内时间范围或刷新频率变化的结果注入信号对象signals，当客户端图表组件监听到信号对象signals的更新时，跳至步骤s207；
15、步骤s207，客户端根据可视窗口内的可视图表向服务端请求对大数据集处理后的训练结果数据并进行解析，触发前端图表组件可视窗口内的可视图表绘制操作，若实际图表位置有占位图表，则替换占位图表，否则更新图表。
16、在另一种可能实现的方式中，所述大数据集文件包括多个文件，所述客户端对用户选择上传的大数据集文件划分为多个文件小块，并将多个文件小块缓存到浏览器的本地数据库indexeddb中，包括：
17、客户端对用户选择上传的大数据集文件划分为多个文件小块，并对所述多个文件小块生成各自对应的哈希标识以及对多个文件生成各自对应的文件id；
18、将多个文件小块按照blob类型，结合多个文件各自对应的文件id以及多个文件小块各自对应的哈希标识，统一存储到浏览器的本地数据库indexeddb中。
19、在另一种可能实现的方式中，在本地数据库indexeddb中文件小块有对应的状态标志，状态标志包括：待上传以及上传中，目标文件小块为本地数据库indexeddb中根据文件id查找到的状态标志为待上传的文件小块中的首个文件小块。
20、在另一种可能实现的方式中，步骤s202中，包括服务端渲染的图表布局的代码通过使用客户端激活技术注入到客户端渲染页面。
21、在另一种可能实现的方式中，客户端解析服务端响应客户端发送的请求而返回的对大数据集训练后的可视化图表预览图，并对所述可视化图表预览图进行调整，得到占位图表，包括：
22、服务端根据客户端发送的请求中的基础配置信息，使用后端渲染技术生成可视化图表预览图，并将所述可视化图表预览图返回给客户端；
23、客户端基于实际图表位置以及所述实际图表位置对应的实际图表的尺寸对所述可视化图表预览图进行调整，得到占位图表。
24、综上所述，本申请包括以下有益技术效果：
25、本申请采用了一种分块上传策略，将大数据集划分为多个小块，每个小块独立上传至分布式存储系统中，提高了上传速度和成功率；并且，客户端在上传大数据集之前，将文件缓存到浏览器的本地数据库（indexeddb）中，保证在发生意外导致上传中断后，可以自动继续上传文件；此外，本申请还实现了一种多维度且高效的展示技术，通过客户端激活技术（一种在页面加载完成后，将服务器端渲染的内容注入到客户端渲染页面的方法）减少客户端的加载时间、通过用低分辨率图片占位降低等待时间、通过推迟加载技术（deferloading）减少不必要的数据传输等措施，进行更快捷高效的数据展示；同时，通过在客户端使用信号对象（signals）机制按条件地更新图表，实现了用户操作与数据更新之间的解耦，提高了的模块化和灵活性。
本文档来自技高网...【技术保护点】
1.一种AI训练大数据集的上传和展示方法，其特征在于，包括：上传步骤；所述上传步骤包括：
2.根据权利要求1所述的一种AI训练大数据集的上传和展示方法，其特征在于，还包括：展示步骤；所述展示步骤包括：
3.根据权利要求1所述的一种AI训练大数据集的上传和展示方法，其特征在于，所述大数据集文件包括多个文件，所述客户端对用户选择上传的大数据集文件划分为多个文件小块，并将多个文件小块缓存到浏览器的本地数据库IndexedDB中，包括：
4.根据权利要求1所述的一种AI训练大数据集的上传和展示方法，其特征在于，在本地数据库IndexedDB中文件小块有对应的状态标志，状态标志包括：待上传以及上传中，目标文件小块为本地数据库IndexedDB中根据文件ID查找到的状态标志为待上传的文件小块中的首个文件小块。
5.根据权利要求2所述的一种AI训练大数据集的上传和展示方法，其特征在于，步骤S202中，包括服务端渲染的图表布局的代码通过使用客户端激活技术注入到客户端渲染页面。
6.根据权利要求1所述的一种AI训练大数据集的上传和展示方法
...【技术特征摘要】
1.一种ai训练大数据集的上传和展示方法，其特征在于，包括：上传步骤；所述上传步骤包括：
2.根据权利要求1所述的一种ai训练大数据集的上传和展示方法，其特征在于，还包括：展示步骤；所述展示步骤包括：
3.根据权利要求1所述的一种ai训练大数据集的上传和展示方法，其特征在于，所述大数据集文件包括多个文件，所述客户端对用户选择上传的大数据集文件划分为多个文件小块，并将多个文件小块缓存到浏览器的本地数据库indexeddb中，包括：
4.根据权利要求1所述的一种ai训练大数据集的上传和展示方法，其特征在于，在本地数据库indexedd...
【专利技术属性】
技术研发人员：赵文浩，伍洲，钟生平，汪黎，
申请(专利权)人：麒麟软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。