System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据分析,尤其涉及一种基于云计算的大数据信息分析方法及系统。
技术介绍
1、数据分析
涉及对大量数据进行检查、清洗、转换和建模,利用统计学、计算机科学和数学技术,通过使用多种算法和模型,处理结构化和非结构化数据,旨在从数据中挖掘有用信息、推断结论和支持决策,实现预测分析、文本分析、网络分析和复杂事件处理,应用于商业策略、科研、金融市场预测、医疗健康、社会科学多个方面,使组织做出精准的业务决策,优化复杂的业务流程,并提高整体运营效率和效果。
2、其中,大数据信息分析方法专注于通过处理和分析大量数据,快速提取关键信息,支持企业或组织的决策制定,通过将大数据分析任务部署在云平台上,利用云的弹性资源进行规模化处理,降低本地基础设施的投资和维护成本,支持复杂的数据处理算法和应用程序,实现数据的实时处理和分析,应用于用户行为分析、市场趋势预测、健康监测和预测维护多个方面,帮助相关行业实现数据驱动的创新和效率提升。
3、传统大数据信息分析技术在处理大规模数据时依赖于固定的资源分配,缺乏足够的灵活性和扩展性,在数据量急剧增加或计算需求变化时导致资源浪费或不足,在处理结构化和非结构化数据时缺乏有效的机制来整合视听与文本数据,降低分析的全面性和深度,在异常数据识别方面,不能充分考虑数据的应用场景,限制了异常检测的准确性和实用性,在预测分析的实施中缺乏对时间序列数据特性的深入挖掘,限制预测的准确性和相关性,无法满足快速发展的市场和技术需求,影响业务发展和创新速度。
技术实现思路<
1、本专利技术的目的是解决现有技术中存在的缺点,而提出的一种基于云计算的大数据信息分析方法及系统。
2、为了实现上述目的,本专利技术采用了如下技术方案,一种基于云计算的大数据信息分析方法,包括以下步骤:
3、s1:基于输入处理数据,识别视频数据并提取视频中的图像信息,结合语音识别,识别输入视频数据的关键内容,生成视听数据分析结果;
4、s2:基于所述视听数据分析结果,对输入的文本数据进行分析,识别文本中的多个关键词和关联信息,并根据词汇间的逻辑连接建立属性链接,生成结构化文本知识库;
5、s3:使用所述结构化文本知识库,根据数据的类型和应用场景,通过对比数据库中预设的模式和逻辑规则,识别并标记不符合预设模式的数据,生成异常数据识别信息;
6、s4:基于所述异常数据识别信息,对多种输入数据进行时间序列分析,分析并预测数据的时间变化趋势和周期性特征,生成时间序列预测结果;
7、s5:根据所述时间序列预测结果,通过分析多种数据项间的依赖关系,构建表达依赖关系的网络模型,生成数据关联网络图;
8、s6:根据所述数据关联网络图,通过分析输入数据的处理需求,实时调整云计算资源配置,优化数据处理效率,生成信息分析处理结果。
9、作为本专利技术的进一步方案,所述视听数据分析结果包括视频图像分析结果、关键音频内容的文字转录数据、视频关键内容提取数据,所述结构化文本知识库包括文本中实体的识别标签、实体间的关系类型、实体属性描述信息,所述异常数据识别信息包括数据项的不一致性标记、逻辑矛盾点记录、违反规则的数据实例,所述时间序列预测结果包括数据长期趋势分析结果、周期性变化特征信息、多个时间点数据预测值,所述数据关联网络图包括数据元素间的依赖关系模型、交互模式的可视化表达信息、关系强度的量化指标时间,所述信息分析处理结果包括计算资源的使用率分析结果、存储资源的分配优化记录、数据处理任务的执行效率信息。
10、作为本专利技术的进一步方案,基于输入处理数据,识别视频数据并提取视频中的图像信息,结合语音识别,识别输入视频数据的关键内容,生成视听数据分析结果的步骤具体为:
11、s101:基于输入处理数据,识别视频数据并对视频数据进行处理,提取多个连续帧图像并记录对应时间点信息,得到连续图像数据集;
12、s102:基于所述连续图像数据集,通过识别多帧图像中的形状、纹理和边缘特征,分析图像内容,生成图像特征信息集;
13、s103:基于所述图像特征信息集,提取视频的音频信息,利用语音识别,记录音频中的多个关键词和句子,结合图像内容信息,识别视频数据的关键内容,生成视听数据分析结果。
14、作为本专利技术的进一步方案,基于所述视听数据分析结果,对输入的文本数据进行分析,识别文本中的多个关键词和关联信息,并根据词汇间的逻辑连接建立属性链接,生成结构化文本知识库的步骤具体为:
15、s201:基于所述视听数据分析结果,对输入的文本数据进行格式化处理,识别并剔除非文本元素,得到文本数据处理记录;
16、s202:根据所述文本数据处理记录,识别并提取文本数据中的多个实体词汇和短语,分析并记录多个词汇间的逻辑关系,生成关键词关联图;
17、s203:基于所述关键词关联图,通过将词汇间的逻辑关系转换为结构化数据格式,构建实体和属性间的链接,生成结构化文本知识库。
18、作为本专利技术的进一步方案,使用所述结构化文本知识库,根据数据的类型和应用场景,通过对比数据库中预设的模式和逻辑规则,识别并标记不符合预设模式的数据,生成异常数据识别信息的步骤具体为:
19、s301:基于所述结构化文本知识库,分析多种输入数据的类型和应用场景,生成数据分类和场景信息;
20、s302:基于所述数据分类和场景信息,根据数据库中预设的模式和逻辑规则对输入数据进行分析,识别不符合预定义逻辑的数据项,生成异常数据标记列表;
21、s303:根据所述异常数据标记列表,对异常数据项进行分析,识别并记录异常原因,包括数据格式错误、逻辑矛盾、场景不匹配,生成异常数据识别信息。
22、作为本专利技术的进一步方案,基于所述异常数据识别信息,对多种输入数据进行时间序列分析,分析并预测数据的时间变化趋势和周期性特征,生成时间序列预测结果的步骤具体为:
23、s401:基于所述异常数据识别信息,分析多种输入数据并识别时间序列数据,根据时间信息对数据点进行排序,构建时间序列数据集;
24、s402:基于所述时间序列数据集,通过时间序列分析,分析多种数据的波动模式和周期性变化,生成时间趋势分析结果;
25、s403:根据所述时间趋势分析结果,预测多种输入数据的变化趋势,计算目标数据项多个时间点的预测值,生成时间序列预测结果。
26、作为本专利技术的进一步方案,所述计算目标数据项多个时间点的预测值的具体公式为:
27、
28、其中,xt-i代表时间序列中第t-i时刻的数据点值,表示从当前时间t向前第i个时间单位的观测值,wi代表第i个数据点的权重系数,权重根据数据点的时效性递减,确保更近期的数据对预测结果有更大的影响,yt代表预测的时间序列值,i表示权重和数据点的序列位置,n是考虑的总时间点数。
29、作为本专利技术的本文档来自技高网...
【技术保护点】
1.一种基于云计算的大数据信息分析方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于云计算的大数据信息分析方法,其特征在于,所述视听数据分析结果包括视频图像分析结果、关键音频内容的文字转录数据、视频关键内容提取数据,所述结构化文本知识库包括文本中实体的识别标签、实体间的关系类型、实体属性描述信息,所述异常数据识别信息包括数据项的不一致性标记、逻辑矛盾点记录、违反规则的数据实例,所述时间序列预测结果包括数据长期趋势分析结果、周期性变化特征信息、多个时间点数据预测值,所述数据关联网络图包括数据元素间的依赖关系模型、交互模式的可视化表达信息、关系强度的量化指标时间,所述信息分析处理结果包括计算资源的使用率分析结果、存储资源的分配优化记录、数据处理任务的执行效率信息。
3.根据权利要求1所述的基于云计算的大数据信息分析方法,其特征在于,基于输入处理数据,识别视频数据并提取视频中的图像信息,结合语音识别,识别输入视频数据的关键内容,生成视听数据分析结果的步骤具体为:
4.根据权利要求1所述的基于云计算的大数据信息分析方法,其特征在于,基于所述
5.根据权利要求1所述的基于云计算的大数据信息分析方法,其特征在于,使用所述结构化文本知识库,根据数据的类型和应用场景,通过对比数据库中预设的模式和逻辑规则,识别并标记不符合预设模式的数据,生成异常数据识别信息的步骤具体为:
6.根据权利要求1所述的基于云计算的大数据信息分析方法,其特征在于,基于所述异常数据识别信息,对多种输入数据进行时间序列分析,分析并预测数据的时间变化趋势和周期性特征,生成时间序列预测结果的步骤具体为:
7.根据权利要求6所述的基于云计算的大数据信息分析方法,其特征在于,所述计算目标数据项多个时间点的预测值的具体公式为:
8.根据权利要求1所述的基于云计算的大数据信息分析方法,其特征在于,根据所述时间序列预测结果,通过分析多种数据项间的依赖关系,构建表达依赖关系的网络模型,生成数据关联网络图的步骤具体为:
9.根据权利要求1所述的基于云计算的大数据信息分析方法,其特征在于,根据所述数据关联网络图,通过分析输入数据的处理需求,实时调整云计算资源配置,优化数据处理效率,生成信息分析处理结果的步骤具体为:
10.一种基于云计算的大数据信息分析系统,其特征在于,根据权利要求1-9任一项所述的基于云计算的大数据信息分析方法,所述系统包括:
...【技术特征摘要】
1.一种基于云计算的大数据信息分析方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于云计算的大数据信息分析方法,其特征在于,所述视听数据分析结果包括视频图像分析结果、关键音频内容的文字转录数据、视频关键内容提取数据,所述结构化文本知识库包括文本中实体的识别标签、实体间的关系类型、实体属性描述信息,所述异常数据识别信息包括数据项的不一致性标记、逻辑矛盾点记录、违反规则的数据实例,所述时间序列预测结果包括数据长期趋势分析结果、周期性变化特征信息、多个时间点数据预测值,所述数据关联网络图包括数据元素间的依赖关系模型、交互模式的可视化表达信息、关系强度的量化指标时间,所述信息分析处理结果包括计算资源的使用率分析结果、存储资源的分配优化记录、数据处理任务的执行效率信息。
3.根据权利要求1所述的基于云计算的大数据信息分析方法,其特征在于,基于输入处理数据,识别视频数据并提取视频中的图像信息,结合语音识别,识别输入视频数据的关键内容,生成视听数据分析结果的步骤具体为:
4.根据权利要求1所述的基于云计算的大数据信息分析方法,其特征在于,基于所述视听数据分析结果,对输入的文本数据进行分析,识别文本中的多个关键词和关联信息,并根据词汇间的逻辑连接建立属性链接,生成结构化文本知识库的步骤具体为:...
【专利技术属性】
技术研发人员:吴玉璋,秦红玉,
申请(专利权)人:合肥青米信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。