【技术实现步骤摘要】
本专利技术涉及一种基于大语言模型的体育比赛解说生成方法，属于计算机和体育科技领域。
技术介绍
1、在体育赛事中，解说是不可或缺的一部分，能够为观众传递赛事知识、实时比赛情况以及技战术分析等信息；体育赛事的资深观众（比如说资深球迷）能够通过解说获得共鸣，而不了解体育的观众则能从中获取专业的赛事知识；然而，由于赛事众多，人工解说的高成本和耗时导致大量比赛无法得到及时解说，赛事解说的供求关系矛盾十分突出。
2、目前已有利用计算机视觉技术定位对比赛视频进行分析，提取并识别视频中的动作，得到动作时间和类型的信息，但是这种方法的识别结果仅仅是字典格式的动作内容，不具有自然语言的流畅和易于理解的特性，对于赛事观众并不友好。
3、现有技术也有使用大语言模型读取和分析视频内容，生成自然语言描述，但这种方法是通过将视频声音转录成文字，使用大语言模型进行分析。这种方法对于体育赛事这种视频图像内容分析能力有限，因此目前还没有合适的自动解说生成方法能够应用于对体育赛事的解说。
技术实现思路
1、本专利技术提出的是一种基于大语言模型的体育比赛解说生成方法，其目的旨在提供一种能对体育赛事视频自动生成解说的方法，降低人工赛事解说的耗时和成本。
2、本专利技术的技术解决方案：一种基于大语言模型的体育比赛解说生成方法，该方法利用基于大语言模型的体育比赛解说生成系统进行体育比赛解说；所述基于大语言模型的体育比赛解说生成系统包括视频分析模块、大语言模型解说模块、解说生成系统开发模块；所
3、步骤1）将体育赛事视频输入视频分析模块，利用视频分析模块识别体育赛事视频中的动作信息；
4、步骤2）将视频分析模块识别出的动作信息输送给大语言模型解说模块和解说生成系统开发模块；
5、步骤3）大语言模型解说模块利用大语言模型对接收到的动作信息进行处理生成解说；
6、步骤4）利用解说生成系统开发模块将视频分析模块识别出的动作信息与大语言模型解说模块生成的解说进行结合，形成交互式解说生成系统。
7、进一步地，所述利用视频分析模块识别体育赛事视频中的动作信息，具体包括对体育比赛视频进行动作定位与识别，分析出赛事中的动作信息；所述动作信息包括技术动作发生的时间和动作类型。
8、进一步地，所述大语言模型为智谱glm4大语言模型。
9、进一步地，所述利用视频分析模块识别体育赛事视频中的动作信息的具体过程包括：
10、步骤1-1）使用二维卷积神经网络pp-tsm对体育比赛视频进行图像特征提取，即进行视频理解，提取降维特征；
11、步骤1-2）使用基于卷积神经网络结构的边界匹配网络对动作发生的起止时间进行定位；
12、步骤1-3）基于注意力机制的长短时记忆网络识别动作类型。
13、进一步地，所述大语言模型解说模块利用大语言模型对接收到的动作信息进行处理生成解说，具体包括：
14、步骤3-1）通过检索增强生成技术来优化大语言模型的赛事解说能力；
15、步骤3-2）使用提示词工程迭代优化大语言模型生成解说的提示词；
16、步骤3-3）将提示词输入大语言模型生成解说内容。
17、进一步地，所述通过检索增强生成技术来优化大语言模型的赛事解说能力，具体包括：
18、步骤3-1-1）搭建开发环境；
19、步骤3-1-2）构建解说知识库；
20、步骤3-1-3）解说知识库向量化并存储到解说知识向量数据库中；
21、步骤3-1-4）大语言模型接入langchain框架。
22、进一步地，所述解说知识库用于优化大语言模型，提供全面的体育解说知识，提升大语言模型生成解说的专业性和精准性；解说知识库包含以下三类内容：来源于维基百科、相关官网的比赛项目知识，来源于各大体育赛事网站和解说职业平台上赛事解说教程，以及高规格赛事的知名媒体英文转播视频的人工解说脚本；解说知识库的内容格式为markdown和pdf两类；使用jina.ai/reader api工具提取网页html内容并转为markdown格式，通过通义听悟工具提取mp4比赛视频的解说语音转录文本，并作为解说文本pdf文件保存为pdf格式；
23、所述大语言模型接入langchain框架具体包括：获取智谱glm4大语言模型api，编程将智谱glm4大语言模型api接入langchain框架，langchain提供从提示词输入大语言模型到大语言模型输出结果解析的链式结构；加载步骤3-1-3）中存储的解说知识向量数据库，使用langchain中的函数构建检索问答链；此时用户输入提示词，检索问答链会在解说知识向量数据库中检索和提示词相关的内容，将其与用户输入的提示词结合在一起，然后输入到大语言模型中获取回复。
24、进一步地，所述解说知识库向量化并存储到解说知识向量数据库中具体包括：
25、首先编写代码进行解说知识库的文件读取和解析，使用langchain框架中的unstructuredmarkdownloader用于读取markdown格式的解说教程和知识内容；使用pymupdfloader对解说文本pdf文件进行解析；将markdown和pdf格式的解说知识库内容统一存储为python中的数据格式；
26、然后编写代码，使用文本替换的算法，去除解说知识库内容中多余的换行符、空格等不必要的字符，提高后续检索的效率；再将解说知识库中的markdown和pdf文件按照每个分段1000个字符的标准进行分段，防止文件内容超过大语言模型处理能力，提高后续检索和信息查找的速度；
27、接下来使用智谱的向量化api将分段后的解说知识库中的内容向量化形成向量化的结果，即从字符转为向量的数学表示，便于使用余弦相似度算法进行检索；然后向量化的结果存储在langchain框架集成的轻量化向量数据库chroma中，得到解说知识向量数据库；当大语言模型需要进行赛事解说时，首先从解说知识向量数据库中检索最相关的知识，结合当前的输入进行生成。
28、进一步地，所述使用提示词工程迭代优化大语言模型生成解说的提示词，具体包括：
29、步骤3-2-1）设计用于生成解说的提示词，具体包括以下要素：
30、（1）角色设定：设定大语言模型的角色为赛事解说员，引导大语言模型生成符合需求的内容；
31、（2）任务信息：分步、清晰告知大语言模型进行解说的具体步骤，确保大语言模型能够充分理解解说任务；
32、（3）视频动作：将视频分析模块识别出的技术动作发生的时间和动作类型包含到提示词内，让大语言模型了解比赛过程中的技术动作；
33、（4）解说示例：给出一段示例解说，让大语言模型明确需要生成何种形式的解说内容；
34、步骤3-本文档来自技高网...
【技术保护点】
1.一种基于大语言模型的体育比赛解说生成方法，其特征是利用基于大语言模型的体育比赛解说生成系统进行体育比赛解说；所述基于大语言模型的体育比赛解说生成系统包括视频分析模块、大语言模型解说模块、解说生成系统开发模块；所述利用基于大语言模型的体育比赛解说生成系统进行体育比赛解说的具体过程包括：
2.根据权利要求1所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述利用视频分析模块识别体育赛事视频中的动作信息，具体包括对体育比赛视频进行动作定位与识别，分析出赛事中的动作信息；所述动作信息包括技术动作发生的时间和动作类型。
3.根据权利要求1所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述大语言模型为智谱GLM4大语言模型。
4.根据权利要求1所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述利用视频分析模块识别体育赛事视频中的动作信息的具体过程包括：
5.根据权利要求1所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述大语言模型解说模块利用大语言模型对接收到的动作信息进行处理生成解说，具体包括：>
6.根据权利要求5所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述通过检索增强生成技术来优化大语言模型的赛事解说能力，具体包括：
7. 根据权利要求6所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述解说知识库用于优化大语言模型，提供全面的体育解说知识，提升大语言模型生成解说的专业性和精准性；解说知识库包含以下三类内容：来源于维基百科、相关官网的比赛项目知识，来源于各大体育赛事网站和解说职业平台上赛事解说教程，以及高规格赛事的知名媒体英文转播视频的人工解说脚本；解说知识库的内容格式为markdown和pdf两类；使用Jina.ai/Reader API工具提取网页html内容并转为markdown格式，通过通义听悟工具提取mp4比赛视频的解说语音转录文本，并作为解说文本pdf文件保存为pdf格式；
8.根据权利要求6所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述解说知识库向量化并存储到解说知识向量数据库中具体包括：
9.根据权利要求5所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述使用提示词工程迭代优化大语言模型生成解说的提示词，具体包括：
10.根据权利要求5所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述步骤4）利用解说生成系统开发模块将视频分析模块识别出的动作信息与大语言模型解说模块生成的解说进行结合，形成交互式解说生成系统的具体过程包括：用户上传体育赛事视频后，解说生成系统开发模块调用视频分析模块识别出的动作信息，视频分析模块输出保存动作信息的JSON内容；步骤3-2)设计的提示词中的动作信息就是来源于视频分析模块输出的保存动作信息的JSON内容，将结合了动作信息的提示词输入到步骤3-1）通过检索增强生成技术来优化的大语言模型中，大语言模型返回生成的解说内容。
...【技术特征摘要】
1.一种基于大语言模型的体育比赛解说生成方法，其特征是利用基于大语言模型的体育比赛解说生成系统进行体育比赛解说；所述基于大语言模型的体育比赛解说生成系统包括视频分析模块、大语言模型解说模块、解说生成系统开发模块；所述利用基于大语言模型的体育比赛解说生成系统进行体育比赛解说的具体过程包括：
2.根据权利要求1所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述利用视频分析模块识别体育赛事视频中的动作信息，具体包括对体育比赛视频进行动作定位与识别，分析出赛事中的动作信息；所述动作信息包括技术动作发生的时间和动作类型。
3.根据权利要求1所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述大语言模型为智谱glm4大语言模型。
4.根据权利要求1所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述利用视频分析模块识别体育赛事视频中的动作信息的具体过程包括：
5.根据权利要求1所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述大语言模型解说模块利用大语言模型对接收到的动作信息进行处理生成解说，具体包括：
6.根据权利要求5所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述通过检索增强生成技术来优化大语言模型的赛事解说能力，具体包括：
7. 根据权利要求6所述的一种基于大语言模型的体育比赛解说生成方法，其特征是所述解说知识库用于优化大语言模型，提供全面的体育解说知识，提升大语言模...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。