一种在时间轴模式下动态节省视音频解码资源的方法技术

本发明专利技术涉及视音频文件处理技术领域，具体涉及一种在时间轴模式下动态节省视音频解码资源的方法，通过将不同视音频文件先分别解码到独立的母时间轴上和对应的子时间轴下，并对每个视音频文件采样，并在每个采样的片段上进行标记，通过对比不同视音频文件采样的画面和视频片段判断视音频文件是否来自于同一个解码文件，如果相同则关闭其中一个，从而节省解码资源的占用空间；同时，采样的片段上的对比标记上具有序号信息，因此相同序号的下的对比标记对应的采样片段应该是同一时间播放出来的，如果不是，则记录下时间差，通过在后续播放中进行补偿使得后续的相同序号的对比标记出现时间一致，从而解决视音频解码播放过程中的音画不同步的现象。

A method of dynamic saving video and audio decoding resources in time axis mode

【技术实现步骤摘要】
一种在时间轴模式下动态节省视音频解码资源的方法
本专利技术涉及领域，具体是一种在时间轴模式下动态节省视音频解码资源的方法。
技术介绍
作为一种视音频的编辑方式，时间轴为用户提供了很直观的节目编辑和控制能力。在时间轴模式下，用户可以将任意媒体资源通过拖拽的方式添加到时间轴的任意轨道上，也可以随意在时间轴上编辑媒体的各种属性，如播放起始点，播放时长，转场效果，视频特效，工作指令等等。基于时间轴编辑视音频时，整个节目内核是工作在同步模式下的，简单来讲，就是每个媒体的解码都将参考同一时钟。现有的时间轴模式下的视音频解码为多个同步轨道同时对视音频进行解码和播放，也就是说，资源管理器分别为多个同步轨道上的多个视音频资源分配独立的空间，哪怕多个轨道上的节目资源来自于同一个解码文件，因此会造成资源空间浪费；并且，现有的时间轴模式下解码并播放视频时，容易出现声音与画面不同步的现象，十分影响视频的试听体验。
技术实现思路
有鉴于此，本专利技术的目的是提供一种在时间轴模式下动态节省视音频解码资源的方法，可以节省视音频解码资源对时间轴的占用空间；同时，可以解决视频在播放过程中声音和画面不同步的现象。本专利技术的一种在时间轴模式下动态节省视音频解码资源的方法，包括步骤：步骤一：创建多个独立的母时间轴，将多个视音频文件分别对应解码在多个所述母时间轴上；步骤二：在每条所述母时间轴下面创建多个子时间轴，并将每个视音频文件对应的视频、音频和其他信息分别对应解码至多个所述子时间轴上，所述子时间轴根据解码的资源的类型分别为视频轨道、音频轨道和其他轨道；步骤三：在所述子时间轴上对视音频文件的视频轨道和音频轨道进行采样，并将采样到的每一帧画面和音频片段打上具有序号信息的对比标记；步骤四：对每个所述母时间轴下对应的所述子时间轴下面的所有的所述对比标记对应的画面和音频片段进行相似度对比，并设置相似度阈值，如果对比相似度大于所述相似度阈值，则判断为同一个视音频文件；步骤五：关闭后一个所述母时间轴的视音频文件，并将后一个所述母时间轴与前一个所述母时间轴对应共用同一个视音频文件；步骤六：播放时，将所述视频轨道和音频轨道上的第一个所述对比标记和最后一个所述对比标记进行对齐，并将中间的所述对比标记的序号信息进行对齐播放。进一步，所述其他轨道包括包含字幕信息的字幕轨道和包含马赛克信息的马赛克轨道。进一步，所述对齐播放的步骤为:根据采样率fs得到采样的一帧画面和音频片段的间隔时间t；当所述音频轨道和视频轨道上序号信息一致的所述对比标记在时间轴上的播放顺序出现时差Δt时，记录下所述时差t并在后续的播放将较快的一条轨道上以的比例进行降速播放，或者以将较慢的一条轨道以的比例进行提速播放，降速或者提速的轨道直到到达下一个所述对比标记时，再次进行对比；重复上述步骤，直到Δt＝0，所述音频轨道和视频轨道上的所述对比标记的序号信息对齐。进一步，对所属音频轨道和视频轨道采样的材料频率范围为：0.1-1Hz。进一步，所述音频轨道和视频轨道采样的第一帧画面和第一段音频片段位于视频和音频的开始，最后一帧画面和最后一段音频片段位于视频和音频的末尾。本专利技术的有益效果是：本专利技术的一种在时间轴模式下动态节省视音频解码资源的方法，通过将不同视音频文件先分别解码到独立的母时间轴上，并将每个视音频文件的视频、音频和其他信息分别解码在所述母时间轴下的子时间轴下，将每个视音频文件的视频和音频轨道进行采样并在每个采样的画面和音频段上打上具有序号信息的对比标记，通过对比不同视音频文件采样的画面和视频片段判断视音频文件是否来自于同一个解码文件，如果相同则关闭其中一个，从而节省解码资源的占用空间；同时，视频轨道和音频轨道上的对比标记上具有序号信息，因此相同序号的下的对比标记对应的采样片段应该是同一时间播放出来的，如果不是同一时间，则记录下时间差，通过在后续播放中进行补偿使得后续的相同序号的对比标记出现时间一致，从而解决视音频解码播放过程中的声音和画面不一致的现象。附图说明下面结合附图和实施例对本专利技术作进一步描述：图1为本专利技术的工作流程图。具体实施方式如图1所示：本实施例的一种在时间轴模式下动态节省视音频解码资源的方法，包括步骤：步骤一：创建多个独立的母时间轴，将多个视音频文件分别对应解码在多个所述母时间轴上；步骤二：在每条所述母时间轴下面创建多个子时间轴，并将每个视音频文件对应的视频、音频和其他信息分别对应解码至多个所述子时间轴上，所述子时间轴根据解码的资源的类型分别为视频轨道、音频轨道和其他轨道；步骤三：在所述子时间轴上对视音频文件的视频轨道和音频轨道进行采样，并将采样到的每一帧画面和音频片段打上具有序号信息的对比标记，对比标记通过电脑直接编辑在视音频文件里；步骤四：对每个所述母时间轴下对应的所述子时间轴下面的所有的所述对比标记对应的画面和音频片段进行相似度对比，并设置相似度阈值，如果对比相似度大于所述相似度阈值，则判断为同一个视音频文件，图像的相似度对比可以通过SIFT算法进行计算，由于为现有技术，本实施例中故不赘述，音频片段的对比可直接通过比较解码出来的PCM音频数据编码对应值进行简单对比，由于有大量的采样数据数量，因此如果所有的PCM音频数据编码对应值有很高的相似度，便可以将其视为相同；当两条母时间轴对应的视音频文件的相似度超过90％，则可以进入步骤五；步骤五：关闭后一个所述母时间轴的视音频文件，并将后一个所述母时间轴与前一个所述母时间轴对应共用同一个视音频文件，以节约视音频资源解码占用的空间，需要说明的是，关闭解码资源之后仍然会存在两条独立的母时间轴，在两天独立的母时间轴下对该视音频进行编辑之后会保存在同一个视音频文件里面；步骤六：播放时，将所述视频轨道和音频轨道上的第一个所述对比标记和最后一个所述对比标记进行对齐，并将中间的所述对比标记的序号信息进行对齐播放，从而解决视音频文件在播放过程中声音和画面不同步的现象。通过将不同视音频文件先分别解码到独立的母时间轴上，并将每个视音频文件的视频、音频和其他信息分别解码在所述母时间轴下的子时间轴下，将每个视音频文件的视频和音频轨道进行采样并在每个采样的画面和音频段上打上具有序号信息的对比标记，通过对比不同视音频文件采样的画面和视频片段判断视音频文件是否来自于同一个解码文件，如果相同则关闭其中一个，从而节省解码资源的占用空间；同时，视频轨道和音频轨道上的对比标记上具有序号信息，因此相同序号的下的对比标记对应的采样片段应该是同一时间播放出来的，如果不是同一时间，则记录下时间差，通过在后续播放中进行补偿使得后续的相同序号的对比标记出现时间一致，从而解决视音频解码播放过程中的声音和画面不一致的现象。本实施例中，所述其他轨道包括包含字幕信息的字幕轨道和包含马赛克信息的马赛克轨道，在视频编辑中还可以包括其他特定信息的轨道。本实施例中，所述对齐播放的步骤为:本文档来自技高网...

【技术保护点】
1.一种在时间轴模式下动态节省视音频解码资源的方法，其特征在于：包括步骤；/n步骤一：创建多个独立的母时间轴，将多个视音频文件分别对应解码在多个所述母时间轴上；/n步骤二：在每条所述母时间轴下面创建多个子时间轴，并将每个视音频文件对应的视频、音频和其他信息分别对应解码至多个所述子时间轴上，所述子时间轴根据解码的资源的类型分别为视频轨道、音频轨道和其他轨道；/n步骤三：在所述子时间轴上对视音频文件的视频轨道和音频轨道进行采样，并将采样到的每一帧画面和音频片段打上具有序号信息的对比标记；/n步骤四：对每个所述母时间轴下对应的所述子时间轴下面的所有的所述对比标记对应的画面和音频片段进行相似度对比，并设置相似度阈值，如果对比相似度大于所述相似度阈值，则判断为同一个视音频文件；/n步骤五：关闭后一个所述母时间轴的视音频文件，并将后一个所述母时间轴与前一个所述母时间轴对应共用同一个视音频文件；/n步骤六：播放时，将所述视频轨道和音频轨道上的第一个所述对比标记和最后一个所述对比标记进行对齐，并将中间的所述对比标记的序号信息进行对齐播放。/n

【技术特征摘要】
1.一种在时间轴模式下动态节省视音频解码资源的方法，其特征在于：包括步骤；
步骤一：创建多个独立的母时间轴，将多个视音频文件分别对应解码在多个所述母时间轴上；
步骤二：在每条所述母时间轴下面创建多个子时间轴，并将每个视音频文件对应的视频、音频和其他信息分别对应解码至多个所述子时间轴上，所述子时间轴根据解码的资源的类型分别为视频轨道、音频轨道和其他轨道；
步骤三：在所述子时间轴上对视音频文件的视频轨道和音频轨道进行采样，并将采样到的每一帧画面和音频片段打上具有序号信息的对比标记；
步骤四：对每个所述母时间轴下对应的所述子时间轴下面的所有的所述对比标记对应的画面和音频片段进行相似度对比，并设置相似度阈值，如果对比相似度大于所述相似度阈值，则判断为同一个视音频文件；
步骤五：关闭后一个所述母时间轴的视音频文件，并将后一个所述母时间轴与前一个所述母时间轴对应共用同一个视音频文件；
步骤六：播放时，将所述视频轨道和音频轨道上的第一个所述对比标记和最后一个所述对比标记进行对齐，并将中间的所述对比标记的序号信息进行对齐播放。


2.根据权利要求1所述的一种在时间轴模式下动态节省视音频解码资源的...

【专利技术属性】
技术研发人员：王维，张万忠，
申请(专利权)人：北京凯视达科技有限公司，
类型：发明
国别省市：北京;11