多媒体数据的编码、解码方法及编码、解码装置制造方法及图纸

本发明专利技术适用于数据通信技术领域，提供了多媒体数据的编码、解码方法及编码、解码装置，所述方法包括：获取预设格式的视频数据流，所述视频数据流未经过压缩处理且其中包含L个图像帧；生成与所述L个图像帧分别相关的L个体感控制数据包；基于所述L个图像帧在所述视频数据流中的排序，将所述L个体感控制数据包依序排列，得到体感数据流；通过预设算法将多种类型的数据流合成得到多媒体文件，所述多种类型的数据流至少包括所述视频数据流和所述体感数据流；所述L为大于或等于1的整数。本发明专利技术能够将视频数据与体感数据编码成一个多媒体文件，简单高效地实现了与视频内容相匹配的体感模拟，节约了因大量后期技术加工所产生的时间成本。

【技术实现步骤摘要】

本专利技术属于数据通信
，尤其涉及多媒体数据的编码、解码方法及编码、解码装置。
技术介绍
多媒体是指组合两种或两种以上媒体的一种人机交互式信息交流和传播媒体，使用的媒体包括文字、图片、声音、动画和影片，以及程式所提供的互动功能。随着科学技术的发展，多媒体技术除了可以通过计算机为用户带来视觉体验和听觉体验，还可以对人所具有的其他体感进行模拟，包括对触感、力感、温感、湿感、风感、嗅觉等一切人体所具有的感知进行模拟，以为用户带来体感方面的交互体验。体感传感的实现原理为：向附着在人体体表的体感传感装置发送体感控制信号，以控制体感传感装置向人体进行各类体感反馈。例如，在虚拟现实(VirtualReality，VR)游戏中与虚拟人物握手时，通过力反馈控制信号对位于手部的力传感器产生的力度大小及持续时间进行控制，从而带来与游戏中的握手行为相匹配的力反馈体验。然而，技术人员在研发过程中发现，现有技术至少存在以下技术缺陷：现有的视频内容提供商及各类体感设备供应商各自独立提供服务，视频内容与体感传感控制信号的格式也各不相同，因此，若要产生与视频内容相匹配的体感体验，需要对二者的结合或同步输出进行大量的后期技术加工，会耗费大量的时间成本。
技术实现思路
有鉴于此，本专利技术实施例提供了多媒体数据的编码、解码方法及编码、解码装置，以解决现有技术中若要产生与视频内容相匹配的体感体验，需要对二者的结合或同步输出进行大量的后期技术加工，会耗费大量的时间成本的问题。第一方面，本专利技术实施例提供了一种多媒体数据的编码方法，所述方法包括：获取预设格式的视频数据流，所述视频数据流未经过压缩处理且其中包含L个图像帧；生成与所述L个图像帧分别相关的L个体感控制数据包；基于所述L个图像帧在所述视频数据流中的排序，将所述L个体感控制数据包依序排列，得到体感数据流；通过预设算法将多种类型的数据流合成得到多媒体文件，所述多种类型的数据流至少包括所述视频数据流和所述体感数据流；所述L为大于或等于1的整数。作为第一方面的第一种可能的实现方式，所述生成与所述L个图像帧分别相关的L个体感控制数据包包括：获取与图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包；所述M和所述N均为大于或等于1的整数。结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述生成与所述L个图像帧分别相关的L个体感控制数据包还包括；若未获取到与该图像帧相关的第i个身体点位的第j种类型的体感传感装置的控制信息，在该控制信息对应的每个数据位均写入预设字符；所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述预设字符为0。结合第一方面或第一方面的任一种可能的实现方式，在第四种可能的实现方式中，所述获取预设格式的视频数据流包括：通过格式转换获取到预设格式的所述视频数据流。第二方面，一种多媒体数据的编码装置，所述装置包括：获取单元，用于获取预设格式的视频数据流，所述视频数据流未经过压缩处理且其中包含L个图像帧；生成单元，用于生成与所述L个图像帧分别相关的L个体感控制数据包；排列单元，用于基于所述L个图像帧在所述视频数据流中的排序，将所述L个体感控制数据包依序排列，得到体感数据流；合成单元，用于通过预设算法将多种类型的数据流合成得到多媒体文件，所述多种类型的数据流至少包括所述视频数据流和所述体感数据流；所述L为大于或等于1的整数。作为第二方面的第一种可能的实现方式，所述生成单元包括：获取子单元，用于获取与该图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；第一写入子单元，用于将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包；所述M和所述N均为大于或等于1的整数。结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述生成单元还包括；第二写入子单元，用于若未获取到与该图像帧相关的第i个身体点位的第j种类型的体感传感装置的控制信息，在该控制信息对应的每个数据位均写入预设字符；所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述预设字符为0。结合第一方面或第一方面的任一种可能的实现方式，在第四种可能的实现方式中，所述获取单元具体用于：通过格式转换获取到预设格式的所述视频数据流。本专利技术实施例基于视频数据流的每个图像帧生成体感控制数据包，得到体感数据流，并将视频数据流和体感数据流合成为多媒体文件，从而能够将视频数据与体感数据编码成一个多媒体文件，以实现视频数据与相关的体感数据的同步输出，简单高效地实现了与视频内容相匹配的体感模拟，节约了因大量后期技术加工所产生的时间成本。第三方面，本专利技术实施例提供了一种多媒体数据的解码方法，所述方法包括：通过预设算法对多媒体文件进行解析，得到多种类型的数据流，所述多种类型的数据流至少包括视频数据流和体感数据流，所述体感数据流由体感控制数据包排列得到，每个所述体感控制数据包依序分别与所述视频数据流中的一个图像帧相关；基于同一预设帧率，输出所述视频数据流至视频播放装置，并同步输出所述体感数据流中的所述体感控制数据包至体感传感装置。作为第三方面的第一种可能的实现方式，所述同步输出所述体感数据流中的所述体感控制数据包至体感传感装置包括：从所述体感控制数据包中解析出M个身体点位的体感控制数据；从解析出的第i个身体点位的体感控制数据中解析出N种类型的体感传感装置的控制信息；将解析出的所述控制信息分别输出至第i个身体点位上的N种类型的体感传感装置中；所述M、所述N和所述i均为大于或等于1的整数，且所述i小于或等于M。结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述同步输出所述体感数据流中的所述体感控制数据包至体感传感装置还包括：若所述体感控制数据包中，第i个身体点位的第j种类型的体感传感装置对应的控制信息在每个数据位上均为预设字符，则在该体感控制数据包相关的图像帧播放的同时，停止输出该控制信息；所述j为大于或等于1的整数，且所述j小于或等于N。结合第三方面的第二种可能的实现方式，在第三种可能的实现方式中，所述预设字符为0。第四方面，本专利技术实施例提供了一种多媒体数据的解码装置，所述装置包括：解码单元，用于通过预设算法对多媒体文件进行解析，得到多种类型的数据流，所述多种类型的数据流至少包括视频数据流和体感数据流，所述体感数据流由体感控制数据包排列得到，每个所述体感控制数据包依序分别与所述视频数据流中的一个图像帧相关；输出单元，用于基于同一预设帧率，输出所述视频数据流至视频播放装置，并同步输出所述体感数据流中的所述体感控制数据包至体感传感装置。作为第四方面的第一种可能的实现方式，所述输出单元包括：第一解析子单元，用于从所述体感控制数据包中解析出M个身体点位的体感控制数据；第二解析子单元，用于从解析出的第i个身体点位的体感控制数本文档来自技高网...

【技术保护点】
一种多媒体数据的编码方法，其特征在于，所述方法包括：获取预设格式的视频数据流，所述视频数据流未经过压缩处理且其中包含L个图像帧；生成与所述L个图像帧分别相关的L个体感控制数据包；基于所述L个图像帧在所述视频数据流中的排序，将所述L个体感控制数据包依序排列，得到体感数据流；通过预设算法将多种类型的数据流合成得到多媒体文件，所述多种类型的数据流至少包括所述视频数据流和所述体感数据流；所述L为大于或等于1的整数。

【技术特征摘要】
1.一种多媒体数据的编码方法，其特征在于，所述方法包括：获取预设格式的视频数据流，所述视频数据流未经过压缩处理且其中包含L个图像帧；生成与所述L个图像帧分别相关的L个体感控制数据包；基于所述L个图像帧在所述视频数据流中的排序，将所述L个体感控制数据包依序排列，得到体感数据流；通过预设算法将多种类型的数据流合成得到多媒体文件，所述多种类型的数据流至少包括所述视频数据流和所述体感数据流；所述L为大于或等于1的整数。2.如权利要求1所述的方法，其特征在于，所述生成与所述L个图像帧分别相关的L个体感控制数据包包括：获取与图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包；所述M和所述N均为大于或等于1的整数。3.如权利要求2所述的方法，其特征在于，所述生成与所述L个图像帧分别相关的L个体感控制数据包还包括；若未获取到与该图像帧相关的第i个身体点位的第j种类型的体感传感装置的控制信息，在该控制信息对应的每个数据位均写入预设字符；所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。4.如权利要求3所述的方法，其特征在于，所述预设字符为0。5.如权利要求1至4任一项所述的方法，其特征在于，所述获取预设格式的视频数据流包括：通过格式转换获取到预设格式的所述视频数据流。6.一种多媒体数据的解码方法，其特征在于，所述方法包括：通过预设算法对多媒体文件进行解析，得到多种类型的数据流，所述多种类型的数据流至少包括视频数据流和体感数据流，所述体感数据流由体感控制数据包排列得到，每个所述体感控制数据包依序分别与所述视频数据流中的一个图像帧相关；基于同一预设帧率，输出所述视频数据流至视频播放装置，并同步输出所述体感数据流中的所述体感控制数据包至体感传感装置。7.如权利要求6所述的方法，其特征在于，所述同步输出所述体感数据流中的所述体感控制数据包至体感传感装置包括：从所述体感控制数据包中解析出M个身体点位的体感控制数据；从解析出的第i个身体点位的体感控制数据中解析出N种类型的体感传感装置的控制信息；将解析出的所述控制信息分别输出至第i个身体点位上的N种类型的体感传感装置中；所述M、所述N和所述i均为大于或等于1的整数，且所述i小于或等于M。8.如权利要求7所述的方法，其特征在于，所述同步输出所述体感数据流中的所述体感控制数据包至体感传感装置还包括：若所述体感控制数据包中，第i个身体点位的第j种类型的体感传感装置对应的控制信息在每个数据位上均为预设字符，则在该体感控制数据包相关的图像帧播放的同时，停止输出该控制信息；所述j为大于或等于1的整数，且所述j小于或等于N。9.如权利要求8所述的方法，其特征在于，所述预设字符为0。10.一种多媒体数据的编码装置，其特...

【专利技术属性】
技术研发人员：包磊，
申请(专利权)人：包磊，
类型：发明
国别省市：广东;44