一种适用于卫星数据通信网络的智慧视频传输协议制造技术

本发明专利技术是一种适用于卫星数据通信网络的智慧视频传输协议，所述方法包括以下步骤：步骤A:相关设备(编码器，解码服务器，视频接收者)保持在线。步骤B:实时视频数据及控制数据传输。本发明专利技术的目的是利用人工智能数据传输控制技术和自主创新的协议解决在高时延、低带宽、高误码率等数据通信网络环境下进行智慧视频监控点播应用，解决目前存在的高延时及协议过滤等导致的视频监控点播的低效能问题，降低视频监控点播服务对数据通信网络带宽的资源需求，改善用户体验，提升视频监控在卫星数据通信领域的效能，使卫星数据通信网络为基础的广域、低成本、高效率的智慧视频监控可以在行业内进行普及化应用。本发明专利技术兼容当前市场主流摄像头编码方式的视频传输，(包括H.26x系列，MPEG系列，WebM系列等各种视频编解码及传输协议)。

【技术实现步骤摘要】
一种适用于卫星数据通信网络的智慧视频传输协议
：本专利技术涉及卫星数据通信网络环境下的智慧视频传输领域，特别是涉及低带宽、高延时、高误码率、高成本的卫星数据通信网络的智慧视频传输协议，同时也适用于其它类似数据通信网络环境的智慧视频传输。
技术介绍
：针对当前固定轨道卫星通信所具有的高延时，高误码率，带宽资费昂贵，带宽资源不足等特性。在复杂的电磁波环境及有限的数据通信网络带宽的情况下，传统的视频传输技术面临着巨大的挑战，数据丢包、高时延、高误码率、高带宽需求等等伴随整个传统视频传输过程。除此之外，卫星数据通信应用场景中，因其占用带宽资源巨大，资费昂贵等原因，通常情况下，卫星数据通信运营方对视频流媒体协议(RTSP，RTMP等)进行了人为的严格限制，而且传统视频媒体协议本身的功能单一，也无法满足现代视频监控应用的需求。目前常见的传统视频监控应用解决方案普遍存在端到端握手频次高，无效信息冗余大，信令复杂，扩展难度大等弱点，难以满足卫星数据通信条件下的视频监控的应用需求。
技术实现思路
：本专利技术的目的是利用人工智能数据传输控制技术和自主创新的协议解决在高时延、低带宽、高误码率等数据通信网络环境下进行智慧视频监控点播应用，解决目前存在的高延时及协议过滤等导致的视频监控点播的低效能问题，降低视频监控点播服务对数据通信网络带宽的资源需求及资费，改善用户体验，提升视频监控在卫星数据通信领域的效能，使卫星数据通信网络为基础的广域、低成本、高效率的智慧视频监控可以在行业内进行普及化应用。本专利技术兼容当前市场主流摄像头编码方式的视频传输，(包括H.26x系列，MPEG系列，WebM系列等各种视频编解码及传输协议)。本专利技术的技术方案是：一种适用于卫星数据通信网络的智慧视频传输协议，所述方法包括以下步骤：步骤A:设备保持在线(编码器，解码服务器，视频接收者)；步骤B:实时视频数据传输。其中解码服务器与设备间的信息按照：指令码/数据长度(4字节)+数据体的封包模式。所述的步骤A的方法包括：步骤A1：编码器注册与连接保持。编码器与解码服务器间建立Socket连接，编码器向解码服务器提交设备识别信息，解码服务器识别设备，校验编码器是否合法，不合法则解码服务器断开连接，合法的编码器将保持连接，并按照解码服务器指定的频率保持Socket网络连接，维持解码服务器与编码器的实时通信。链路物理链接被破坏后，即能通过Socket规则检测出来，并重新进行步骤A1，本步骤在点播过程中由持续点播接管，以降低网络消耗。步骤A2:视频接收者注册与连接保持。此步骤位于发起视频点播端，此时选择WebSocket进行视频接收者与解码服务器间的连接；视频接收者提交登录用户的基本信息标识，解码服务器判断合法性后，结果反馈给视频接收者；由于WebSocket内部集成长连接机制，不需要进行单独的WebSocket保持。检测到链路连接破坏后重新进行步骤A2。步骤A3:解码服务器需要部署有公网IP地址，通过Socket连接方式进行设备(编码器及视频接收者)的通信保持，解码服务器通过两端的设备路由映射表进行地址转换通信，建立视频接收者与编码器之间的通信通道。同时，解码服务器在实际部署中还可承担计费，视频备份，人工智能视觉识别事件处理及数据传输功能。步骤A1与步骤A2中，相同的视频场景传输使用了全新的实现方式，Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口，不包含传统视频传输协议的额外协议头，通信带宽需求低，传输效率极高，适合卫星数据通信的场景需求；WebSocket是应用层协议，数据传输需要额外的协议开销，消耗带宽较Socket大，开发难度低，可以适用于解码服务器与视频接收者之间的视频传输服务，即BS/CS端应用部署，以API接口形式提供应用服务。所述的步骤B的具体方法包括：步骤B1:视频接收者发起点播事件，并向解码服务器发送点播消息体，其中包含编码器摄像头名称，通道拼合方法(单通道、多通道)，编码参数，点播用户识别号等。步骤B2：解码服务器判断信令合法，按照通信信令结构重新打包向编码器发送点播参数信息。步骤B3：编码器接收到点播参数后，采用人工智能算法进行视频编码，向解码服务器发送点播状态，同时发送视频数据包。本专利技术不限定视频的来源，兼容网络协议(RTSP，RTMP，TS等)和直接设备取视频数据流(USB摄像头，CSI接口摄像头等)。步骤B4:解码服务器收到视频数据包进行解包操作，根据内容的不同进行分类处理，将需要通知视频接收者的信息进行重新打包，视频接收者通过相应反向算法对视频数据内容进行解码操作，即完成画面呈现。相对于其他主流视频流媒体方案，至少通过两次以上的交互通信，才能完成点播操作。本专利技术只需一次闭合通信(步骤B1,步骤B2,步骤B3，步骤B4)即可完成监控视频点播，最大限度消除了播放延时，非常适合卫星数据通信等高延时、低带宽、高误码率环境的视频点播应用。步骤B5:智能视觉识别事件通过在视频数据包之间穿插的方式进行应用，在不增加带宽的前提下完成更多的视觉识别信息传递，支持多种智慧功能的视频或场景的应用。本步骤包含以下三个阶段：步骤B51:编码器端由人工智能视觉识别、设备状态激发并发送的事件信息，主要包括摄像头状态,播放器时间同步，停止播放，及智能事件预警预报等信息在传输过程中需要设置特定的信令结构。步骤B52:解码服务器收到B51步骤发来的信息后，根据事件信息代码进行重新分类，若所属功能目标是编码器，则将结果分发到编码器，比如：媒体时间同步(判断网络是否有阻塞包，及媒体信息时间延时，通过评判周期内T＝(tl-t0)-(Tl-TO)判断，其中t0为上一次的编码器时间点，T0为解码服务器端的上次接到t0时的解码服务器时间，t1为本次编码器的时间点，T1为解码服务器接收到t1的解码服务器时间，实际使用中一般设置容忍度延时，我们认为Tor(例如：Tor＝2秒)是可接受的延时，当结果T<Tor为网络阻塞状态，通知编码器当前网络带宽资源低，当T>＝Tor为网络流畅状态，通知编码器当前网络带宽资源充足，编码器收到通知后，可以调整编码参数，使编码数据包与网络带宽资源匹配，视频传输效果在下一个周期得以展现)；步骤B53:若步骤B52分类结果所属功能目标是视频接收者，则将结果分发到视频接收者，比如:智慧视觉识别事件(人脸识别，场景分析，行为异动等)，视频媒体流开始、结束的标识，摄像头故障等信息。步骤B6:按30秒的播放时间段向视频接收者发送智慧视频数据，以避免由于编码器端网络链路中断造成的解码服务器无效占用。步骤B7:视频接收端按30秒时间间隔向解码服务器发送点播指令命令，由解码服务器转发至编码器，编码器端将根据指令实时调整播放终止的时间节点。若点播传输指令用时超过约定的时间间隔(30秒)，编码器将停止并退出当前视频压缩及编码进程，释放之前占用的卫星通信网络带宽资源。这样可以避免在通信传输的任何环节发生故障时对卫星带宽资源的无效占用，本本文档来自技高网...

【技术保护点】
1.一种适用于卫星数据通信网络的智慧视频传输协议。在基于广域、高时延、高误码率、低带宽、高成本的卫星数据通信网络环境中，建立由人工智能技术为核心的，以视频接收端为主导的智慧视频点播模式，点播过程中参与设备间采用创新的智慧协调机制，可大幅度提高卫星数据通信网络资源的利用率，实现相对高效、流畅、智慧的视频点播应用。其主要原理为，通过人工智能技术视频数据压缩算法，及编、解码双方的新型交互协议，提高卫星数据通信网络带宽使用率，满足卫星数据通信网络高时延、低带宽环境下的实时视频点播需求。其特征在于：所述方法包括以下步骤：步骤A:设备保持在线(编码器，解码服务器，视频接收者)；步骤B:实时视频数据传输。其中解码服务器与设备间的信息按照：指令码/数据长度(4字节)+数据体的封包模式。/n

【技术特征摘要】
1.一种适用于卫星数据通信网络的智慧视频传输协议。在基于广域、高时延、高误码率、低带宽、高成本的卫星数据通信网络环境中，建立由人工智能技术为核心的，以视频接收端为主导的智慧视频点播模式，点播过程中参与设备间采用创新的智慧协调机制，可大幅度提高卫星数据通信网络资源的利用率，实现相对高效、流畅、智慧的视频点播应用。其主要原理为，通过人工智能技术视频数据压缩算法，及编、解码双方的新型交互协议，提高卫星数据通信网络带宽使用率，满足卫星数据通信网络高时延、低带宽环境下的实时视频点播需求。其特征在于：所述方法包括以下步骤：步骤A:设备保持在线(编码器，解码服务器，视频接收者)；步骤B:实时视频数据传输。其中解码服务器与设备间的信息按照：指令码/数据长度(4字节)+数据体的封包模式。


2.根据权利要求1所述的一种适用于卫星数据通信网络的智慧视频传输协议。其特征在于:
所述的步骤A的方法包括：
步骤A1：编码器注册与连接保持。编码器与解码服务器间建立Socket连接，编码器向解码服务器提交设备识别信息，解码服务器识别设备，校验编码器是否合法，不合法则解码服务器断开连接，合法的编码器将保持连接，并按照解码服务器指定的频率保持Socket网络连接，维持解码服务器与编码器的实时通信。链路物理链接被破坏后，即能通过Socket规则检测出来，并重新进行步骤A1，本步骤在点播过程中由持续点播接管，以降低网络消耗。
步骤A2:视频接收者注册与连接保持。此步骤位于发起视频点播端，此时选择WebSocket进行视频接收者与解码服务器间的连接；视频接收者提交登录用户的基本信息标识，解码服务器判断合法性后，结果反馈给视频接收者；由于WebSocket内部集成长连接机制，不需要进行单独的WebSocket保持。检测到链路连接破坏后重新进行步骤A2。
步骤A3:解码服务器需要部署有公网IP地址，通过Socket连接方式进行设备(编码器及视频接收者)的通信保持，解码服务器通过两端的设备路由映射表进行地址转换通信，建立视频接收者与编码器之间的通信通道。同时，解码服务器在实际部署中还可承担计费，视频备份，人工智能视觉识别事件处理及数据传输功能。


3.根据权利要求1所述的一种适用于广域、高时延的卫星数据通信网络的智慧视频传输协议，其特征在于:
所述的步骤B的具体方法包括：
步骤B1:视频接收者发起点播事件，并向解码服务器发送点播消息体，其中包含编码器摄像头名称，通道拼合方法(单通道、多通道)，编码参数，点播用户识别号等。
步骤B2：解码服务器判断信令合法，按照通信信令结构重新打包向编码器发送点播参数信息。
步骤B3：编码器接收到点播参数后，采用人工智能算法进行视频编码，向解码服务器发送点播状态，同时发送视频数据包。本发明不限定视频的来源，兼容网络协议...

【专利技术属性】
技术研发人员：曹亮，赵强，刘宏峰，
申请(专利权)人：海宇星联山东智慧科技有限公司，
类型：发明
国别省市：山东;37