一种视频混流方法、视频系统及服务器技术方案

本发明专利技术提供一种视频混流方法，一方面，服务器在混流视频流时，同时生成每条视频流所携带的标识信息与第一视频图像在混合视频流的视频画面中的显示位置的关联信息。服务器只需进行一次混流处理，减轻了服务器的混流负担。另一方面，客户端可根据关联信息找到与标识信息对应的第一视频图像的显示位置，并将该第一视频图像替换为实时采集的第二视频图像，从而解决了视频画面与本人动作的延迟问题。

【技术实现步骤摘要】
一种视频混流方法、视频系统及服务器
本专利技术涉及流媒体
，尤其涉及一种视频混流方法、视频系统及服务器。
技术介绍
在视频会议中，参与会议的各用户需要将实时拍摄的视频图像以视频流的形式上传到服务器进行混流处理。处理后的混合视频流下发到各客户端，以使用户在混合视频流的视频画面中能看到其他用户实时获取的视频图像。服务器有两种混流方法，第一种是将各用户上传的视频都混流合并成一路混合视频流，并返回至各客户端，每个用户接收到的混合视频流都是一样的。用户在所返回的混合视频流的视频画面中会看到包括本人的所有参会人员的视频图像，但由于包括本人的视频图像经过上传、混流、下载，会与本人的动作有延迟，导致用户体验较差。第二种是服务器进行多次不同视频流的组合混流，返回至各客户端的混合视频流并不一样，混合视频流中不包含本人上传的视频流，即当有N个参会人员时，服务器需要进行N次混流。这样虽然能解决上述延迟问题，但参会人员较多时，服务器混流负担过重。
技术实现思路
本专利技术提供了一种视频混流方法、视频系统及服务器，既可以解决视频画面与本人动作的延迟问题，又可以减轻服务器的混流负担。根据本专利技术实施例的第一方面，提供一种视频混流方法，应用于服务器，所述服务器与至少两个客户端连接，所述方法包括：接收至少两个客户端发送的视频流，所述视频流中携带与所述客户端对应的标识信息以及第一视频图像；将所接收到的至少两路视频流进行混流处理，得到混合视频流；基于所述第一视频图像在所述混合视频流的视频画面中的显示位置，确定所述显示位置与所述标识信息的关联信息；将所述混合视频流与所述关联信息下发至与所述标识信息对应的客户端，以使所述客户端基于所述关联信息，在所述混合视频流的视频画面中查找与所述标识信息相应的第一目标显示位置，并在所述第一目标显示位置上将所述第一视频图像替换为实时采集的第二视频图像。根据本专利技术实施例的第二方面，提供一种视频混流方法，应用于客户端，所述方法包括：采集第一视频图像；向服务器上传视频流，所述视频流携带与所述客户端对应的标识信息以及第一视频图像，以使所述服务器将至少两个客户端采集的视频流进行混流处理，得到混合视频流；并基于所述第一视频图像在所述混合视频流的视频画面中的显示位置，确定所述显示位置与所述标识信息的关联信息；接收所述服务器下发的所述混合视频流与所述关联信息，基于所述关联信息，在所述混合视频流的视频画面中查找与所述标识信息相应的第一目标显示位置；将所述第一目标显示位置上的第一视频图像替换为实时采集的第二视频图像。根据本专利技术实施例的第三方面，提供一种视频系统，包括服务器和与之相连的至少两个客户端，所述客户端，用于采集第一视频图像后，向所述服务器上传视频流，所述视频流携带与所述客户端对应的标识信息以及第一视频图像；所述服务器，用于将所接收到的至少两路视频流进行混流处理，得到混合视频流；以及基于所述第一视频图像在所述混合视频流的视频画面中的显示位置，确定所述显示位置与所述标识信息的关联信息；以及将所述混合视频流与所述关联信息下发至与所述标识信息对应的客户端；所述客户端，还用于基于所述关联信息，在所述混合视频流的视频画面中查找与所述标识信息相应的第一目标显示位置；以及将所述第一目标显示位置上的第一视频图像替换为实时采集的第二视频图像。根据本专利技术实施例的第四方面，提供一种服务器，所述服务器与至少两个客户端连接，所述服务器包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：接收至少两个客户端发送的视频流，所述视频流中携带与所述客户端对应的标识信息以及第一视频图像；将所接收到的至少两路视频流进行混流处理，得到混合视频流；基于所述第一视频图像在所述混合视频流的视频画面中的显示位置，确定所述显示位置与所述标识信息的关联信息；将所述混合视频流与所述关联信息下发至与所述标识信息对应的客户端，以使所述客户端基于所述关联信息，在所述混合视频流的视频画面中查找与所述标识信息相应的第一目标显示位置，并在所述第一目标显示位置上将所述第一视频图像替换为实时采集的第二视频图像。本专利技术的实施例提供的技术方案可以包括以下有益效果：本专利技术提供了一种视频混流方法，一方面，服务器在混流视频流时，同时生成每条视频流所携带的标识信息与第一视频图像在混合视频流的视频画面中的显示位置的关联信息。服务器只需进行一次混流处理，减轻了服务器的混流负担。另一方面，客户端可根据关联信息找到与标识信息对应的第一视频图像的显示位置，并将该第一视频图像替换为实时采集的第二视频图像，从而解决了视频画面与本人动作的延迟问题。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本专利技术的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1A是本专利技术根据一示例性实施例示出的一种视频混流方法的应用场景。图1B是本专利技术根据一示例性实施例示出的一种视频混流方法的示意图。图1C是本专利技术根据另一示例性实施例示出的一种视频混流方法的示意图。图2是本专利技术根据一示例性实施例示出的一种视频混流方法的流程图。图3是本专利技术根据一示例性实施例示出的视频画面中显示位置的编号标识。图4是本专利技术根据另一示例性实施例示出的一种视频混流方法的流程图。图5是本专利技术根据一示例性实施例示出的视频画面。图6是本专利技术根据另一示例性实施例示出的一种视频混流方法的应用场景。图7是本专利技术根据另一示例性实施例示出的一种视频混流方法的流程图。图8A是本专利技术根据另一示例性实施例示出的一种视频混流方法的示意图。图8B是本专利技术根据一示例性实施例示出的视频画面显示位置的编号标识。图9是本专利技术根据另一示例性实施例示出的一种视频混流方法的流程图。图10是本专利技术根据另一示例性实施例示出的一种视频混流方法的流程图。图11是本专利技术根据另一示例性实施例示出的一种视频混流方法的流程图。图12是本专利技术根据另一示例性实施例示出的一种视频系统的示意图。图13是本专利技术根据另一示例性实施例示出的一种服务器的结构框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。在本专利技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示本文档来自技高网...

【技术保护点】
1.一种视频混流方法，应用于服务器，所述服务器与至少两个客户端连接，其特征在于，所述方法包括：/n接收至少两个客户端发送的视频流，所述视频流中携带与所述客户端对应的标识信息以及第一视频图像；/n将所接收到的至少两路视频流进行混流处理，得到混合视频流；/n基于所述第一视频图像在所述混合视频流的视频画面中的显示位置，确定所述显示位置与所述标识信息的关联信息；/n将所述混合视频流与所述关联信息下发至与所述标识信息对应的客户端，以使所述客户端基于所述关联信息，在所述混合视频流的视频画面中查找与所述标识信息相应的第一目标显示位置，并在所述第一目标显示位置上将所述第一视频图像替换为实时采集的第二视频图像。/n

【技术特征摘要】
1.一种视频混流方法，应用于服务器，所述服务器与至少两个客户端连接，其特征在于，所述方法包括：
接收至少两个客户端发送的视频流，所述视频流中携带与所述客户端对应的标识信息以及第一视频图像；
将所接收到的至少两路视频流进行混流处理，得到混合视频流；
基于所述第一视频图像在所述混合视频流的视频画面中的显示位置，确定所述显示位置与所述标识信息的关联信息；
将所述混合视频流与所述关联信息下发至与所述标识信息对应的客户端，以使所述客户端基于所述关联信息，在所述混合视频流的视频画面中查找与所述标识信息相应的第一目标显示位置，并在所述第一目标显示位置上将所述第一视频图像替换为实时采集的第二视频图像。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收客户端发送的音频流，所述音频流携带所述标识信息；
向所述至少两个客户端下发所述音频流，以使所述客户端基于所述关联信息，在所述混合视频流的视频画面中查找所述音频流所携带的标识信息对应的第二目标显示位置，并在所述第二目标显示位置的区域内添加音频图标。


3.根据权利要求1所述的方法，其特征在于，所述服务器还与其他服务器连接，所述方法还包括：
接收其他服务器发送的混合视频流；
将所述混合视频流与所述关联信息以及其他服务器发送的混合视频流下发至与所述标识信息对应的客户端；
所述客户端查找所述第一目标显示位置之前，还包括：
将接收到的所有混合视频流的视频画面进行合并，得到合并视频画面，并确定所有混合视频流的视频画面在所述合并视频画面中的显示位置。


4.根据权利要求3所述的方法，其特征在于，所述其他服务器发送的混合视频流还携带有：
其他客户端的第一视频图像在混合视频流的视频画面中的显示位置与其他客户端对应的标识信息的关联信息；
所述关联信息还携带流标识，所述流标识用于标识生成所述混合视频流的服务器；
所述客户端查找所述第一目标显示位置之前，还包括：
根据所述流标识查找对应的关联信息。


5.一种视频混流方法，应用于客户端，其特征在于，所述方法包括：
采集第一视频图像；
向服务器上传视频流，所述视频流携带与所述客户端对应的标识信息以及第一视频图像，以使所述服务器将至少两个客户端采集的视频流进行混流处理，得到混合视频流；并基于所述第一视频图像在所述混合视频流的视频画面中的显示位置，确定所述显示位置与所述标识信息的关联信息；
接收所述服务器下发的所述混合视频流与所述关联信息；
基于所述关联信息，在所述混合视频流的视频画面中查找与所述标识信息相应的第一目标显示位置；
将所述第一目标显示位置上的第一视频图像替换为实时采集的第二视频图像。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
接收所述服务器下发的音频流，所述音频流携带所述标...

【专利技术属性】
技术研发人员：林正显，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：广东;44