一种会议录制方法、装置及会议录制系统制造方法及图纸

本申请公开了一种会议录制方法、装置及会议录制系统。本申请方法包括：多点控制单元根据待录制人员的特征信息从各个会场终端发送的音视频码流中筛选需要录制的音视频码流；特征信息包括：图像信息或声音信息；多点控制单元将需要录制的音视频码流发送给录播服务器，以使录播服务器进行会议录制。由于待录制人员的特征信息(包括图像信息或声音信息)区别于其他参会人员的特征信息，该方法利用待录制人员的特征信息，实现对需要录制的音视频码流的自动筛选，从而无需人工筛选，节省会议录制的人工成本，同时大大提升会议录制效率。该方法提升会议录制的便捷性，促进视频会议功能的广泛应用。

【技术实现步骤摘要】
一种会议录制方法、装置及会议录制系统
本申请涉及多媒体
，尤其涉及一种会议录制方法、装置及会议录制系统。
技术介绍
会议录制是多媒体
的一个重要功能，通过录播服务器将多点控制单元(multipointcontrolunit,MCU)召开的会议内容录制下来，以用于会议转播、重播、后期制作等。随着视频会议越来越广泛的应用，在视频会议时进行会议录制也成为一种频繁且重要的需求。目前，会议录制一般是录制整个会议的音视频，但是后期需要查找某一个人的发言或者画面时，需要人工进行浏览和剪辑。这样的方式造成人力成本较高，同时，录制效率低下。
技术实现思路
为了解决以上技术问题，本申请提供一种会议录制方法、装置及会议录制系统，能够自动筛选需要录制的音视频码流，提升会议录制的效率，节省人力成本。第一方面，本申请提供一种会议录制方法，包括以下步骤：首先，多点控制单元依据待录制人员的特征信息，从各个会场终端发送的音视频码流中筛选需要录制的音视频码流。其中，特征信息可以包括：图像信息或声音信息。其后，多点控制单元将上一步筛选出的需要录制的音视频码流发送给录播服务器，由录播服务器进行会议录制。因为每个人的特征信息互不相同，因此，利用待录制人员的特征信息所筛选出的需要录制的音视频码流与该待录制人员准确对应。因此，应用该方法利用待录制人员的特征信息，可以将需要录制的音视频码流自动地筛选出来以进行录制。省去了人工筛选的环节，因此会议录制人工成本降低。另外，自动筛选也有效提升会议录制效率。会议录制的便捷性更高，为会议录制功能的应用拓展提供高效的实现方案。在实际应用中，录制需求是多样化的。例如，录制需求可能是1)录制待录制人员所在会场的整个音视频码流，录制需求也可能是2)录制待录制人员个人的音视频码流。下面针对以上两种不同的录制需求，描述具体筛选方式。对于录制需求1)，多点控制单元首先筛选待录制人员的会场终端，具体实现时，根据待录制人员的特征信息和各个会场终端发送的音视频码流筛选待录制人员对应的会场终端；其后，多点控制人员将筛选出的该会场终端发送的音视频码流，即整个音视频码流，全部作为需要录制的音视频码流。从而满足录制需求1)。对于录制需求2)，多点控制单元也需要首先筛选待录制人员的会场终端，此步骤与需求1)中实现方式类似。其后，多点控制单元从筛选出的会场终端发送的音视频码流中根据待录制人员的特征信息筛选该人员个人的音视频码流。例如，在会议过程中，某一待录制人员共发言三次，每次存在一定的时间间隔，如果其特征信息为声音信息，则本申请中可以具体筛选出其发言的三段音视频码流，以此作为需要录制的音视频码流。从而满足录制需求2)。可见，本申请提供的会议录制方法能够满足多种录制需求，因此适用性较强，满足会议录制场景下的多种录制应用。尤其对于录制需求2)无需人工进行剪辑，提升所录制会议后续应用的便利性。在筛选会场终端时，具体可以采用以下方式进行筛选：首先，多点控制单元将各个会场终端发送的音视频码流解码，得到解码后的视频码流和音频码流；如果特征信息包括图像信息，则多点控制单元利用图像信息与解码后的视频码流进行特征匹配，确定待录制人员对应的会场终端；如果特征信息包括声音信息，则多点控制单元利用声音信息与解码后的音频码流进行特征匹配，确定待录制人员对应的会场终端。可见，通过特征信息能够唯一且准确地确定待录制人员对应的会场终端，即其所在的会场配置的会场终端。因此可知待录制人员一定不在其他会场终端，这些其他会场终端发送的音视频码流即可高效过滤，减轻多点控制单元的分析与处理负担。实际应用中，会议场景下的多个会议终端可以统一为高级视频编码AVC会场终端，也可以统一为可伸缩视频编码SVC会场终端。下面针对不同的会议终端，对本申请方法的具体实现进行描述。可选地，会议终端均为AVC会场终端，当待录制人员对应至少两个不同的AVC会场终端时，多点控制单元筛选音视频码流，首先根据待录制人员的特征信息分别从至少两个不同的AVC会场终端发送的音视频码流中筛选需要录制的音视频码流。若需要录制的音视频码流包括需要录制的视频码流和需要录制的音频码流，则多点控制单元将需要录制的视频码流进行画面合成获得合成画面，将合成画面发送给录播服务器，将需要录制的音频码流进行混音后发送给录播服务器。当需要录制的音视频码流为多个待录制人员个人的音视频码流时，利用本实施例提供的会议录制方法由多点控制单元进行画面合成和混音并发送给录播服务器，大大减少网络带宽，并且节省了录播服务器的存储空间。此外，按照指定的待录制人员进行实时录制，避免人工后期制作的音频码流和视频码流的裁剪过程，节约人力成本，提高会议录制的效率。可选地，会议终端为SVC会场终端，当待录制人员对应至少两个不同的SVC会场终端时，多点控制单元筛选音视频码流，首先将适用于录播服务器的码流格式通知所有SVC会场终端；其后接收至少两个不同的SVC会场终端发送的适用于录播服务器的码流格式的音视频码流；最后根据待录制人员的特征信息从适用于录播服务器的码流格式的音视频码流中筛选需要录制的音视频码流。也就是说，筛选出的音视频码流的码流格式对于录播服务器来说，是可接收，可处理的。若需要录制的音视频码流包括需要录制的视频码流和需要录制的音频码流，则多点控制单元将至少两个不同的SVC会场终端对应的需要录制的视频码流发送给录播服务器，从而，由录播服务器对至少两个不同的SVC会场终端对应的需要录制的视频码流进行画面合成获得合成画面。混音则有多点控制单元进行，其将至少两个不同的SVC会场终端对应的需要录制的音频码流进行混音后发送给录播服务器。当需要录制的音视频码流为多个待录制人员个人的音视频码流时，利用本实施例提供的会议录制方法由多点控制单元进行混音并发送给录播服务器，由录播服务器对MCU筛选的对于多个待录制人员的需要录制的视频码流进行画面合成，最终进行会议录制，大大减少网络带宽，并且节省了录播服务器的存储空间。此外，本实施例按照指定的待录制人员进行实时录制，避免人工后期制作的音频码流和视频码流的裁剪过程，节约人力成本，提高会议录制的效率。可选地，多点控制单元根据待录制人员的特征信息从音视频码流中筛选需要录制的音视频码流，具体包括：多点控制单元根据待录制人员的特征信息利用预先训练的神经网络模型从音视频码流中筛选需要录制的音视频码流。利用神经网络模型进行音视频码流的筛选，提升了音视频码流的筛选效率，进而提升会议录制过程的整体速度。提升用户的会议录制体验。第二方面，本申请提供一种会议录制装置，装置包括：码流筛选模块和码流发送模块。其中码流筛选模块依据待录制人员的特征信息从各个会场终端发送的音视频码流中筛选需要录制的音视频码流；码流发送模块将需要录制的音视频码流发送给录播服务器，以使录播服务器进行会议录制。该装置利用特征信息准确筛选出需要录制的音视频码流，该音视频码流与待录制人员相互匹配，实现音视频码流的自动筛选。相比于人工筛选和录制，效率本文档来自技高网...

【技术保护点】
1.一种会议录制方法，其特征在于，包括以下步骤：/n多点控制单元根据待录制人员的特征信息从各个会场终端发送的音视频码流中筛选需要录制的音视频码流；所述特征信息包括：图像信息或声音信息；/n所述多点控制单元将所述需要录制的音视频码流发送给录播服务器，以使所述录播服务器进行会议录制。/n

【技术特征摘要】
1.一种会议录制方法，其特征在于，包括以下步骤：
多点控制单元根据待录制人员的特征信息从各个会场终端发送的音视频码流中筛选需要录制的音视频码流；所述特征信息包括：图像信息或声音信息；
所述多点控制单元将所述需要录制的音视频码流发送给录播服务器，以使所述录播服务器进行会议录制。


2.根据权利要求1所述的会议录制方法，其特征在于，当所述需要录制的音视频码流为所述待录制人员所在会场的整个音视频码流时，所述多点控制单元根据待录制人员的特征信息从各个会场终端发送的音视频码流中筛选需要录制的音视频码流，具体包括：
所述多点控制单元根据所述待录制人员的特征信息和所述各个会场终端发送的音视频码流筛选所述待录制人员对应的会场终端；
将筛选出的会场终端发送的音视频码流全部作为所述需要录制的音视频码流。


3.根据权利要求1所述的会议录制方法，其特征在于，当所述需要录制的音视频码流为所述待录制人员个人的音视频码流时，所述多点控制单元根据待录制人员的特征信息从各个会场终端发送的音视频码流中筛选需要录制的音视频码流，具体包括：
所述多点控制单元根据所述待录制人员的特征信息和所述各个会场终端发送的音视频码流筛选所述待录制人员对应的会场终端；
从筛选出的会场终端发送的音视频码流中根据所述待录制人员的特征信息筛选所述待录制人员个人的音视频码流作为所述需要录制的音视频码流。


4.根据权利要求2或3所述的会议录制方法，其特征在于，所述多点控制单元根据所述待录制人员的特征信息和所述各个会场终端发送的音视频码流筛选所述待录制人员对应的会场终端，具体包括：
所述多点控制单元将所述各个会场终端发送的音视频码流进行解码获得解码后的视频码流和音频码流；
所述多点控制单元根据所述待录制人员的图像信息与所述解码后的视频码流进行特征匹配，确定所述待录制人员对应的会场终端，或，将所述待录制人员的声音信息与所述解码后的音频码流进行特征匹配，确定所述待录制人员对应的会场终端。


5.根据权利要求1至4任意一项所述的会议录制方法，其特征在于，所述会议终端为高级视频编码AVC会场终端，当所述待录制人员对应至少两个不同的AVC会场终端时，所述多点控制单元根据待录制人员的特征信息从各个会场终端发送的音视频码流中筛选需要录制的音视频码流，具体包括：
所述多点控制单元根据待录制人员的特征信息分别从所述至少两个不同的AVC会场终端发送的音视频码流中筛选需要录制的音视频码流。


6.根据权利要求5所述的会议录制方法，其特征在于，所述需要录制的音视频码流包括需要录制的视频码流和需要录制的音频码流；所述多点控制单元将所述需要录制的音视频码流发送给录播服务器，具体包括：
所述多点控制单元将所述需要录制的视频码流进行画面合成获得合成画面，将所述合成画面发送给所述录播服务器，将所述需要录制的音频码流进行混音后发送给所述录播服务器。


7.根据权利要求1至4任意一项所述的会议录制方法，其特征在于，所述会议终端为可伸缩视频编码SVC会场终端，当所述待录制人员对应至少两个不同的SVC会场终端时，所述多点控制单元根据待录制人员的特征信息从各个会场终端发送的音视频码流中筛选需要录制的音视频码流，具体包括：
所述多点控制单元将适用于所述录播服务器的码流格式通知所有所述SVC会场终端；
所述多点控制单元接收所述至少两个不同的SVC会场终端发送的适用于所述录播服务器的码流格式的音视频码流；
所述多点控制单元根据待录制人员的特征信息从所述适用于所述录播服务器的码流格式的音视频码流中筛选需要录制的音视频码流。


8.根据权利要求7所述的会议录制方法，其特征在于，所述需要录制的音视频码流包括需要录制的视频码流和需要录制的音频码流；所述多点控制单元将所述待录制人员需要录制的音视频码流发送给所述录播服务器，具体包括：
所述多点控制单元将所述至少两个不同的SVC会场终端对应的所述需要录制的视频码流发送给所述录播服务器，以使所述录播服务器对所述至少两个不同的SVC会场终端对应的所述需要录制的视频码流进行画面合成获得合成画面；
将所述至少两个不同的SVC会场终端对应的所述需要录制的音频码流进行混音后发送给所述录播服务器。


9.根据权利要求1至8任意一项所述的会议录制方法，其特征在于，所述多点控制单元根据待录制人员的特征信息从所述音视频码流中筛选需要录制的音视频码流，具体包括：
所述多点控制单元根据所述待录制人员的特征信息利用预先训练的神经网络模型从所述音视频码流中筛选需要录制的音视频码流。


10.一种会议录制装置，其特征在于，所述装置包括：
码流筛选模块，用于...

【专利技术属性】
技术研发人员：庄松海，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44