一种基于自适应控制策略的长连接通信连接池管理方法技术

本申请公开了一种基于自适应控制策略的长连接通信连接池管理方法。所述基于自适应控制策略的长连接通信连接池管理方法包括：第一端获取第一时间点下第二端的连接请求数；第一端获取在第一时间点之前的预设时间段内，长连接通信连接池中的任务完成连接的平均耗时时间；第一端根据长连接通信连接池中的任务完成连接的平均耗时时间以及连接请求数，获取长连接通信连接池在第一时间点情形下需保持的最小空闲连接数；根据最小空闲连接数调整长连接连接池中的空闲连接数量。本申请根据最小空闲连接数来动态调整长连接连接池中的空闲连接数量，从而能够尽最大可能性确保每一个第二端的连接请求过来时，都有连接可用，降低了业务请求的耗时。请求的耗时。请求的耗时。

【技术实现步骤摘要】
一种基于自适应控制策略的长连接通信连接池管理方法


[0001]本申请涉及车载语音处理
，具体涉及一种基于自适应控制策略的长连接通信连接池管理方法及车联网系统。

技术介绍

[0002]参见图1，在车辆上，驾驶员或者乘客完成一次语音请求大体上经历三个步骤：
[0003]①
客户端发起请求，和智能语音接入网关之间建立长连接，并通过长连接发送音频请求；
[0004]②
语音网关将客户端请求的音频请求基于长连接转发给语音识别服务，识别成语音对应的中间识别文本结果和最终识别文本结果，中间识别文本结果返回给客户端，最终识别文本结果用于语义理解处理；
[0005]③
语音网关将语音识别出来的最终文本转发给语义理解服务，获得语义解析的结果，返回给客户端。
[0006]在这个交互过程中，因为语音识别服务是基于长连接实现流式识别，对于语音识别服务而言，每一个请求接入都会有网络和内存开销，为了节省资源开销，增加吞吐量，语音识别服务会在一次语音识别结束后主动断开这个长连接。
[0007]此外语音识别服务还会在设定的时间段内检测连接是否空闲，如无数据流入流出，也会主动断开连接，来节省资源开销。
[0008]另一方面，对于智能语音接入网关而言，为实现流式语音识别，就需要在每次请求语音识别服务时创建新的长连接来完成语音识别，这样频繁的创建连接带来的性能上的损耗是比较大的，目前通过测试业界主流的流式语音识别模型服务，平均连接耗时在50ms左右。在高并发请求下，这个数值还会上升到100ms～200ms之间。因建连接而产生的耗时一方面会降低语音交互的吞吐量，另外也会导致业务响应速度明显下降。
[0009]现有技术中，目前业界主要有两种语音识别处理的范式:一种是流式语音识别，是指可以在处理音频流的过程中，支持实时返回识别结果的一类ASR模型。与之相对的是非流式模型，它必须在处理完整句音频后才能返回结果。这种请求模型的缺点比较多，主要有以下几点：
[0010]①
客户端一次性发送完整的语音请求，在移动网络环境不好的情况下，失败率比较高，影响用户体验
[0011]②
语音识别时需要拿到完整的用户请求音频数据才能完成识别，性能比较差，没有提升空间。
[0012]当前各种场景(如车载场景，智能音箱场景，手机语音助手场景等)下的的智能语音交互系统中，为了提升用户体验和提高交互响应速度，都已经采用流式语音识别模型(Streaming ASR Model)。在流式识别模式中，每次请求时去建立ASR识别长连接，存在如下问题：
[0013]①
每次建立连接的耗时,叠加业务请求耗时，影响响应速度。
[0014]②
随着并发量的提升，连接耗时会因为系统开销的增大也随之攀升，不仅给系统响应速度带来很大影响，同时也会拉低系统的吞吐量。
[0015]业界已有的技术中，针对短连接场景和连接可复用的场景有比较成熟可靠的方案，比如数据库连接池，HTTP连接池等，这类常规思路是一次性建立基础数量的通信连接，达到减少频繁创建连接的操作，这种思路本身就存在一些不足，一方面，当通信很少时，空闲过多的连接造成系统资源的浪费，另一方面通信需求很多时，会出现预设连接数不能满足通信需求，通信等待时间过长而会出现超时异常。另外这类实现都是基于一个重要的前提：连接可以重复使用。而如前所述，对于语音识别场景而言，连接用过后，语音识别服务就会主动断开，或者连接建立后在设定的时间段内如果没有数据流入流出，也会被语音识别服务因空闲超时机制主动断开，因此在处理这类不可复用的长连接的连接池管理上，尚无成熟可靠的技术方案。
[0016]因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。

技术实现思路

[0017]本专利技术的目的在于提供一种基于自适应控制策略的长连接通信连接池管理方法来至少解决上述的一个技术问题。
[0018]本专利技术的一个方面，提供一种基于自适应控制策略的长连接通信连接池管理方法，所述基于自适应控制策略的长连接通信连接池管理方法包括：
[0019]第一端获取第一时间点下第二端的连接请求数，其中，一个第二端所发出的请求用于使第一端借用所述第一端与第三端的长连接连接池中的一个空闲连接；
[0020]第一端获取在第一时间点之前的预设时间段内，所述长连接通信连接池中的任务完成连接的平均耗时时间；
[0021]第一端根据所述长连接通信连接池中的任务完成连接的平均耗时时间以及所述连接请求数，获取长连接通信连接池在第一时间点情形下需保持的最小空闲连接数；
[0022]第一端根据所述最小空闲连接数调整长连接连接池中的空闲连接数量。
[0023]可选地，所述第二端的数量为多个。
[0024]可选地，所述第一端获取在第一时间点之前的预设时间段内，所述长连接通信连接池中的任务完成连接的平均耗时时间包括：
[0025]第一端获取在第一时间点之前的预设时间段内与长连接通信连接池创建连接耗时序列的平均值；
[0026]第一端获取在第一时间点之前的预设时间段内的通过长连接通信连接池获取语音识别请求耗时序列的平均值；
[0027]第一端获取在第一时间点之前的预设时间段内的语义请求耗时序列的平均值；
[0028]根据所述与长连接通信连接池创建连接耗时序列的平均值、通过长连接通信连接池获取语音识别请求耗时序列的平均值以及语义请求耗时序列的平均值获取所述平均耗时时间。
[0029]可选地，所述第一端根据所述长连接通信连接池中的任务完成连接的平均耗时时间以及所述连接请求数，获取长连接通信连接池需保持的最小空闲连接数包括：
[0030]第一端获取在第一时间点之前的预设时间段内的客户端的连接请求数；
[0031]根据所述平均耗时时间以及所述连接请求数获取连接池需保持的最小空闲连接数。
[0032]可选地，最小空闲连接数采用如下公式进行计算：
[0033]newMinIdle＝[n/(t
ave
+t
’
ave
+t
nlu
)]；其中，
[0034]t
ave
为长连接通信连接池创建连接耗时序列的平均值；t
’
ave
为长连接通信连接池获取语音识别请求耗时序列的平均值；t
nlu为
语义请求耗时序列的平均值；时间单位为秒；[]为取整操作。
[0035]可选地，所述第一端获取在第一时间点之前的预设时间段内与长连接通信连接池创建连接耗时序列的平均值包括：
[0036]获取每个连接创建所需时间以及创建的连接数量；
[0037]根据每个连接创建所需时间以及创建的连接数量获取预设时间段内与长连接通信连接池创建连接耗时序列的平均值。
[0038]可选地，所述获取在第一时间点之前的预设时间段内的通过长连接通信连接池获取语音识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应控制策略的长连接通信连接池管理方法，其特征在于，所述基于自适应控制策略的长连接通信连接池管理方法包括：第一端获取第一时间点下第二端的连接请求数，其中，一个第二端所发出的请求用于使第一端借用所述第一端与第三端的长连接连接池中的一个空闲连接；第一端获取在第一时间点之前的预设时间段内，所述长连接通信连接池中的任务完成连接的平均耗时时间；第一端根据所述长连接通信连接池中的任务完成连接的平均耗时时间以及所述连接请求数，获取长连接通信连接池在第一时间点情形下需保持的最小空闲连接数；第一端根据所述最小空闲连接数调整长连接连接池中的空闲连接数量。2.如权利要求1所述的基于自适应控制策略的长连接通信连接池管理方法，其特征在于，所述第二端的数量为多个。3.如权利要求2所述的基于自适应控制策略的长连接通信连接池管理方法，其特征在于，所述第一端获取在第一时间点之前的预设时间段内，所述长连接通信连接池中的任务完成连接的平均耗时时间包括：第一端获取在第一时间点之前的预设时间段内与长连接通信连接池创建连接耗时序列的平均值；第一端获取在第一时间点之前的预设时间段内的通过长连接通信连接池获取语音识别请求耗时序列的平均值；第一端获取在第一时间点之前的预设时间段内的语义请求耗时序列的平均值；根据所述与长连接通信连接池创建连接耗时序列的平均值、通过长连接通信连接池获取语音识别请求耗时序列的平均值以及语义请求耗时序列的平均值获取所述平均耗时时间。4.如权利要求3所述的基于自适应控制策略的长连接通信连接池管理方法，其特征在于，所述第一端根据所述长连接通信连接池中的任务完成连接的平均耗时时间以及所述连接请求数，获取长连接通信连接池需保持的最小空闲连接数包括：第一端获取在第一时间点之前的预设时间段内的客户端的连接请求数；根据所述平均耗时时间以及所述连接请求数获取连接池需保持的最小空闲连接数。5.如权利要求4所述的基于自适应控制策略的长连接通信连接池管理方法，其特征在于，最小空闲连接数采用如下公式进行计算：newMinIdle＝[n/(t
ave

【专利技术属性】
技术研发人员：樊波，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：