数据采集方法、装置、设备和计算机存储介质制造方法及图纸

本发明专利技术公开了一种数据采集方法，包括：在接收终端基于预设共用接口发送的操作指令，获取操作指令中的待处理任务；将处理器的处理模式设置为异步回调模式，并通过任务处理线程执行待处理任务；在任务处理线程执行过程中，监测处理器中各个线程的状态，并判断是否存在空闲线程；若存在空闲线程，则将空闲线程作为数据采集线程，并通过数据采集线程采集终端基于预设共用接口上传的业务相关数据；在任务处理线程执行完成时，回调预设共用接口，通过预设共用接口向终端发送操作指令的处理结果。本发明专利技术还公开了一种数据采集装置、设备和计算机存储介质。本发明专利技术通过数据采集流程进行优化，使得业务相关数据采集更加合理。

【技术实现步骤摘要】
数据采集方法、装置、设备和计算机存储介质
本专利技术涉及数据采集领域，尤其涉及数据采集方法、装置、设备和计算机存储介质。
技术介绍
随着计算机技术的快速发展，通过计算机进行数据分析变得越来越普遍，但是由于计算机的数据分析算法有限，数据来源和数据采集就变得尤为重要。为了业务优化和业务拓展，通常需要针对业务相关数据进行分析处理，其中，业务相关数据包括：业务数据(如金融产品购买数据)、产品页面上的用户行为数据等等，在业务相关数据进行分析之前需要进行业务相关数据的采集，当前业务相关数据通常采用集中采集的方式，即，在特定时间段服务器对用户手机的业务相关数据进行，这样的业务相关数据采集方法存在弊端，如，在业务流程处理时进行数据集中采集可能会干扰正常的业务流程，此外，数据集中采集还需要进行集中数据传输，会占用较多内存，影响服务器的性能，如何避免上述情况，合理地进行业务相关数据的采集成为了当前亟待解决的技术问题。
技术实现思路
本专利技术的主要目的在于提供一种数据采集方法、装置、设备和计算机存储介质，旨在解决当前服务器进行数据采集时出现的问题，使得业务相关数据采集更加合理。为实现上述目的，本专利技术提供一种数据采集方法，所述数据采集方法包括以下步骤：接收终端基于预设共用接口发送的操作指令，获取所述操作指令中的待处理任务；将处理器的处理模式设置为异步回调模式，并通过任务处理线程执行所述待处理任务；在所述任务处理线程执行过程中，监测所述处理器中各线程的状态，并判断是否存在空闲线程；若存在空闲线程，则将所述空闲线程作为数据采集线程，并通过所述数据采集线程采集所述终端基于所述预设共用接口上传的业务相关数据；在所述任务处理线程执行完成时，回调所述预设共用接口，通过所述预设共用接口向所述终端发送所述操作指令的处理结果。可选地，所述将处理器的处理模式设置为异步回调模式，并通过任务处理线程执行所述待处理任务的步骤，包括：将处理器的处理模式设置为异步回调模式，并统计所述待处理任务的任务数量；在所述任务数量大于或等于两个时，创建异步线程池；将所述异步线程池中的空闲线程作为任务处理线程，并通过任务处理线程执行所述待处理任务。可选地，所述在所述任务数量大于或等于两个时，创建异步线程池的步骤之后，包括：统计所述异步线程池中空闲线程的线程数量，并将所述线程数量与所述任务数量进行比较；若所述线程数量小于所述任务数量，则将超过所述线程数量的待处理任务添加到预设队列中；若所述线程数量大于或等于所述任务数量，则执行将异步线程池中的空闲线程作为任务处理线程，并通过任务处理线程执行所述待处理任务的步骤。可选地，所述若存在空闲线程，则将所述空闲线程作为数据采集线程，并通过所述数据采集线程采集所述终端基于所述预设共用接口上传的业务相关数据的步骤，包括：若存在空闲线程，则判断所述预设队列中是否存在待处理任务；若所述预设队列中存在待处理任务，则将所述空闲线程作为任务处理线程，通过任务处理线程执行所述待处理任务；若所述预设队列中不存在待处理任务，则将所述空闲线程作为数据采集线程，并通过所述数据采集线程采集所述终端基于所述预设共用接口上传的业务相关数据。可选地，所述在所述任务处理线程执行过程中，监测所述处理器中各线程的状态，并判断是否存在空闲线程的步骤，包括：在所述任务处理线程执行过程中，预估所述任务处理线程的执行时间；若所述执行时间超过预设时间间隔，则监测所述处理器中各线程的状态，并判断是否存在空闲线程。可选地，所述若存在空闲线程，则将所述空闲线程作为数据采集线程，并通过所述数据采集线程采集所述终端基于所述预设共用接口上传的业务相关数据的步骤，包括：若存在空闲线程，则获取所述空闲线程的线程数量和所述处理器的核心数量；在所述线程数量大于所述核心数量时，终止超过所述核心数量的多于空闲线程；在所述线程数量小于或等于所述核心数量时，将所述空闲线程作为数据采集线程，并通过所述数据采集线程采集所述终端基于所述预设共用接口上传的业务相关数据。可选地，所述若存在空闲线程，则将所述空闲线程作为数据采集线程，并通过所述数据采集线程采集所述终端基于所述预设共用接口上传的业务相关数据的步骤之后，包括：统计各所述业务相关数据的数据总量，将所述数据总量与预设分析量进行比对；在所述数据总量超过所述预设分析量时，设置各所述业务相关数据的优先级；按各所述业务相关数据的优先级提取所述预设分析量对应数量的目标处理数据，以进行数据处理。此外，为实现上述目的，本专利技术还提供一种数据采集装置，所述数据采集装置包括：指令接收模块，用于接收终端基于预设共用接口发送的操作指令，获取所述操作指令中的待处理任务；模式设置模块，用于将处理器的处理模式设置为异步回调模式，并通过任务处理线程执行所述待处理任务；线程监测模块，用于在所述任务处理线程执行过程中，监测所述处理器中各线程的状态，并判断是否存在空闲线程；数据采集模块，用于若存在空闲线程，则将所述空闲线程作为数据采集线程，并通过所述数据采集线程采集所述终端基于所述预设共用接口上传的业务相关数据；结果发送模块，用于在所述任务处理线程执行完成时，回调所述预设共用接口，通过所述预设共用接口向所述终端发送所述操作指令的处理结果。此外，为实现上述目的，本专利技术还提供一种数据采集设备；所述数据采集设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中：所述计算机程序被所述处理器执行时实现如上所述的数据采集方法的步骤。此外，为实现上述目的，本专利技术还提供计算机存储介质；所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的数据采集方法的步骤。本专利技术实施例提出的一种数据采集方法、装置、设备和计算机存储介质，本实施例在服务器进行业务处理的过程中，将处理器的处理模式设置为异步回调模式，通过任务处理线程(又叫主线程)处理业务流程，在所述任务处理线程执行的过程中，监测所述处理器中各线程的状态，在有空闲线程时，将所述空闲线程作为数据采集线程，并通过所述数据采集线程采集业务相关数据，实现业务数据的分布式采集，使得业务相关数据的采集不会影响到任务处理线程，数据采集的流程更加合理；此外，本申请中使用统一预设共用接口进行操作指令处理和业务相关数据的采集与传输，通过减少服务器中数据接口的数量，从而减少了服务器的操作压力，使得数据处理效率更高。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的装置结构示意图；图2为本专利技术数据采集方法第一实施例的流程示意图；图3为本专利技术数据采集装置一实施例的功能模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术中服务器接收终端基于预设共用接口发送的操作指令，获取所述操作指令中的待处理任务；将处理器的处理模式设置为异步回调模式，并通过任务处理线程执行所述待处理任务；在所述任务处理线程执行过程中，监测所述处理器中各线程的状态，并判断是否存在空闲线程；若存在空闲线程，则将所述空闲线程作为数据采集线程，并通过所述数据采集线程采集所述终端基于所述预设共用接口上传的业务相关数据；在所述任务处理线程执行完成时，回调所述预设共用本文档来自技高网...

【技术保护点】
1.一种数据采集方法，其特征在于，所述数据采集方法包括以下步骤：接收终端基于预设共用接口发送的操作指令，获取所述操作指令中的待处理任务；将处理器的处理模式设置为异步回调模式，并通过任务处理线程执行所述待处理任务；在所述任务处理线程执行过程中，监测所述处理器中各线程的状态，并判断是否存在空闲线程；若存在空闲线程，则将所述空闲线程作为数据采集线程，并通过所述数据采集线程采集所述终端基于所述预设共用接口上传的业务相关数据；在所述任务处理线程执行完成时，回调所述预设共用接口，通过所述预设共用接口向所述终端发送所述操作指令的处理结果。

【技术特征摘要】
1.一种数据采集方法，其特征在于，所述数据采集方法包括以下步骤：接收终端基于预设共用接口发送的操作指令，获取所述操作指令中的待处理任务；将处理器的处理模式设置为异步回调模式，并通过任务处理线程执行所述待处理任务；在所述任务处理线程执行过程中，监测所述处理器中各线程的状态，并判断是否存在空闲线程；若存在空闲线程，则将所述空闲线程作为数据采集线程，并通过所述数据采集线程采集所述终端基于所述预设共用接口上传的业务相关数据；在所述任务处理线程执行完成时，回调所述预设共用接口，通过所述预设共用接口向所述终端发送所述操作指令的处理结果。2.如权利要求1所述的数据采集方法，其特征在于，所述将处理器的处理模式设置为异步回调模式，并通过任务处理线程执行所述待处理任务的步骤，包括：将处理器的处理模式设置为异步回调模式，并统计所述待处理任务的任务数量；在所述任务数量大于或等于两个时，创建异步线程池；将所述异步线程池中的空闲线程作为任务处理线程，并通过任务处理线程执行所述待处理任务。3.如权利要求2所述的数据采集方法，其特征在于，所述在所述任务数量大于或等于两个时，创建异步线程池的步骤之后，包括：统计所述异步线程池中空闲线程的线程数量，并将所述线程数量与所述任务数量进行比较；若所述线程数量小于所述任务数量，则将超过所述线程数量的待处理任务添加到预设队列中；若所述线程数量大于或等于所述任务数量，则执行将异步线程池中的空闲线程作为任务处理线程，并通过任务处理线程执行所述待处理任务的步骤。4.如权利要求3所述的数据采集方法，其特征在于，所述若存在空闲线程，则将所述空闲线程作为数据采集线程，并通过所述数据采集线程采集所述终端基于所述预设共用接口上传的业务相关数据的步骤，包括：若存在空闲线程，则判断所述预设队列中是否存在待处理任务；若所述预设队列中存在待处理任务，则将所述空闲线程作为任务处理线程，通过任务处理线程执行所述待处理任务；若所述预设队列中不存在待处理任务，则将所述空闲线程作为数据采集线程，并通过所述数据采集线程采集所述终端基于所述预设共用接口上传的业务相关数据。5.如权利要求1所述的数据采集方法，其特征在于，所述在所述任务处理线程执行过程中，监测所述处理器中各线程的状态，并判断是否存在空闲线程的步骤，包括：在所述任务处理线程执行过程中，预估所述任务处理线程的执...

【专利技术属性】
技术研发人员：郭华，向纯玉，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44