日志采集方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术实施例公开了一种日志采集方法、装置、服务器及存储介质。该日志采集方法包括：通过监控目标文件目录下是否生成待采集的第一日志文件；若目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报第一日志文件；按照预设周期对目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；若存在未采集上报的遗漏日志文件，向数据接收端采集上报所述遗漏日志文件。本发明专利技术实施例中通过监控目标文件目录下的日志文件的监控机制，保证日志采集的实时性，降低了服务器I/O压力，同时定期对目标文件目录下日志文件进行轮询，避免了监控机制传输数据过程中丢失数据的情况，提高了日志采集的可靠性。

【技术实现步骤摘要】
日志采集方法、装置、服务器及存储介质
本专利技术涉及通信
，具体涉及一种日志采集方法、装置、服务器及存储介质。
技术介绍
在大数据时代，随着计算技术的迅猛发展和业务规模的不断扩大，数据量呈现爆炸式增长趋势，对比之前，数据量可能在GB级别，但是现如今的数据量已经达到TB甚至PB级别。随着数据量的爆炸式增长，对数据操作，如修改，增加，删除等操作会产生大量的日志，最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集在其中扮演着重要的角色。现有的日志采集方案，一种方式是通过采集工具定期采集，例如Flume或Fluented等，采集日志上报到目的端，由于通过工具采集日志一般是松耦合，实时性较差，定期采集数据量较大，可能造成I/O压力，并且存在丢数据的可能性。
技术实现思路
本专利技术实施例提供一种日志采集方法、装置、服务器及存储介质，通过监控目标文件目录下的日志文件的监控机制，保证日志采集的实时性，降低了服务器I/O压力，同时定期对目标文件目录下日志文件进行轮询，避免了监控机制传输数据过程中丢失数据的情况，提高了日志采集的可靠性。第一方面，本申请提供一种日志采集方法，所述日志采集方法包括：监控所述目标文件目录下是否生成待采集的第一日志文件；若所述目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报所述第一日志文件；按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；若存在未采集上报的遗漏日志文件，向所述数据接收端采集上报所述遗漏日志文件。进一步的，所述方法还包括：在所述目标文件目录下生成待采集的第一日志文件时，根据所述第一日志文件预设位置的数据进行哈希运算，得到所述第一日志文件的标识；保存所述第一日志文件和所述第一日志文件对应的标识。进一步的，所述根据所述第一日志文件预设位置的数据进行哈希运算，得到所述第一日志文件的标识，包括：获取第一日志文件的文件系统标识和所述第一日志文件对应的索引节点号；根据预设的哈希函数，对所述第一日志文件的文件系统标识、所述第一日志文件对应的索引节点号和所述第一日志文件中预设位置的数据进行计算，得到所述第一日志文件的标识。进一步的，所述方法还包括：在向所述数据接收端采集上报日志文件时，记录已上报日志文件的标识；所述按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件，包括：获取当前周期内所述目标文件目录下生成的第二日志文件，所述第二日志文件中每个日志文件均包括对应的标识；分别以所述第二日志文件中每个日志文件为目标日志文件，轮询检测所述目标日志文件对应的标识是否已记录在已上报日志文件的标识中，若否，确定存在未采集上报的遗漏日志文件，并将所述目标日志文件作为遗漏日志文件。进一步的，所述方法还包括：在监控所述目标文件目录下是否生成待采集的第一日志文件之前，配置所述目标文件目录下日志文件的第一采集策略；所述监控所述目标文件目录下是否生成待采集的第一日志文件，包括：根据所述第一采集策略监控所述目标文件目录下是否生成待采集的第一日志文件。进一步的，所述方法还包括：获取将当前所述第一采集策略调整为第二采集策略的指令；根据所述第二采集策略监控所述目标文件目录下是否生成待采集的第三日志文件；若所述目标文件目录下生成待采集的第三日志文件，向数据接收端采集上报所述第三日志文件。进一步的，所述方法还包括：实时记录所述预设周期内采集上报的日志文件的字节数和条数；根据所述字节数和条数生成心跳数据；向监控平台发送所述心跳数据。第二方面，本申请提供一种日志采集装置，所述日志采集装置包括：监控单元，用于监控所述目标文件目录下是否生成待采集的第一日志文件；采集单元，用于若所述目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报所述第一日志文件；轮询单元，用于按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；若存在未采集上报的遗漏日志文件，向所述数据接收端采集上报所述遗漏日志文件。进一步的，所述日志采集装置还包括日志生成单元；所述日志生成单元用于在所述目标文件目录下生成待采集的第一日志文件时，根据所述第一日志文件预设位置的数据进行哈希运算，得到所述第一日志文件的标识；保存所述第一日志文件和所述第一日志文件对应的标识。进一步的，所述日志生成单元具体用于：获取第一日志文件的文件系统标识和所述第一日志文件对应的索引节点号；根据预设的哈希函数，对所述第一日志文件的文件系统标识、所述第一日志文件对应的索引节点号和所述第一日志文件中预设位置的数据进行计算，得到所述第一日志文件的标识。进一步的，所述日志采集装置还包括记录单元；所述记录单元用于在向所述数据接收端采集上报日志文件时，记录已上报日志文件的标识；所述轮询单元具体用于：获取当前周期内所述目标文件目录下生成的第二日志文件，所述第二日志文件中每个日志文件均包括对应的标识；分别以所述第二日志文件中每个日志文件为目标日志文件，轮询检测所述目标日志文件对应的标识是否已记录在已上报日志文件的标识中，若否，确定存在未采集上报的遗漏日志文件，并将所述目标日志文件作为遗漏日志文件。进一步的，所述日志采集装置还包括配置单元；所述配置单元用于在监控所述目标文件目录下是否生成待采集的第一日志文件之前，配置所述目标文件目录下日志文件的第一采集策略；所述监控单元具体用于：根据所述第一采集策略监控所述目标文件目录下是否生成待采集的第一日志文件。进一步的，所述配置单元还用于：获取将当前所述第一采集策略调整为第二采集策略的指令；根据所述第二采集策略监控所述目标文件目录下是否生成待采集的第三日志文件；所述采集单元还用于若所述目标文件目录下生成待采集的第三日志文件，向数据接收端采集上报所述第三日志文件。进一步的，所述日志采集装置还包括心跳单元；所述心跳单元用于：实时记录所述预设周期内采集上报的日志文件的字节数和条数；根据所述字节数和条数生成心跳数据；向监控平台发送所述心跳数据。第三方面，本申请提供一种服务器，所述服务器包括：一个或多个处理器；存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的日志采集方法。第四方面，本申请提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行第一方面中任一项所述的日志采集方法中的步骤。本专利技术实施例本文档来自技高网...

【技术保护点】
1.一种日志采集方法，其特征在于，所述日志采集方法包括：/n监控所述目标文件目录下是否生成待采集的第一日志文件；/n若所述目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报所述第一日志文件；/n按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；/n若存在未采集上报的遗漏日志文件，向所述数据接收端采集上报所述遗漏日志文件。/n

【技术特征摘要】
1.一种日志采集方法，其特征在于，所述日志采集方法包括：
监控所述目标文件目录下是否生成待采集的第一日志文件；
若所述目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报所述第一日志文件；
按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；
若存在未采集上报的遗漏日志文件，向所述数据接收端采集上报所述遗漏日志文件。


2.根据权利要求1所述的日志采集方法，其特征在于，所述方法还包括：
在所述目标文件目录下生成待采集的第一日志文件时，根据所述第一日志文件预设位置的数据进行哈希运算，得到所述第一日志文件的标识；
保存所述第一日志文件和所述第一日志文件对应的标识。


3.根据权利要求2所述的日志采集方法，其特征在于，所述根据所述第一日志文件预设位置的数据进行哈希运算，得到所述第一日志文件的标识，包括：
获取第一日志文件的文件系统标识和所述第一日志文件对应的索引节点号；
根据预设的哈希函数，对所述第一日志文件的文件系统标识、所述第一日志文件对应的索引节点号和所述第一日志文件中预设位置的数据进行计算，得到所述第一日志文件的标识。


4.根据权利要求1所述的日志采集方法，其特征在于，所述方法还包括：
在向所述数据接收端采集上报日志文件时，记录已上报日志文件的标识；
所述按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件，包括：
获取当前周期内所述目标文件目录下生成的第二日志文件，所述第二日志文件中每个日志文件均包括对应的标识；
分别以所述第二日志文件中每个日志文件为目标日志文件，轮询检测所述目标日志文件对应的标识是否已记录在已上报日志文件的标识中，若否，确定存在未采集上报的遗漏日志文件，并将所述目标日志文件作为遗漏日志文件。


5.根据权利要求1所述的日志采集方法...

【专利技术属性】
技术研发人员：金钟，蔡适择，梁志彪，陈军，姚小龙，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：广东;44