一种日志的处理方法和装置制造方法及图纸

本发明专利技术公开了一种日志的处理方法和装置。该方法包括：从数据源接收实时输入的待处理日志；对于接收到的每条待处理日志，通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据；对所指定格式的元数据进行计算处理，得到该条待处理日志的计算处理结果。可见，依据本方案，在进行计算处理之前，将来自于不同数据源、具有不同数据格式的待处理日志均统一解析为指定格式的元数据，每条待处理日志中的所有数据参数均可以以元数据的形式来表征，极大地便捷了后续的计算处理过程，符合用户的日志处理需求。

【技术实现步骤摘要】

本专利技术涉及互联网
，具体涉及一种日志的处理方法和装置。
技术介绍
随着互联网技术的不断发展，互联网大数据的趋势日益显著，每一条互联网的业务线都在不断地产生新的日志数据，对产生的日志数据进行进一步地处理以对互联网业务的运行进行反馈是相当重要的工作之一。现有技术中，不同的业务线所产生的日志数据在日志打点格式上会出现较大的差异，导致日志格式的不同意，给进行日志处理的工作人员带来了极大的不便，无论是对离线计算还是实时计算来说，无论从时间开销还是资源开销的角度出发，对待处理的日志格式的统一都是亟需解决的问题。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种日志的处理方法和装置。依据本专利技术的一个方面，提供了一种日志的处理方法，该方法包括：从数据源接收实时输入的待处理日志；对于接收到的每条待处理日志，通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据；对所述指定格式的元数据进行计算处理，得到该条待处理日志的计算处理结果。可选地，该方法进一步包括：预存多个基本解析器，每个基本解析器适配于一种基本数据格式；所述通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据包括：当该条待处理日志的格式为单一基本数据格式时，从预存的多个基本解析器中查找适配于该基本数据格式的基本解析器，通过调用查找到的基本解析器将该条待处理日志中的字段解析为指定格式的元数据。可选地，所述通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据还包括：当该条待处理日志的格式为多种基本数据格式的组合时，对于每种基本数据格式，从预存的多个基本解析器中查找适配于该基本数据格式的基本解析器，通过调用查找到的多个基本解析器的组合将该条待处理日志中的字段解析为指定格式的元数据。可选地，所述多个基本解析器的组合包括：多个基本解析器的层级式组合或并列式组合。可选地，所述基本解析器包括如下一种或多种：Apache日志解析器、Nginx日志解析器、数组日志解析器、Json日志解析器、分割符解析器。可选地，所述通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据包括：根据该条待处理日志的格式，确定适配于该条待处理日志的一个或多个解析函数；创建该条待处理日志对应的解析器，在该解析器中动态注册所述一个或多个解析函数；通过调用所创建的解析器将该条待处理日志中的字段解析为指定格式的元数据。可选地，所述解析函数包括如下一种或多种：Base64decode函数、base64encode函数、urldecode函数、urlencode函数、isNum函数、isVer函数、getDay函数、getHour函数、getMin函数。可选地，在所述通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据之后，该方法进一步包括：将所调用的解析器放入指定全局变量数据库中。可选地，所述通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据包括：根据该条待处理日志的格式，从所述指定全局变量数据库中查找该条待处理日志对应的解析器；如果查找到，直接通过调用查找到的解析器将该条待处理日志中的字段解析为指定格式的元数据；如果未查找到，创建该条待处理日志对应的解析器，通过调用所创建的解析器将该条待处理日志中的字段解析为指定格式的元数据。可选地，所述通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据包括：判断该条待处理日志中需要解析的字段在该条待处理日志中所占比例是否高于预设阈值；是则，对该条待处理日志进行全局解析，将该条待处理日志中的各字段解析为指定格式的元数据；否则，对该条待处理日志进行非全局解析，将该条待处理日志中的需要解析的字段解析为指定格式的元数据。可选地，在所述从数据源接收实时输入的待处理日志之前，该方法进一步包括：接收日志处理任务，读取该日志处理任务的配置信息；其中，所述日志处理任务的配置信息是由用户配置输入的；则所述从数据源接收实时输入的待处理日志包括：根据所述配置信息中的数据源信息，从相应的数据源接收实时输入的待处理日志；该方法进一步包括：根据所述配置信息中的解析条件，确定该条待处理日志中满足所述解析条件的字段为需要解析的字段。可选地，该方法进一步包括：预存表达式解析器；所述根据所述配置信息中的解析条件，确定该条待处理日志中满足所述解析条件的字段为需要解析的字段包括：当所述解析条件中包含表达式时，调用预存的表达式解析器对解析条件中的表达式进行解析，确定该条待处理日志中满足解析出的表达式的字段为需要解析的字段。可选地，所述对所述指定格式的元数据进行计算处理包括：根据所述配置信息中的计算规则，对所述指定格式的元数据进行相应的计算处理。可选地，在得到该条日志的计算处理结果之后，该方法进一步包括：根据所述配置信息中的存储规则，将计算处理结果保存到相应的存储介质中。可选地，所述指定格式的元数据为由字段和字段取值构成的键值对形式。依据本专利技术的另一个方面，提供了一种日志的处理装置，该装置包括：日志接收单元，从数据源接收实时输入的待处理日志；日志解析处理单元，对于接收到的每条待处理日志，通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据；适于对所述指定格式的元数据进行计算处理，得到该条待处理日志的计算处理结果。可选地，所述日志解析处理单元，进一步适于预存多个基本解析器，每个基本解析器适配于一种基本数据格式；所述日志解析处理单元，适于当该条待处理日志的格式为单一基本数据格式时，从预存的多个基本解析器中查找适配于该基本数据格式的基本解析器，通过调用查找到的基本解析器将该条待处理日志中的字段解析为指定格式的元数据。可选地，所述日志解析处理单元，还适于当该条待处理日志的格式为多种基本数据格式的组合时，对于每种基本数据格式，从预存的多个基本解析器中查找适配于该基本数据格式的基本解析器，通过调用查找到的多个基本解析器的组合将该条待处理日志中的字段解析为指定格式的元数据。可选地，所述多个基本解析器的组合包括：多个基本解析器的层级式组合或并列式组合。可选地，所述基本解析器包括如下一种或多种：Apache日志解析器、Nginx日志解析器、数组日志解析器、Json日志解析器、分割符解析器。可选地，所述日志解析处理单元，适于根据该条待处理日志的格式，确定适配于该条待处理日志的一个或多个解析函数；创建该条待处理日志对应的解析器，在该解析器中动态注册所述一个或多个解析函数；通过调用所创建的解析器将该条待处理日志中的字段解析为指定格式的元数据。可选地，所述解析函数包括如下一种或多种：Base64decode函数、base64encode函数、urldecode函数、urlencode函数、isNum函数、isVer函数、getDay函数、getHour函数、getMin函数。可选地，所述日志解析处理单元，进一步适于在所述通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据之后，将所调用的解析器放入指定全局变量数据库中。可选地，所述本文档来自技高网...

【技术保护点】
一种日志的处理方法，其中，该方法包括：从数据源接收实时输入的待处理日志；对于接收到的每条待处理日志，通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据；对所述指定格式的元数据进行计算处理，得到该条待处理日志的计算处理结果。

【技术特征摘要】
1.一种日志的处理方法，其中，该方法包括：从数据源接收实时输入的待处理日志；对于接收到的每条待处理日志，通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据；对所述指定格式的元数据进行计算处理，得到该条待处理日志的计算处理结果。2.如权利要求1所述的方法，其中，该方法进一步包括：预存多个基本解析器，每个基本解析器适配于一种基本数据格式；所述通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据包括：当该条待处理日志的格式为单一基本数据格式时，从预存的多个基本解析器中查找适配于该基本数据格式的基本解析器，通过调用查找到的基本解析器将该条待处理日志中的字段解析为指定格式的元数据。3.如权利要求2所述的方法，其中，所述通过调用该条待处理日志对应的解析器将该条待处理日志中的字段解析为指定格式的元数据还包括：当该条待处理日志的格式为多种基本数据格式的组合时，对于每种基本数据格式，从预存的多个基本解析器中查找适配于该基本数据格式的基本解析器，通过调用查找到的多个基本解析器的组合将该条待处理日志中的字段解析为指定格式的元数据。4.如权利要求3所述的方法，其中，所述多个基本解析器的组合包括：多个基本解析器的层级式组合或并列式组合。5.如权利要求2所述的方法，其中，所述基本解析器包括如下一种或多种：Apache日志解析器、Nginx日志解析器、数组日志解析...

【专利技术属性】
技术研发人员：徐胜国，王素梅，候怀锋，李铮，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：北京;11