海量电子邮件分析处理过程中的电子邮件内容重复判断的方法技术

本发明专利技术公开了一种海量电子邮件分析处理过程中的电子邮件内容重复判断的方法，其特征在于，包括以下几个步骤：步骤一：分解电子邮件内容；步骤二：对电子邮件内容中各个部分进行重复判断；步骤三：对电子邮件内容进行重新组织；本发明专利技术可以对海量的电子邮件进行内容重复的判断，有效的降低了海量电子邮件处理过程中因电子邮件处理内容处理带来的资源开销。

【技术实现步骤摘要】
201610397804

【技术保护点】
一种海量电子邮件分析处理过程中的电子邮件内容重复判断的方法，其特征在于，包括以下几个步骤：步骤一：分解电子邮件内容；将电子邮件内容分解为三个部分：电子邮件头、电子邮件正文和电子邮件附件；电子邮件附件：电子邮件中附加的文件内容；电子邮件正文：电子邮件中内容的文字说明；电子邮件头：电子邮件中除邮件附件、邮件正文外的其他部分的总称；步骤二：对电子邮件内容中各个部分进行重复判断；具体为：电子邮件头不进行重复判断；电子邮件正文进行重复判断：当两封电子邮件正文内容Hash完全一致，判定电子邮件正文重复，否则不重复；电子邮件附件进行重复判断：如果附件大小大于或者等于100K时，判断电子邮件附件的文件开头50K内容、附件文件结尾50K及邮件的文件大小，三部分别共同Hash是否相同，如果相同，判定电子邮件附件重复，否则不重复；如果附件大小小于100K时，判断附件内容Hash值是否相同，如果相同，判定电子邮件附件重复，否则不重复；步骤三：对电子邮件内容进行重新组织；电子邮件重复判断后，针对存在内容重复的电子邮件进行重新组织，组成部分包括：电子邮件ID、电子邮件头、电子邮件正文、正文ID、电子邮件附件、附件ID；电子邮件ID：电子邮件的唯一标示；电子邮件头：同第一方面电子邮件分解的电子邮件头；电子邮件正文：同第一方面电子邮件分解的电子邮件正文；正文ID：电子邮件正文与另外电子邮件正文重复的电子邮件ID；电子邮件附件：同第一方面电子邮件分解的电子邮件附件；附件ID：电子邮件附件与另外电子邮件附件重复的电子邮件ID。...

【技术特征摘要】
1.一种海量电子邮件分析处理过程中的电子邮件内容重复判断的方法，其特征在于，包括以下几个步骤：步骤一：分解电子邮件内容；将电子邮件内容分解为三个部分：电子邮件头、电子邮件正文和电子邮件附件；电子邮件附件：电子邮件中附加的文件内容；电子邮件正文：电子邮件中内容的文字说明；电子邮件头：电子邮件中除邮件附件、邮件正文外的其他部分的总称；步骤二：对电子邮件内容中各个部分进行重复判断；具体为：电子邮件头不进行重复判断；电子邮件正文进行重复判断：当两封电子邮件正文内容Hash完全一致，判定电子邮件正文重复，否则不重复；电子邮件附件进行重复判断：如果附件大小大于或者等于100K时，判断电子邮件附件的文件开头50K内容、附件文件结尾50K及邮件的文件大小，三部分别共同Hash是否相同，如果相同，判定电子邮件附件重复，否则不重复；如果附件大小小于100K时，判断附件内容Hash值是否相同，如果相同，判定电子邮件附件重复，否则不重复；步骤三：对电子邮件内容进行重新组织；电子邮件重复判断后，针对存在内容重复的电子邮件进行重新组织，组成部分包括：电子邮件ID、电子邮件头、电子邮件正文、正文ID、电子邮件附件、附件ID；电子邮件ID：电子邮件的唯一标示；电子邮件头：同第一方面电子邮件分解的电子邮件头；电子邮件正文：同第一方面电子邮件分解的电子邮件正文；正文ID：电子邮件正文与另外电子邮件正文重复的电子邮件ID；电子邮件附件：同第一方面电子邮件分解的电子邮件附件；附件ID：电子邮件附件与另外电子邮件附件重复的电子邮件ID。2.根据权利要求1所述的一种海量电子邮件分析处理过程中的电子邮件内容重复判断的方法，其特征在于，所述的步骤二中，电子邮件正文重复的判断流程，具体步骤如下：步骤201：判断电子...

【专利技术属性】
技术研发人员：李斌斌，郑彩娟，刘利宏，王振宇，
申请(专利权)人：北京赛思信安技术股份有限公司，
类型：发明
国别省市：北京;11