【技术实现步骤摘要】
本专利技术属于计算机领域，涉及基于文本嵌入智能检测网页内容实质性变动的判断方法。
技术介绍
1、检测网页内容的变动，一般有以下几种方法：
2、1、比较网页源代码： 将两个时间点的网页源代码进行对比，查看是否有差异。通过使用编程语言（如python）中的网络请求库来获取网页源代码，并使用字符串比较算法（如哈希算法或文本差异算法）来判断是否有变动。
3、2、定期截取网页的屏幕快照，并与先前的快照进行比较以检测变动。主要关注的是视觉层面的变动。
4、3、使用md5哈希算法对原始网页内容进行计算。参照附图1-2所示，md5是一种常用的哈希函数，它会将输入转换为一个哈希值。比较新旧两个网页md5值。如果新旧md5值相同，则网页内容没有发生变化。如果md5值不同，则意味着网页内容发生了改变。
5、这些方法中存在以下缺陷：某些网站可能使用javascript动态加载内容，这种情况下只检查网页源代码可能无法捕捉到所有变化。
6、屏幕快照或者md5哈希算法，都是严格的内容一致性检查。页面内容有任何变化，都会判断为内容发生变动。这个方法过于严格，不够智能。例如，网页阅读数发生了变化、或者内容做了细微的调整、或者网页内的随机数。这些变化并没有对实质内容有影响。
7、像md5哈希算法这种技术，只能反映网页内容是否发生了变化，但没有办法反映变化多大程度。
技术实现思路
1、针对现有技术的不足，本专利技术提供了基于文本嵌入智能检测网页内容
2、本方法采用文本嵌入模型，具有较好的泛化能力，可以适应各种类型的文本内容，从而在不同场景下都能实现有效的网页文本内容变动检测。
3、为实现以上目的，本专利技术通过以下技术方案予以实现：基于文本嵌入智
4、能检测网页内容实质性变动的判断方法包含以下步骤：
5、步骤一.网页文本内容爬取：通过信息爬取模块从互联网上获取网页内容，包括定时任务、url请求处理、网页解析、数据清洗和数据存储子功能；
6、步骤二.网页内容md5值计算：计算爬取到的网页内容的md5值，以便在
7、后续步骤中进行比较；
8、步骤三.检查网页是否有变化：比较前后两次爬取得到的网页内容的md5
9、值，如果相同，说明网页没有变化；如果不同，则继续进行下一步，检查网页文本内容是否有实质性变化；
10、步骤四.内容分段：对原始网页文本进行预处理，并根据需求将其划分为若干个段落或句子；
11、步骤五.计算文本嵌入向量：使用合适的文本嵌入模型将分段文本转换为
12、低维向量表示；
13、步骤六.新旧向量距离计算：计算前后两个时间点的网页文本嵌入向量之
14、间的距离，采用欧氏距离、余弦相似度方法；
15、步骤七.相似度判断：设定一个相似度阈值，通过比较向量距离判断网页
16、内容是否发生了实质性变动，如果距离小于阈值，则认为内容未发生实质性变动；否则，认为内容发生了实质性变动；
17、步骤八.输出结果：根据步骤七的判断结果，输出网页文本内容是否有实
18、质性变化的信息。
19、其中，步骤一中所述的定时任务：定期爬取网页内容以检测更新；可以使用定时任务库来实现定时执行爬虫程序。
20、url请求处理：该部分负责向目标网站发送http请求，以获取指定url的网页内容；通常使用网络请求库来实现这一功能。
21、网页解析：在获取到网页源代码后，需要对其进行解析以提取所需的文本内容；可以使用html解析库来实现，其中解析过程包括查找特定的html标签、属性和值，以便提取所需的信息。
22、数据清洗：在提取出原始文本数据后，可能需要进行一些预处理操作，如去除html标签、空白字符、特殊符号等。这有助于提高后续文本处理阶段的准确性和效率。
23、数据存储：将爬取到的文本内容存储起来，以便后续处理和分析。数据存储可以采用多种方式，如将数据保存到本地文件、数据库或者云端存储服务。
24、优选的，所述的步骤四-五的方法采用文本嵌入模块来实现。
25、优选的，所述的步骤六-八方法采用检测模块来实现。
26、优选的，所述的信息爬取模块、文本嵌入模块、检测模块，各个模块之间依次连接，按顺序进行处理。
27、本专利技术提供了基于文本嵌入智能检测网页内容实质性变动的判断方法。具备以下有益效果：
28、1、智能识别实质性变化：通过使用文本嵌入方法，本技术能够更智能地识别网页内容的实质性变化。相较于传统的源代码比较、屏幕快照对比和md5哈希算法等方法，本技术可以区分出网页内容的微小变化（如字符纠正等）与实质性变化，从而降低误报率。
29、2、语义层面的比较：文本嵌入方法能够捕捉到文本内容的语义信息，因此本技术方案可以在语义层面上比较网页内容的变化。这意味着即使网页内容发生了改写或者同义词替换等情况，本技术仍然可以准确地判断其是否发生了实质性变化。
30、3、可调整的灵敏度：通过设定相似度阈值，可以根据实际需求和场景调整本技术的检测灵敏度。这使得本技术具有较高的灵活性，可以满足不同应用场景下对网页内容变动检测的需求。
31、4、广泛适用性：本技术方案基于成熟的文本嵌入算法与接口，因此具有较强的通用性。无论是中文还是英文网页，甚至是其他语言的网页，都可以使用本技术进行内容变动检测。
32、5、易于实现和集成：本技术方案可以使用现有的编程语言（如python）和相应的库来实现各个功能模块，使得开发和集成过程相对简单。同时，由于采用了api接口调用的方式，本技术方案在未来可以轻松地升级和扩展。
本文档来自技高网...【技术保护点】
1.基于文本嵌入智能检测网页内容实质性变动的判断方法，其特征在于，
2.根据权利要求1所述的基于文本嵌入智能检测网页内容实质性变动的判断方法，其特征在于，所述的步骤一中的定时任务功能：定期爬取网页内容以检测更新；
3.根据权利要求1所述的基于文本嵌入智能检测网页内容实质性变动的判断方法，其特征在于，所述的步骤四-五采用文本嵌入模块来实现。
4.根据权利要求1所述的基于文本嵌入智能检测网页内容实质性变动的判断方法，其特征在于，所述的步骤六-八采用检测模块来实现。
5.根据权利要求1所述的基于文本嵌入智能检测网页内容实质性变动的判断方法，其特征在于，所述的信息爬取模块、文本嵌入模块、检测模块，各个模块之间依次连接，按顺序进行处理。
【技术特征摘要】
1.基于文本嵌入智能检测网页内容实质性变动的判断方法，其特征在于，
2.根据权利要求1所述的基于文本嵌入智能检测网页内容实质性变动的判断方法，其特征在于，所述的步骤一中的定时任务功能：定期爬取网页内容以检测更新；
3.根据权利要求1所述的基于文本嵌入智能检测网页内容实质性变动的判断方法，其特征在于，所述的步骤四-五采...
【专利技术属性】
技术研发人员：王健，钱渊欣，蔡佐克，高翔，
申请(专利权)人：华东师范大学出版社有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。