网络爬虫实现原理详解

通用网络爬虫：
获取初始的URL；
根据初始的URL爬取页面并获得新的URL；
将新的URL放到URL队列中；
从URL队列中读取新的URL，并根据新的URL爬去网页，同时从新网页中获取新URL，重复上述过程；
满足设置的停止条件时停止爬取。
聚焦网络爬虫：见#395

爬行策略

深度优先爬行策略、广度优先爬行策略、大站优先策略、反链策略、其他

网页更新策略

网站更新后需要重新爬取，网站更新的频率与爬虫访问网站的频率越相近效果越好；
用户体验策略：优先更新排名结果靠前的网页
历史数据策略、
聚类分析策略

网页分析算法

基于用户行为的网页分析算法：用户访问频率、访问时长、单击率等对网页进行综合评价；
基于网络拓扑的网页分析算法：链接关系、PageRank；
基于网页内容的网页分析算法：数据、文本等内容特征。

身份识别

正规的爬虫一般会告诉对应网页的网站站长其爬虫身份，网站管理员则可以通过爬虫告知的身份信息对爬虫身份进行识别。
一般的，会通过HTTP请求中的User Agent字段告知自己的身份信息；爬虫访问网站时，首先会根据该站点下的Robots.txt文件来确定可爬取的网页范围，Robots协议是需要网络爬虫共同遵守的协议。