1、代理服务器

1、为什么要使用代理服务器？

有时候用同一个ip去抓取某个网站时，时间久了就会被该网站屏蔽。此时可以通过代理服务器，去代替我们真实的IP去爬取。

2、从哪里能够获取到代理服务器？

代理服务器一般是要花钱购买的，如果用于实验也可以用免费的

http://www.kuaidaili.com/

http://www.xicidaili.com/

2、正则表达式

元字符【单字符】

. [and] \d \D \s \S

修饰符

.* + ? {m} {m,n} {m,}

边界符

^ $ \A \B

贪婪模式

.*

非贪婪模式

.*?

模式修正

re.S 单行

re.M 多行

re.I 忽略大小写

3、XPath语法

pip install lxml

层级等位：根据标签的层级关系进行查找

属性定位：根据属性查找标签

python爬虫入门实战（二）---爬百度贴吧
本篇涉及知识点：1、xpath语法2、正则表达式踩坑：1、xpath解析出的结点文本内容中文乱码。2、xpath...
day2、代理服务器-正则表达式-XPath语法
1、代理服务器 1、为什么要使用代理服务器？有时候用同一个ip去抓取某个网站时，时间久了...
爬虫数据筛选
目录清单正则表达式提取数据正则表达式案例操作 Xpath提取数据 Xpath案例操作 BeautifulSou...
爬虫处理之结构化数据操作
目录清单正则表达式提取数据正则表达式案例操作 Xpath提取数据 Xpath案例操作 BeautifulSou...
爬虫处理之结构化数据操作
目录清单正则表达式提取数据正则表达式案例操作 Xpath提取数据 Xpath案例操作 BeautifulSou...
爬虫处理之结构化数据操作
目录清单正则表达式提取数据正则表达式案例操作 Xpath提取数据 Xpath案例操作 BeautifulSou...
Python解析库lxml与xpath用法总结
本文主要围绕以xpath和lxml库进行展开：一、xpath 概念、xpath节点、xpath语法、xpath轴...
4.xpath和BeautifulSoup4介绍
xpath语法：http://www.runoob.com/xpath/xpath-syntax.html xpa...
【Python爬虫】-【第四周】02-作业
学习xpath语法 XPath 语法 XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿...
xpath css选择器常见的状态码
xpath xpath 语法-谓语 xpath语法 css选择器 #上面的网址如何让它显示原文件？？待解决常见的状态码