1 Requests模块解析
Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用
Requests 继承了urllib2的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。
requests 的底层实现其实就是 urllib3
Requests的文档非常完备，中文文档也相当不错。Requests能完全满足当前网络的需求，支持Python 2.6—3.5，而且能在PyPy下完美运行。
开源地址：https://github.com/kennethreitz/requests
中文文档 API：http://docs.python-requests.org/zh_CN/latest/index.html
安装
pip install requests
2 requests之get与post
(1) 基本的GET请求
response = requests.get("http://www.baidu.com/")
response = requests.request("get","http://www.baidu.com/")
(2) 添加headers 和查询参数
如果想添加 headers，可以传入headers参数来增加请求头中的headers信息。如果要将参数放在url中传递，可以利用params参数。
使用response.text 时，Requests 会基于 HTTP 响应的文本编码自动解码响应内容，大多数 Unicode 字符集都能被无缝地解码。
使用response.content 时，返回的是服务器响应数据的原始二进制字节流，可以用来保存图片等二进制文件。
(3) 基本之POST请求
response = requests.post("http://www.baidu.com/", data = data)
(4) 传入data数据
对于 POST 请求来说，我们一般需要为它增加一些参数。那么最基本的传参方法可以利用data这个参数.
3 json文件数据
(1) json方法
(2) 代理设置
如果需要使用代理，你可以通过为任意请求方法提供proxies参数来配置单个请求：
(3) web客户端验证
如果是Web客户端验证，需要添加 auth = (账户名, 密码)
4 cookies与session
(1) cookies
如果一个响应中包含了cookie，那么我们可以利用 cookies参数拿到：
运行结果：
{'BDORZ': '27315'}
(2) session
在 requests 里，session对象是一个非常常用的对象，这个对象代表一次用户会话：从客户端浏览器连接服务器开始，到客户端浏览器与服务器断开。
会话能让我们在跨请求时候保持某些参数，比如在同一个 Session 实例发出的所有请求之间保持 cookie 。
实现人人网登录
如果SSL证书验证不通过，或者不信任服务器的安全证书，则会报出SSLError，据说 12306 证书是自己做的：
来测试一下：
5 正则复习
#单字修饰符. 匹配任意字符，除了换行符
[] 用来表示一组字符,单独列出：[abc] 匹配 'a'，'b'或'c'\d 匹配任意数字，等价于 [0-9].
\D 匹配任意非数字
\w 匹配字母数字及下划线
\W 匹配非字母数字及下划线
\s 匹配任意空白字符，等价于 [\t\n\r\f].
\S 匹配任意非空字符#数量修饰符* 匹配0个或多个的表达式
+ 匹配1个或多个的表达式
? 匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
{m} 前面字符出现m次
{m,} 前面字符出现至少m次
{m,n} 前面字符出现m~n次#边界修饰符^ 以...开始
$ 以...结尾
eg. '^abc' 匹配以abc开头
‘abc$' 匹配以abc结尾
#分组修饰符
() 匹配括号内的表达式，也表示一个组
\1 \2 匹配第1、2个分组的内容
#贪婪模式 : 尽可能多的匹配
#模式修饰符
re.S 单行模式
re.M 多行模式
re.I 忽略大小写
#re.complie()
compile 函数用于编译正则表达式，生成一个正则表达式Pattern对象
#findall()
在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。
6 设置User Agent的方法
1.在创建Request对象的时候，填入headers参数(包含User Agent信息)，这个Headers参数要求为字典；
2.在创建Request对象的时候不添加headers参数，在创建完成之后，使用add_header()的方法，添加headers
7 设置ip代理
(1)调用urlib.request.ProxyHandler()，proxies参数为一个字典。
(2)创建Opener(类似于urlopen，这个代开方式是我们自己定制的)
(3)安装Opener
网友评论