美文网首页
urllib的用法

urllib的用法

作者: 吴某人_0ad9 | 来源:发表于2018-12-22 14:05 被阅读0次

Urllib库是Python中的一个功能强大、用于操作URL,并在做爬虫的时候经常要用到的库。在Python2.x中,分为Urllib库和Urllin2库,Python3.x之后都合并到Urllib库中,使用方法稍有不同。本文介绍的是Python3中的urllib库。

什么是Urllib库

Urllib是Python提供的一个用于操作URL的模块,我们爬取网页的时候,经常需要用到这个库。

升级合并后,模块中的包的位置变化的地方较多。在此,列举一些常见的位置变动,方便之前用Python2.x的朋友在使用Python3.x的时候可以快速掌握。

常见的变化有:

在Pytho2.x中使用import urllib2——-对应的,在Python3.x中会使用import urllib.request,urllib.error。
在Pytho2.x中使用import urllib——-对应的,在Python3.x中会使用import urllib.request,urllib.error,urllib.parse。
在Pytho2.x中使用import urlparse——-对应的,在Python3.x中会使用import urllib.parse。
在Pytho2.x中使用import urlopen——-对应的,在Python3.x中会使用import urllib.request.urlopen。
在Pytho2.x中使用import urlencode——-对应的,在Python3.x中会使用import urllib.parse.urlencode。
在Pytho2.x中使用import urllib.quote——-对应的,在Python3.x中会使用import urllib.request.quote。
在Pytho2.x中使用cookielib.CookieJar——-对应的,在Python3.x中会使用http.CookieJar。
在Pytho2.x中使用urllib2.Request——-对应的,在Python3.x中会使用urllib.request.Request。

快速使用Urllib爬取网页

以上我们对Urllib库做了简单的介绍,接下来讲解如何使用Urllib快速爬取一个网页。
首先需要导入用到的模块:urllib.request
import urllib.request

在导入了模块之后,我们需要使用urllib.request.urlopen打开并爬取一个网页,此时,可以输入如下代码爬取百度首页(www.baidu.com),爬取后,将爬取的网页赋给了变量file:

file=urllib.request.urlopen('www.baidu.com')

相关文章

  • urllib、requests的用法

    urllib用法 requests用法 一、什么是requests?requests是基于urllib的再一次封装...

  • python中urllib库的用法

    urllib urlopen()函数 urlretrieve函数用法 urlencode用法 Parse_qs用法...

  • urllib用法

    get 请求########## http://top.hengyan.com/dianji/default.as...

  • urllib用法

    简单方法 importurllib2 response = urllib2.urlopen("http://www...

  • urllib用法

    1.urllib.parse.urlencode()方法: 一般HTTP请求提交数据,需要编码成 URL编码格式,...

  • urllib的用法

    Urllib库是Python中的一个功能强大、用于操作URL,并在做爬虫的时候经常要用到的库。在我们爬取一个网页的...

  • urllib的用法

    urllib的用法 什么是Urllib? Handler处理器 和 自定义Opener 简单的自定义opener(...

  • urllib的用法

    Urllib库是Python中的一个功能强大、用于操作URL,并在做爬虫的时候经常要用到的库。在Python2.x...

  • urllib的用法

    什么是Urllib: Urllib是python内置的HTTP请求库 包括以下模块 urllib.request ...

  • urllib的用法

    urllib 是 Python 内置的 HTTP 请求库,它包含四个模块:1.发送请求2.处理异常模块3.pars...

网友评论

      本文标题:urllib的用法

      本文链接:https://www.haomeiwen.com/subject/zouikqtx.html