美文网首页
用代码请求jianshu网站

用代码请求jianshu网站

作者: michael0623 | 来源:发表于2019-02-14 15:10 被阅读0次

代码如下所示:

import urllib.parse

import urllib.request

url = 'https://www.jianshu.com'

headers = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'}

req = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(req)

print(response.read().decode('utf-8'))

由于采用了反爬措施,需要先构造请求头才可以请求该网站。输出信息既是网站的源代码。还可以使用更加方便的add_header()方法添加请求头。例如下面这样:

req = urllib.request.Request(url=url)    # 创建Request实例

req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')    # 这里不是字典

相关文章

网友评论

      本文标题:用代码请求jianshu网站

      本文链接:https://www.haomeiwen.com/subject/osyeeqtx.html