美文网首页爬虫
正则>>豆瓣电影排行榜

正则>>豆瓣电影排行榜

作者: 郭祺迦 | 来源:发表于2018-09-27 12:41 被阅读0次

import urllib.request

import urllib.parse

def main():

    # 开始页码

    start_page = int(input("开始页码:"))

    # 结束页码

    end_page = int(input("结束页码:"))

    # 处理url

    url = 'https://movie.douban.com/top250?'

    # 每页显示的个是25个

    for page in range(start_page, end_page + 1):

        request = handle_request(url, page)

        handle_response(request)

# 处理url

def handle_request(url, page):

    page = (page - 1) * 25

    data = {

        'start': page

    }

    # 对data数据进行处理

    data = urllib.parse.urlencode(data)

    # 拼接路径

    url += data

    headers = {

        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'

    }

    request = urllib.request.Request(url=url, headers=headers)

    return request

def handle_response(request):

    response = urllib.request.urlopen(request)

    html = response.read().decode("utf8")

    print(html)

if __name__ == '__main__':

    main()

相关文章

网友评论

    本文标题:正则>>豆瓣电影排行榜

    本文链接:https://www.haomeiwen.com/subject/lyleoftx.html