Python爬虫(四) 豆瓣电影top250

目标：爬取豆瓣电影top250，将数据保存为Excel表格！
用到的第三方库有：requests BeautifulSoup xlwt

成果展示

Part Ⅰ 获取单个页面的数据

def get_data(url):
    response = requests.get(url, headers=headers).content
    soup = BeautifulSoup(response, 'html.parser')
    ol = soup.find('ol', attrs={'class': 'grid_view'})  # 获取属性为'grid_view'的ol标签
    names = []  # 电影名称
    scores = []  # 评分
    numbers = []  # 评价人数
    infos = []  # 短评
    for i in ol.find_all('li'):   # 每个li标签下包含一部电影的信息
        name = i.find('div', attrs={'class': 'hd'}).find('span', attrs={'class': 'title'}).get_text()  # 电影名称
        score = i.find('span', attrs={'class': 'rating_num'}).get_text()  # 评分
        number = i.find('div', attrs={'class': 'star'}).find_all('span')[-1].get_text()  # 评价人数
        info = i.find('span', attrs={'class': 'inq'})  # 短评
        if info:  # 判断是否有短评
            infos.append(info.get_text())
        else:
            infos.append('无')
        names.append(name)
        scores.append(score)
        numbers.append(number)
    return names, scores, numbers, infos

豆瓣电影top250单个网页包含25条电影信息，分别对应网页源码中ol标签下的25个li标签。根据不同标签的不同属性，使用find()和find_all()提取所需的信息：电影名称、评分、评价人数、短评（当然还可以提取更多），并依次存入相应的列表中。注意：在存入短评信息时，应判断该电影有无短评（榜单上有少数电影确实没有短评），否则程序会报错！

Part Ⅱ 整合所有页面的数据

def main():
    """整合所有数据"""
    all_name = []  # 电影名称
    all_score = []  # 评分
    all_number = []  # 评价人数
    all_info = []  # 短评
    for i in range(10):
        url = 'https://movie.douban.com/top250?start={}&filter='.format(i*25)
        names0, scores0, numbers0, infos0 = get_data(url)
        all_name += names0
        all_score += scores0
        all_number += numbers0
        all_info += infos0
    save_data(all_name, all_score, all_number, all_info)

豆瓣电影top250一共包含10个页面，将每个页面的网址传入Part Ⅰ的get_data()函数，获取所有数据，再通过函数main()进行整合，随后调用Part Ⅲ的save_data()函数，保存数据为Excel文件

Part Ⅲ 保存数据、优化Excel表格样式

def save_data(all_name, all_score, all_number, all_info):
    # 将数据保存为Excel表格
    wb = xlwt.Workbook()
    table = wb.add_sheet('豆瓣电影top250')

    table.col(1).width = 256 * 25  # 设置单元格宽度
    table.col(3).width = 256 * 14
    style = xlwt.XFStyle()  # 创建一个样式对象
    al = xlwt.Alignment()
    al.horz = 0x02  # 设置水平居中
    al.vert = 0x01  # 设置垂直居中
    style.alignment = al

    table.write(0, 0, "序号", style)
    table.write(0, 1, "电影名称", style)
    table.write(0, 2, "评分", style)
    table.write(0, 3, "评价人数", style)
    table.write(0, 4, "短评", style)
    for i in range(len(all_name)):
        table.write(i + 1, 0, i + 1, style)
        table.write(i + 1, 1, all_name[i], style)
        table.write(i + 1, 2, all_score[i], style)
        table.write(i + 1, 3, all_number[i], style)
        table.write(i + 1, 4, all_info[i])
    wb.save('豆瓣电影top250.xls')

首先创建Excel表格对象，新建一个名为“豆瓣电影top250”的工作簿。由于“电影名称”和“评价人数”两列数据的宽度大于Excel表格的默认值，所以我们将这两列的样式重新设置。并让除“短评”外的其他数据居中显示

完整示例：