Python 1-4

注意事项

• 异步加载
• 如何保持文件
• 设置代理

import requests
from bs4 import BeautifulSoup
import urllib.request

base_path = '/Users/XXX/python/Swift/'
base_url = 'http://weheartit.com/inspirations/taylorswift?scrolling=true&page='

# 设置代理,网上百度下具体的IP即可。代理不太稳定,测试过程中,换了好几个代理才成功
proxies = {'http':'http://121.42.178.60:1080'}

# 模拟登录
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'
}

# 确定要爬取的页数,并生成对应的url列表
def get_img_url(num):
    # 定义一个空列表,存放要下载照片的url
    img_urls = []
    for page_num in range(1, num+1):
        # 字符串连接"+"
        url = base_url + str(page_num)
        web_data = requests.get(url, headers = headers, proxies = proxies)
        if web_data.status_code == 200:
            soup = BeautifulSoup(web_data.text, 'lxml')
            imgs = soup.select('img.entry-thumbnail')
            print(imgs)
            for img in imgs:
                img_urls.append(img.get('src'))
        else:
            print('服务器异常')
    print(len(img_urls), 'imgs should be downloaded')
    return img_urls


def get_img(url):
    img_name = base_path + url.split('/')[-2] + '.' + url.split('.')[-1]    # split() 函数对url分割,获取文件名

    # 方法一:通过urllib.request.urlretrieve方式写数据,失败
    # urllib.request.urlretrieve(url,img_name) # img_name表示图片的路径(文件夹的路径+图片的命名)

    # 方法二
    # 获取到的图片，如何转为 二进制 保存到本地。content是二进制格式的数据，text是自动根据 HTTP 响应头部的编码类型解码为 unicode 的结果
    img_data = requests.get(url, headers = headers, proxies = proxies)
    with open(img_name, "wb") as fs:
        fs.write(img_data.content)

for url in get_img_url(6):
    get_img(url)

'''
1、异步加载
通过 JS 实现动态加载数据，在与当前 HTML 页面的加载并不一起进行，比如同时进行，或在加载完当前页面后，在下拉页面时加载，这是通过 JS 的 XHR 实现。
如果是通过 XHR 在当前页面加载完后的异步加载，可以chrome 浏览器中，右击页面-检查-network-XHR，然后下拉页面进行异步加载，能够看到加载的请求url、头部和返回的动态数据。同时，在Elements中可以看到 HTML 元素在动态变化

2、请求的图片保存本地
获取到的图片，如何转为 二进制 保存到本地。content是二进制格式的数据，text是自动根据 HTTP 响应头部的编码类型解码为 unicode 的结果
img_data = requests.get(img_url)
with open(str(img_name), 'wb') as f:
    print type(img_data.content)
    f.write(img_data.content)

3、霉霉的网站需要翻墙设置代理
4、关于图片的格式类型:jpg、webp
WebP格式，谷歌（google）开发的一种旨在加快图片加载速度的图片格式。图片压缩体积大约只有JPEG的2/3，并能节省大量的服务器带宽资源和数据空间。Facebook Ebay等知名网站已经开始测试并使用WebP格式。
但WebP是一种有损压缩。相较编码JPEG文件，编码同样质量的WebP文件需要占用更多的计算资源。
桌面版Chrome可打开WebP格式。
'''