python爬虫学习笔记（一）

• 检查是否已安装urllib库、re库：
• 打开cmd，依次键入命令：python--->import urllib--->dir()--->import urllib.request--->urllib.request.urlopen('http://www.baidu.com')--->import re--->dir()
• 若导入库并且测试过程如下所示，则表示原先已安装这两个库！

测试urllib、re

• 退出python环境后，键入命令：pip list，发现有要更新的pip版本，于是按提示键入python -m pip install --upgrade pip，若显示如下则表示更新成功！

更新pip版本

安装requests库

• 键入命令：pip3 install requests
• 测试是否安装成功，依次键入命令：python--->import requests--->dir()--->requests.get('http://www.baidu.com')
• 若导入库和测试过程如下所示，则表示requests库安装成功！

成功安装requests库

安装selenium库

• 依次键入命令：pip3 install selenium--->python--->import selenium--->dir()，若操作过程显示如下，则表示安装成功！

成功安装selenium库

安装chromedriver

• 下载链接：https://sites.google.com/a/chromium.org/chromedriver/downloads
• 注意：要下载和本机安装的Chrome版本一样的exe！下载完之后解压将里面的exe拖到python.exe目录下的script文件即可。
• 测试：依次键入命令：chromedriver--->python--->from selenium import webdriver--->driver = webdriver.Chrome()：调用谷歌浏览器，黑窗口显示如下，执行最后一条语句后会弹出Chrome窗口！

测试chromedriver 弹出Chrome窗口

• 接着键入：driver.get('http://www.baidu.com')，Chrome窗口跳转到百度搜索页面：

驱动driver获取百度页面

• 键入命令driver.page_source可显示出百度搜索页面的网页源码：

百度搜索页面部分源码

安装lxml

• 键入命令：pip3 install lxml--->python--->import lxml--->dir()，结果如下所示：

成功安装lxml库

安装beautifulSoup库

• 依次键入命令：pip3 install beautifulsoup4--->python--->from bs4 import BeautifulSoup--->dir，结果显示如下：

成功安装beautifulSoup库

安装pyquery

依次键入命令：pip3 install pyquery--->python--->from pyquery import PyQuery as pq--->dir()--->result = doc('html').text()--->result = doc('html').text()--->result，安装和测试效果如下所示：

安装和测试pyquery库

安装pymongo

依次键入命令：pip3 install pymongo--->python--->import pymongo--->dir()，结果显示如下：

成功安装pymongo

安装flask库

依次键入命令：pip3 install flask--->python--->import flask--->dir()，结果如下所示：

成功安装flask库

安装jupyter库

• 依次键入命令：pip3 install jupyter--->jupyter notebook，安装jupyter库依赖的时间比较长，最后键入那个命令之后会弹出一个网页，结果如下所示：

安装jupyter① 安装jupyter② 安装jupyter③ 测试jupyter库