python爬虫一些必要的库

• 请求库
  requests
  selenium
  ChromeDriver(或者GeckoDriver、PhantomJS等支持headless无界面的浏览器)
  aiohttp(异步请求)
• 解析库
  lxml(或者beautifulsoup4、pyquery等其它支持html xml XPath解析库)
  tesserocr (用py封装了tesseract)

推荐使用编译好了的whl文件安装(避免需要c++环境，各种报错)
whl下载地址:https://github.com/simonflueckiger/tesserocr-windows_build/releases

tesserocr GitHub: https://github.com/sirfz/tesserocr
tesserocr PyPI: https://pypi.python.org/pypi/tesserocr
tesseract 下载地址：http://digi.bib.uni-mannheim.de/tesseract
tesseract GitHub : https://github.com/tesseract-ocr/tesseract
tesseract 语言包 ： https://github.com/tesseract-ocr/tessdata
tesseract 文档 ： https://github.com/tesseract-ocr/tesseract/wiki/Documentation

• 存储库
  pymysql
  pymongo
  redis-py(pip install redis)

• 爬虫框架

  1. pyspider(前提需要下载pycurl的whl包安装

python3.7还有一些坑（3.5后，async/await变成关键字了）:
修改下列python文件中的async为async1（全部替换）
run.py
fetcher\tornado_fetcher.py
webui\app.py

还需要 python -m pip install wsgidav==2.4.1

2. Scrapy （pip install Scrapy）