美文网首页
第一次用webmagic写爬虫

第一次用webmagic写爬虫

作者: 陆凯 | 来源:发表于2017-03-27 17:27 被阅读37次

第一次尝试各种失败,没看懂代码。仔细研读了下,发现有点心得。一定要从网页源码开始,很多流浪器会修饰网页,造成根本找不到页面所需的标签。

对于xpath的使用很是不习惯,特别是xpath.css写的时候要把最后一个元素放在css中

下面记下学习网址:http://webmagic.io/docs/zh/posts/ch4-basic-page-processor/selectable.html

下一步学习的目标:http://www.cnblogs.com/miercler/p/5599465.html

明天没事爬取知乎用户信息并存入到数据库中!!!

相关文章

网友评论

      本文标题:第一次用webmagic写爬虫

      本文链接:https://www.haomeiwen.com/subject/wmbrottx.html